创建 AI 概念证明如何帮助您最大限度地降低 AI 开发和采用风险

已发表: 2023-01-19

我们的客户只损失了他们专用于人工智能 (AI) 项目的预算的四分之一，因为他们选择从概念验证 (PoC) 开始。 PoC 允许他们测试他们的想法并以有限的支出快速失败。为避免浪费时间和精力，请始终向您的 AI 解决方案顾问咨询概念证明——尤其是当您的公司只是在测试 AI 领域时。

本文解释了 AI PoC 是什么，并详细阐述了将指导您完成第一个 PoC 的五个步骤，以及您在此过程中可能遇到的挑战。它还展示了我们产品组合中的 AI PoC 示例。您会发现开头段落中描述的示例的圆满结局。

什么是 AI PoC，它何时对您的项目成功至关重要？

AI PoC 是拟议的 AI 解决方案的原型或演示，旨在测试该解决方案是否可行并可能成功。创建 AI PoC 的目的是验证概念、评估提议的解决方案的潜在优势，并确定任何潜在的挑战或限制。

AI PoC 通常涉及构建拟议 AI 解决方案的小规模版本，并在受控环境中对其进行测试，以查看其性能如何以及是否满足预期目标。然后可以使用 AI PoC 的结果进一步为解决方案的开发和实施提供信息。

与普通软件 PoC 相比，AI PoC 可能涉及更复杂的考虑因素，例如 AI 解决方案随时间学习和适应的能力，以及解决方案的潜在伦理影响，例如 AI 偏见。 AI PoC 项目的技术栈也不同。

机器学习算法

这些算法允许 AI 系统从结构化数据中学习，并根据这种学习做出预测或决策。有许多不同类型的机器学习算法，包括监督学习算法、非监督学习算法和强化学习算法。

神经网络

这些计算模型的灵感来自于人脑的结构和功能。神经网络可以处理和分析大量非结构化数据。他们可以被训练来执行各种任务，例如图像识别、自然语言处理、场景建模和预测。

机器人技术

该技术可用于构建能够自主操作和决策的物理系统。机器人解决方案包含传感器、执行器和其他硬件组件，使工程师能够构建可以与其环境交互并执行任务的机器人。

云计算

Microsoft Azure、Google Cloud 和 AWS 等云计算平台提供支持 AI PoC 开发和测试所需的计算能力、存储资源和预配置服务。这些平台还可以在开发和测试后托管和部署人工智能解决方案。

创建 AI PoC 涉及收集和准备数据、构建和训练机器学习模型，以及测试和评估 AI 系统的性能。创建 AI PoC 所需的时间可能因多种因素而有很大差异，包括拟议的 AI 解决方案的复杂性、PoC 可用的资源和专业知识以及 PoC 的具体目标。一些 AI PoC 可以在短短几天或几周内开发完成，而另一些则可能需要几个月甚至更长时间才能完成。

什么时候绝对没有办法绕过 AI PoC？

在以下情况下，必须使用 AI PoC 启动您的项目。

您的项目依赖于一个尚未经过测试的创新想法——已经在业务层面研究过的东西，但还没有在技术上进行过尝试。您和您的技术供应商都不确定它是否可以实施。
如果您需要在有限的时间内向利益相关者、投资者和其他人证明您的想法的可行性。 AI PoC 将比交互式原型或类似的东西做得更好。

是否存在 AI PoC 是浪费时间的情况？

尽管 AI PoC 在大多数情况下都是有益的，但也有一些例外。如果您的项目属于以下类别之一，则 AI PoC 可能有点矫枉过正。

如果您的想法和方法从功能和技术角度得到了很好的记录。这是罕见的。
如果您要开发的解决方案是标准的并且类似于该领域的常见做法。我们已经知道，从技术角度来说，这是可行和可能的。
如果您想构建您的前端和后端开发人员理解的软件，通常是因为他们已经从事过相同的工作。

您可以从 AI PoC 中获得什么好处？

使用 AI PoC 带来以下好处。

在投入更多资源之前确定潜在的挑战。 AI PoC 允许您“快速失败，更好地失败”。如果团队遇到无法克服的挑战，所有利益相关者都有时间重新组合或可能改变假设以通过其他方法达到相同的目标。
最大限度地降低业务风险，因为您以小步骤而不是投入长期项目来测试创新想法。
改进数据收集实践。
让投资者和其他利益相关者参与进来。
节省时间和资源。 AI PoC 可能会发现与业务或流程相关的问题，并让您有时间在开始全面项目之前解决所有问题。
积累专业知识并培养知识所有者，他们将在未来指导另一名团队成员从事类似项目。
在较小规模上测试技术堆栈，以了解其对所选业务案例的适用性。

我们的产品组合中 AI PoC 挽救了局面的示例

以下是 ITRex 产品组合中的一些 AI PoC 示例，它们将帮助您更加了解 PoC 方法。

意识到单靠 ML 并不是解决问题的方法

一家大型货运物流公司每天处理 10,000-15,000 件货物，每件货物都附有提单和发票以涵盖运营。员工因手动处理所有文档而筋疲力尽。该公司希望构建一个基于 ML 的解决方案，该解决方案将使用光学字符识别 (OCR) 来处理扫描的文档并识别不同的字段。

客户认为机器学习是最佳解决方案，因此我们着手进行 AI PoC 来测试这一假设。很快我们意识到文档的格式不同，用于字段的标签也有很大差异——例如，仅加载 ID 字段就有 8 个别名。因此，ML 模型不断增长。它变得缓慢而低效。我们的团队决定为这个模型配备一个动态算法（例如，不同字段标签被硬编码的字典）。这一修改显着提高了解决方案的性能，并为客户节省了时间和金钱。

如果客户决定跳过 AI PoC，他们可能会浪费七个月的时间才意识到他们最初关于纯基于 ML 的模型的想法并不是最佳解决方案。通过 AI PoC，他们仅用了两个月就得出了这个结论。在这个 AI PoC 成功完成后，我们构建了一个可以处理四种类型文档的 MVP，承担了大约 25% 的手动处理负载。

对 Meta 的数据使用限制感到吃惊

娱乐行业的一位客户希望为独立音乐表演者构建一个人工智能驱动的分析平台。该解决方案应该抓取包括 Facebook 和 Instagram 在内的社交媒体来收集数据。它将处理所有这些信息以衡量人们对艺术家的看法。音乐家可以在该平台上注册，并收到关于哪些社交媒体行为对他们的成功最有利的反馈。

我们着手进行 AI PoC 来测试这个想法。仅仅两周后，我们就意识到，根本不可能从 Facebook 和 Instagram 收集数据并将其用于上述目的。通常，一些数据可以通过 Graph API 检索。因此，以及 Meta 中经过验证的企业帐户，我们假设我们可以访问所需的信息。但是，客户无法向我们提供经过验证的企业帐户，而且仅来自 Graph API 的数据不足以让该解决方案发挥作用。

如果客户决定跳过 PoC，他们将在发现项目上浪费大约 20,000 美元。这将包括解决方案的详细描述和开发成本的估算。但由于他们选择从 AI PoC 开始，他们只花了大约 5,000 美元就发现由于 Meta 强制执行的数据访问限制，所提议的解决方案无法执行。

首个 AI PoC 的五步指南

您可以按照以下五个步骤成功通过 AI PoC。我们还列出了与每个步骤相关的挑战。

第 1 步：确定您想用 AI 解决哪些问题

必须明确说明您希望通过实施 AI PoC 来完成什么。所选用例需要具有高价值并代表您可以使用该技术最好地解决的问题。如果您有疑问，一个好的起点是研究您所在领域的其他人使用 AI 解决方案的目的。另一种方法是调查您的企业面临的问题，并将其与人工智能的潜力进行比较。

在您积累了一系列机会之后，您可以提出以下问题来确定哪些机会最适合您的项目。

您打算解决的问题是否足够具体？你能评估结果以确定成功吗？
您是否已尝试使用其他技术解决此问题？
您是否有人才和资金来支持这个项目直到结束？如果没有合适的内部人才，是否可以聘请外部专门团队？
该问题将如何影响您的业务？这种影响是否足以保证您的努力？
你能把这个项目卖给你的高管吗？您的组织准备好承担这样的项目了吗？
您的公司是否已经制定了数据战略？如果是这样，它将如何与该项目保持一致？
使用 AI 解决这个问题的潜在风险和局限性是什么？

相关挑战

选择一个不会增加太多价值或没有充分发挥 AI 潜力的用例。人工智能是一项昂贵的技术，选择一个无关紧要的案例将意味着你得不偿失。查看我们关于实施 AI 的成本的文章，以便更好地了解费用。

第 2 步：准备数据

现在您已经清楚地定义了您的问题，是时候为 AI 算法聚合和准备训练数据了。您可以通过以下方式做到这一点：

检查哪些数据可在贵公司内部使用
使用特定的现成应用程序或您自己的解决方案生成半合成数据
从可靠的供应商处购买数据集
使用开源数据
雇用人员来抓取适合您目的的数据。

您不必将自己局限于一种来源。您可以组合使用上面列出的几个选项。

求助于数据科学家进行初步数据筛选。他们将执行以下任务。

构建数据
通过消除噪音来清洁它
如果是表格数据，请添加任何缺失的数据点
进行特征工程（即增删数据字段）
应用操作，例如组合或过滤数据

数据科学家可以就如何收集额外数据或如何缩小 AI PoC 的范围向您提供建议，以便您可以使用现有数据集获得预期的结果。

当数据可供使用时，将其分成三组：

模型将用于学习的训练集。
用于验证模型和迭代训练的验证集。
将评估算法性能的测试集。

相关挑战

训练数据不能代表整个人群。在这种情况下，算法可能在常见情况下表现良好，但在极少数情况下会产生糟糕的结果。例如，分析 X 射线的医疗保健 ML 模型可能擅长检测常见疾病，例如积液，但很难发现罕见疾病，例如疝气。
类别不平衡，当代表一个类别的案例数量明显大于另一个类别时，比例为 99.9% 比 0.1%。
标签不正确，例如混合类别（例如将自行车标记为汽车）。
训练数据集中的高噪声。
难以实现纯类可分离性。当训练集中的某些数据无法正确分类到特定类别下时，就会发生这种情况。

第 3 步：设计并构建或购买解决方案

您可能想知道是应该自己构建模型还是可以采购现有解决方案。这就是从头开始创建 AI 模型的意义所在。

您的解决方案是创新的，不符合现有标准。
现成的解决方案定制成本很高。
最接近的现成模型有点矫枉过正，它做的比你实际需要的要多得多。

如果购买和定制模型的成本低于从头开始构建的成本，请考虑购买现成的模型。

如果您决定从头开始构建 AI 算法，您将可以更好地控制其准确性。完成任务需要更长的时间，但它会根据您的业务问题和内部流程量身定制。您无需更改系统即可适应外部软件。

关于算法训练和实现的基础设施，可以依赖云端，而不是使用本地资源。在决定什么最适合您时，您可以考虑四个参数。

安全。 如果您的数据在安全方面非常敏感，那么您最好将所有内容都保留在本地。
工作量。 如果处理负载比较重，选择云。
费用。 评估什么会让您花费更多：在本地获取资源或随着时间的推移为云使用付费。
辅助功能。 如果您只在本地使用该解决方案，则可以依赖您的内部服务器。如果需要从不同的地理位置访问它，那么值得考虑云。

每种方法都有其优点和缺点。如果您在医疗保健行业开展业务，我们在博客上的医疗保健云计算帖子中对这些内容进行了清楚的解释。否则，请随时联系我们的 AI 专家，为算法训练选择最佳技术堆栈。

相关挑战

缺乏适当的培训。这会导致一些问题，例如模型泛化能力差，这意味着模型不会对它在训练中没有看到的数据做出准确的预测。回到医疗领域的 X 射线图像分析，一种算法可能会成功地分析由最先进的扫描捕获的高质量图像，但在应用于由旧机器生成的扫描时仍然表现不佳。
与现有系统集成，其中一些系统可能已经过时或由专有技术提供支持。
未能提出合适的模型架构（例如，无法为手头的问题选择正确的 ML 模型）。
所选体系结构的功能无法满足模型的要求。
输入数据是易变的，这意味着模型必须经常重新训练。
使用比您的模型执行其任务所需的资源更多的资源。无需投资强大的服务器来运行简单的模型。

第 4 步：评估 AI PoC 产生价值的潜力

这一步是评估AI PoC是否达标。有几种方法可以执行评估。

回到您的关键绩效指标 (KPI) 并针对它们测试解决方案。这些因素可能包括准确性、客户满意度、速度、灵活性、公平性和安全性。
收集有关您的系统在 AI PoC 部署之前如何运行的数据。这可以包括在特定手动任务上花费的时间和错误数量。接下来，您应该使用这些信息来评估 PoC 的影响。
将解决方案的性能与被视为此类问题或更广泛行业基准的其他产品进行比较。例如，图像分类相关问题的基准是在流行的数据集（如 ImageNet）上提供准确结果的模型。
通过焦点小组或在线调查收集用户反馈，以衡量满意度并确定缺失的内容。
进行成本效益分析以了解此解决方案对组织的财务影响。

相关挑战

在你的评估中犯了一个错误。这可能是计算过程中的简单数学错误，也可能是与估算业务潜力相关的错误。

第 5 步：迭代 AI PoC 以获得更好的结果，或扩大规模

如果您在上一步中收到的结果不符合标准，您可以考虑修改解决方案并迭代整个过程。您可以更改 ML 算法并测量每次调整的性能。您还可以尝试不同的硬件组件或替代的云服务模型。

如果您对 AI PoC 的性能感到满意，您可以在不同的方向上对其进行扩展。这里有一些例子。

将 PoC 应用于其他业务案例。 在您的企业中寻找这种新解决方案的其他应用。例如，如果您将 AI 作为预测性维护的一种应用进行测试，则可以尝试将其应用于其他相关场景。
扩展基础设施。 查看用于运行此软件的技术。您能否投入更多的处理能力或更多的数据存储容量？此类修改将使您能够使用更多数据、减少延迟，并可能实时交付结果。它还可以最大程度地减少将来出现瓶颈的可能性。
优化PoC方案。 即使您可能在上一步中获得了合理的结果，也可能值得寻找提高准确性的方法。您可以使用新数据或更准确标记的数据继续训练您的算法。或者您甚至可以尝试实施调整和更改以获得更好的结果。

如果您决定在 PoC 阶段后在全公司范围内采用 AI，您可以在我们的指南中找到有关如何在您的组织中实施 AI 的有用提示。

相关挑战

没有仔细考虑架构。该解决方案可能适用于 10,000 名用户，但当受众达到 100,000 时就会崩溃。
该模型包含会在您尝试扩展 AI 解决方案时自行显现的错误
将该模型应用于其他业务案例，而不是它原本打算用于的业务案例。例如，用于组装花园独轮手推车的解决方案不能应用于组装卡车，因为它可能会构建带有马达的大型花园独轮手推车。

总结

在实施 AI 时，从小处着手并保持可管理性。确保您有明确的业务案例，其中包含明确的目标和衡量成功的指标。并且始终考虑创建 AI PoC，本文开头介绍的案例除外。这将帮助您在全面投入之前识别任何潜在障碍，并对可能达不到预期的解决方案进行大量财务投资。

您是否想在您的组织中实施 AI，但不确定您的经营理念是否可行？保持联系！我们的团队将帮助您进行 PoC，以在实践中检验您的想法。

最初于 2023 年 1 月 9 日发布在 https://itrexgroup.com。