为什么在机器学习中使用人在循环 (HITL) 方法？

你听说过在亚利桑那州撞死一名妇女的自动驾驶优步汽车吗？ 另一次，面部识别解决方案将一名无辜的有色人种描述为新泽西州的罪犯，而亚马逊的人工智能招聘工具显示出对女性候选人的偏见。

显然，人工智能会犯错误。 重大的，甚至改变生活的错误。 那么，我们如何才能在消除此类错误的同时仍获得 AI 的好处呢？ 一种选择是让人类专家在部署后培训、评估和监控 AI 业务解决方案。 这个概念被称为循环中的人（HITL）机器学习。 Gartner 预测，到 2025 年，在某些行业中，HITL AI 解决方案将占所有自动化产品的 30% 左右。

我们与我们的 AI 专家 Maksym Bochok 进行了交谈，以了解人类如何融入循环，他们带来了哪些好处，以及如何组织这个过程。

人在循环的定义和好处

犯错是人之常情，真正把事情搞砸需要一台电脑。

——Paul Ehlrich，德国医生，诺贝尔奖获得者

现在，Ehlrich 的名言比以往任何时候都更加重要。 随着人工智能处理关键应用程序，出错的余地越来越小。 机器并不完美。 他们根据收到的训练数据建立对任务的理解，并可能做出错误的假设。

这将我们带到了人在回路的机器学习术语中。

人在循环意味着将人类员工整合到机器学习管道中，以便他们可以持续训练和验证模型。 这包括所有使用模型及其训练数据的人。

人工在环如何为您的机器学习算法增加价值

保持高精度。 这对于不能容忍错误的域尤其重要。 例如，在制造飞机的关键设备时，我们需要自动化和速度，但不能危及安全。 HITL 在不太关键的应用程序中也很有用。 例如，在文件监管合规方面严重依赖 AI 的大型咨询公司涉及人工循环机器学习来验证其自然语言处理算法。

消除偏见。 机器学习模型在训练期间可能会出现偏差。 此外，随着他们继续学习，他们可能会在部署后获得偏见。 人类员工可以通过相应地修正算法在早期阶段检测并消除这种现象。

确保透明度。 ML 算法评估数千甚至数百万个参数以做出最终决定，而且往往无法解释。 使用 HITL，有一个人了解算法是如何工作的，并且可以证明他们做出的决定是正确的。 这被称为可解释的人工智能。 例如，当一个人申请贷款但被拒绝时，他们可能会要求信贷员解释拒绝背后的原因，以及申请人可以做些什么来增加下次机会。

打开就业机会。 我们经常听到人工智能窃取人们的工作。 人类参与的机器学习提供了一个示例，说明该技术如何创造新的职位空缺。 看看印度数据注释器市场。

人类在人工智能管道中的作用

Maksym 解释了人类如何成为人工智能管道的一部分，以增强其做出预测的能力。 机器学习模型在有监督或无监督学习模式下运行。 在监督学习的情况下，人们可以执行以下任务：

• 标签和注释。 一名人类员工标记训练数据集。 根据所需的专业知识，这可以是领域专家或任何受过适当培训的员工。
• 重新设计模型。 如果需要，ML 工程师和程序员可以对算法进行调整，以确保它可以充分利用提供的数据集。
• 培训和再培训。 员工向模型提供带注释的数据，查看输出，进行更正，尽可能添加更多数据，然后重新训练模型。
• 部署后监控模型的性能。 在客户场所部署 AI 解决方案后，循环机器学习生命周期中的人不会停止。 ML 工程师在客户同意的情况下继续监控其性能，并在需要时通过选择性验证其输出来调整模型。 通过选择性验证获得的案例将增加初始训练数据集以提高算法的性能。

在无监督机器学习中，算法将未标记的数据作为输入并自行找到结构。 在这种情况下，人类不会对数据集进行注释，并且不会过多地干扰初始训练。 但是他们可以通过执行上面的步骤 4 显着丰富模型。

当人在循环机器学习是绝对必要的

Maksym 认为，人在循环方法对大多数机器学习用例都是有益的。 AI 解决方案在对大型广泛数据集进行训练时在做出最佳预测方面令人印象深刻，而人类可以从有限供应的低质量数据样本中识别模式。 将这两种功能结合在一起可以创建一个强大的系统。 尽管在某些应用程序中，机器学习模型可以在有限的人工干预下做得很好，但在某些情况下，一个成熟的人在循环系统中是必须的：

• 当算法的任何错误都可能代价高昂时，例如在医学诊断中。
• 当您需要正确训练算法的数据稀缺时。 更多的训练数据总是等同于更好的模型性能。 借助后期制作模型监控，您可以使用相关样本扩充训练数据，为模型提供更多可供学习的示例。
• 在一次性学习的情况下，当算法在数百甚至数千个样本上训练以对某些对象进行分类时。 然后添加了另一个类，算法必须学会从几个训练样本中识别它。
• 在受到严格监管的行业中，必须解释算法是如何得出结论的。 例如，当医生使用 AI 建议个性化癌症治疗时，他们需要向患者证明该治疗计划的合理性。

在查看 ML 算法处理的数据类型时，HITL AI 对于计算机视觉应用和自然语言处理 (NLP) 至关重要，尤其是在对可能包含讽刺的文本进行情感分析时。 HITL 对于表格数据和时间序列分析不太重要。

通过人在循环实践中增强人工智能的技巧

Maksym 提供了以下关于如何在机器学习中成功实施人在循环方法的提示：

• 在部署后监控和分析算法的性能时，无论人在循环系统中的表现如何，人类参与者都无法关注算法处理的每一个输入和它产生的每一个输出。 明智地选择您的案例。 使用选择性验证来挑选值得您关注的案例。 Maksym 提出了以下智能案例选择方法：
• 基于置信水平。 例如，算法需要将每个输入图像分类为猫或狗。 获得大约 48/52 或任何类似置信度的图像会混淆算法，需要正确标记并用于重新训练模型。
• 随机核实“琐碎”案件。 让我们假设在算法性能方面，只有十分之一的案例拥有有价值的信息。 这种情况的一个例子是模型对错误的预测过于自信。 您绝对应该考虑这种情况，但您还需要从剩余的九种情况中随机选择一种，以确保算法不会对其错误的预测过于自信或允许偏差。
• 在分析您在上一步中选择的案例时，不要将自己局限于最终结果。 与其查看神经网络中最后一组神经元的输出，不如检查前一层，如下图所示，并分析错误预测与算法做出的最接近正确预测之间的距离分布。
• 鼓励算法的最终用户就其性能提供反馈。 构建反馈表并将其提供给所有人，以便用户可以传达他们可能遇到的任何问题。
• 使用前面步骤中的数据点迭代地扩充训练数据集。 这样，即使在客户的操作中发生了一些变化，您也可以确保您的算法保持相关性。

现成的支持 HITL 的 AI 工具

有一些现成的人工循环机器学习工具允许您标记训练数据集并验证结果。 但是，您可能无法使用这些标准化工具实现上述提示。 以下是一些循环工具示例：

谷歌云 HITL

该解决方案提供了工作流和用户界面 (UI)，人们可以利用它们来标记、查看和编辑从文档中提取的数据。 客户公司可以使用自己的员工作为贴标员，也可以雇用 Google HITL 员工来完成任务。

该工具具有一定的 UI 功能，可以简化贴标机的工作流程并根据置信度阈值过滤输出。 它还允许公司管理他们的贴标机库。

亚马逊增强人工智能 (Amazon A2I)

这种人在循环人工智能工具允许人们审查低置信度和随机 ML 预测。 与仅对文本进行操作的 Google Cloud HITL 不同，Amazon A2I 可以补充 Amazon Recognition 以提取图像和验证结果。 它还可以帮助查看表格数据。

如果客户对提供的 A2I 工作流程不满意，他们可以使用 SageMaker 或类似工具开发自己的方法。

DataRobot 谦虚的 AI

Humble AI 允许人们指定一组规则，ML 模型在进行预测时必须应用这些规则。 每个规则都包含一个条件和相应的操作。 目前，共有三个动作：

• 无需操作，当人类只是监控相应的状态而不进行干预
• 压倒一切的预测，当人们可以用不同的值替换模型的输出时
• 返回错误，完全丢弃预测

那么，人类参与的机器学习是最适合您的方法吗？

采用人工参与循环 AI 方法可以提高预测的准确性、透明度和质量。 在创造就业机会的同时，由于人为干预，它还增加了完成任务所需的成本和时间，这是一个积极的副作用。

尽管 HITL AI 有明显的好处，但由于与某些活动相关的风险，在某些应用程序中，人为循环是首选方法。 想想自主武器的开发和部署。

如果您觉得您的 ML 算法可以在循环中使用人工，但您不确定如何平衡运营成本以及所需的准确性和可解释性，请联系机器学习顾问。 他们将与您一起寻找合适的人选。 如果人工循环机器学习不是您的最佳解决方案，还有其他 ML 技巧可以帮助您克服训练数据稀缺的问题：

• 迁移学习，当您使用自己的数据微调预训练模型时
• 半监督学习，当您使用大型未标记数据集和少量标记样本时
• 自监督学习，当您在每批中屏蔽训练样本的随机部分并且算法尝试对其进行预测时

您是否正在考虑提高 ML 模型的准确性和可解释性？ 保持联系！ ITRex AI 专家将研究您的情况并设计最佳的人在循环方法来满足您的需求。

最初于 2022 年 7 月 17 日在 https://itrexgroup.com 上发布。