机器学习模型培训：企业完整指南

已发表: 2024-02-06

2016年，微软推出了一款名为Tay的人工智能聊天机器人。它应该深入 Twitter 上的实时对话，掌握行话，并在每次新聊天中变得更加聪明。

然而，由于恶意用户迅速利用了聊天机器人的学习技能，实验失败了。在推出后的几个小时内，Tay 就开始发布攻击性和不当的推文，反映出它从用户那里学到的负面语言。

Tay 的推文疯传，吸引了大量关注，损害了微软的声誉。该事件凸显了在现实世界、不受控制的环境中部署机器学习 (ML) 模型的潜在危险。该公司不得不公开道歉并关闭 Tay，承认其设计存在缺陷。

快进到今天，我们在这里深入探讨适当的 ML 模型训练的重要性——正是这一点可以使 Microsoft 免于这场公关风暴。

所以，系好安全带！以下是 ITRex 机器学习开发公司提供的 ML 模型训练指南。

机器学习模型训练：机器学习的不同方法如何塑造训练过程

让我们从这个开始：没有一种放之四海而皆准的机器学习方法。训练 ML 模型的方式取决于数据的性质和您想要的结果。

让我们快速浏览一下 ML 的四种关键方法，看看每种方法如何塑造训练过程。

监督学习

在监督学习中，算法在标记数据集上进行训练，学习将输入数据映射到正确的输出。工程师先引导模型解决一系列已解决的问题，然后模型才能自行解决新问题。

示例：考虑一个监督学习模型，其任务是对猫和狗的图像进行分类。带标签的数据集包括标有相应标签（猫或狗）的图像。该模型细化其参数，以准确预测新的、未见过的图像的标签。

无监督学习

相反，在这里，算法深入研究未标记的数据并自行寻找模式和关系。它将相似的数据点分组并发现隐藏的结构。

示例：考虑在电子商务数据集中训练用于客户聚类的 ML 模型。该模型遍历客户数据并根据购买行为识别不同的客户群。

半监督学习

半监督学习是结合了监督学习和无监督学习元素的中间立场。在少量标记数据和大量未标记数据的情况下，该算法取得了平衡。当完全标记的数据集稀缺时，这是一个务实的选择。

示例：想象一个医疗诊断场景，其中标记数据（具有已知结果的病例）有限。半监督学习将利用标记的患者数据和更大的未标记患者数据的组合，增强其诊断能力。

强化学习

强化学习是一种相当于试错的算法。模型与环境交互，做出决策并以奖励或惩罚的形式接收反馈。随着时间的推移，它会完善其策略以最大化累积奖励。

示例：考虑为自主无人机训练机器学习模型。无人机通过获得成功导航的奖励和碰撞的惩罚来学习在环境中导航。随着时间的推移，它会完善其政策以更有效地导航。

虽然每种机器学习方法都需要独特定制的序列并强调某些步骤，但存在一组广泛适用于各种方法的核心步骤。

在下一节中，我们将引导您完成该序列。

机器学习模型训练：一步一步

识别机会并定义项目范围

这一步骤不仅涉及破译当前的业务问题，还涉及确定机器学习可以发挥其变革力量的机会。

首先与关键利益相关者（包括决策者和领域专家）互动，以全面了解业务挑战和目标。

接下来，通过训练 ML 模型清楚地阐明您想要解决的具体问题，并确保其与更广泛的业务目标保持一致。

这样做时，要小心歧义。含糊不清的问题陈述可能会导致错误的解决方案。澄清和具体化问题以避免后续阶段的误导至关重要。例如，“通过个性化内容推荐在下个季度将移动应用的用户参与度提高 15%”，而不是“提高用户参与度”——它是量化的、有针对性的、可衡量的。

在范围定义阶段，您可以尽早采取的下一步是评估相关数据的可用性和质量。

确定可用于解决问题的潜在数据源。假设您想要预测基于订阅的服务中的客户流失情况。您必须评估客户订阅记录、使用日志、与支持团队的互动以及计费历史记录。除此之外，您还可以求助于社交媒体互动、客户反馈调查和外部经济指标。

最后，评估将机器学习技术应用于已识别问题的可行性。考虑技术（例如现有基础设施的计算能力和处理速度）、资源（例如可用的专业知识和预算）和数据相关（例如数据隐私和可访问性考虑因素）限制。

数据发现、验证和预处理

成功的机器学习模型训练的基础在于高质量的数据。让我们探讨数据发现、验证和预处理的策略。

数据发现

在深入进行 ML 模型训练之前，必须深入了解您所拥有的数据。这涉及探索数据内的结构、格式和关系。

数据发现到底意味着什么？

探索性数据分析 (EDA)，您可以在其中揭示可用数据集中的模式、相关性和异常值，并可视化关键统计数据和分布以深入了解数据。

想象一下一家零售企业旨在优化其定价策略。在 EDA 阶段，您深入研究历史销售数据。通过散点图和直方图等可视化技术，您可以发现促销期和销量增加之间存在很强的正相关性。此外，分析还揭示了假期期间的异常值，表明存在需要进一步调查的潜在异常情况。因此，EDA 可以掌握销售模式、相关性和异常行为的动态。

特征识别，您可以识别对当前问题有重要贡献的特征。您还需要考虑每个功能对于实现既定业务目标的相关性和重要性。

基于上面的例子，特征识别可能涉及识别哪些方面影响销售。通过仔细分析，您可以将产品类别、定价等级和客户人口统计等特征识别为潜在的贡献者。然后您考虑每个功能的相关性。例如，您注意到产品类别在促销期间可能具有不同的重要性。因此，特征识别可确保您根据对期望结果产生有意义影响的属性来训练机器学习模型。

数据采样，您可以利用采样技术来获取具有代表性的数据子集以进行初始探索。对于上面例子中的零售业务来说，数据采样变得至关重要。假设您采用随机抽样来提取不同时间段的销售数据的代表性子集。这样，您就可以确保正常时段和促销时段的均衡表现。

然后，您可以应用分层抽样来确保每个产品类别都按比例表示。通过探索此子集，您可以初步了解销售趋势，从而使您能够就 ML 模型训练过程的后续阶段做出明智的决策。

数据验证

稳健的数据验证对于 ML 模型训练的重要性怎么强调也不为过。它确保输入模型的信息准确、完整且一致。它还有助于建立更可靠的模型并有助于减少偏见。

在数据验证阶段，您可以彻底评估数据完整性并识别可能影响模型性能的任何差异或异常。以下是具体的步骤：

数据质量检查，您 (1) 跨特征搜索缺失值并确定适当的删除策略；（2）确保数据格式和单位的一致性，尽量减少可能影响模型训练的差异； (3) 识别并处理可能影响模型训练的异常值； (4)验证数据的逻辑充分性。
交叉验证，您可以根据领域知识或外部来源交叉验证数据，以验证其准确性和可靠性。

数据预处理

数据预处理可确保模型在干净、一致且具有代表性的数据集上进行训练，从而增强其对新的、未见过的数据的泛化能力。为了实现这一目标，您需要采取以下措施：

处理缺失数据：识别缺失值并根据数据的性质和要解决的业务问题实施插补或删除等策略。
检测和处理异常值：采用统计方法来识别和处理异常值，确保它们不会影响模型的学习过程。
归一化、标准化：将数字特征缩放到标准范围（例如使用Z分数标准化），确保一致性并防止某些特征支配其他特征。
编码：将数据转换为一致的格式（例如通过one-hot编码或词嵌入）。
特征工程：派生新特征或修改现有特征，以增强模型捕获数据中相关模式的能力。

在为机器学习模型训练准备数据时，在保留数据集中有价值的信息和解决数据中存在的固有缺陷或异常之间取得平衡非常重要。取得错误的平衡可能会导致有价值信息的无意丢失，从而限制模型的学习和泛化能力。

采用解决缺陷的策略，同时最大限度地减少有意义数据的丢失。这可能涉及仔细的异常值处理、选择性插补或考虑钙类别变量的替代编码方法。

数据工程

在数据不足的情况下，数据工程就发挥了作用。您可以通过数据增强和合成等技术来弥补数据的缺乏。让我们深入了解细节：

数据增强：这涉及通过应用各种转换来创建现有数据的新变体或实例，而不改变固有含义。例如，对于图像数据，增强可以包括旋转、翻转、缩放或改变亮度。对于文本数据，变体可能涉及释义或引入同义词。因此，通过增强人为地扩展数据集，您可以将模型引入更多样化的场景，从而提高其处理未见数据的能力。
数据合成：这需要生成与现有数据集的特征相符的全新数据实例。可以使用生成式人工智能模型、模拟或利用领域知识来生成合理的示例来创建合成数据。在获取更多现实世界数据具有挑战性的情况下，数据合成尤其有价值。

选择最佳算法

数据工作完成。机器学习模型训练过程的下一阶段是关于算法的。选择最佳算法是一项战略决策，会影响未来模型的性能和精度。

有几种流行的机器学习算法，每种算法都适合一组特定的任务。

线性回归：适用于根据输入特征预测连续结果。它非常适合特征与目标变量之间存在线性关系的场景，例如，根据平方英尺、卧室数量和位置等特征预测房价。
决策树：能够处理数字和分类数据，使其适合需要明确决策边界的任务，例如，根据发件人、主题和内容等特征确定电子邮件是否为垃圾邮件。
随机森林：结合多个决策树的集成学习方法，具有更高的准确性和鲁棒性，使其能够有效解决复杂问题，例如，结合历史使用数据和客户人口统计数据来预测客户流失。
支持向量机 (SVM)：对于明确决策边界至关重要的场景非常有效，尤其是在医学成像等高维空间中。 SVM 可应用的任务示例是根据从图像中提取的各种特征将医学图像分类为癌性或非癌性。
K 最近邻 (KNN)：依靠邻近度，KNN 根据附近数据点的多数类或平均值进行预测。这使得 KNN 适合推荐系统中的协同过滤，它可以根据具有相似观看历史的用户的偏好向用户推荐电影。
神经网络：擅长捕获复杂的模式和关系，使其适用于各种复杂的任务，包括图像识别和自然语言处理。

以下是影响机器学习模型训练算法选择的因素。

问题的性质：问题的类型，无论是分类、回归、聚类还是其他。
数据集的大小和复杂性：大型数据集可能受益于可扩展的算法，而复杂的数据结构可能需要更复杂的模型。
可解释性要求：一些算法提供了更多的可解释性，这对于理解模型决策至关重要的场景至关重要。

机器学习模型训练

在模型训练阶段，您可以训练和调整算法以获得最佳性能。在本节中，我们将指导您完成模型训练过程的基本步骤。

首先将数据集分为三个部分：训练集、验证集和测试集。

训练集：该数据子集是模型教学的主要来源。它用于训练 ML 模型，使其能够学习输入和输出之间的模式和关系。通常，训练集包含可用数据的最大部分。
验证集：该数据集有助于评估模型在训练期间的性能。它用于微调超参数并评估模型的泛化能力。
测试集：该数据集作为模型的最终检查。它包含模型在训练或验证期间未遇到的新数据。测试集提供了模型在现实场景中的表现的估计。

通过测试数据集运行算法后，您可以初步了解模型的性能并进行超参数调整。

超参数是指导模型学习过程的预定义配置。超参数的一些示例可能是学习率（它控制训练期间的步长）或随机森林中决策树的深度。调整超参数有助于找到模型的完美“设置”。

模型评估和验证

为了确保模型的最佳性能，根据设定的指标对其进行评估非常重要。根据手头的任务，您可以选择一组特定的指标。机器学习模型训练中常用的包括以下内容。

准确性量化了模型预测的整体正确性，并说明了其总体熟练程度。
精确度和召回率，前者专注于正面预测的准确性，确保每当模型声称得到正面结果时，它都会正确执行，后者衡量模型捕获数据集中所有正面实例的能力。
F1 分数力求在准确率和召回率之间取得平衡。它提供了捕获模型性能的单个数值。由于精确率和召回率通常表现出一种权衡（想想：提高其中一个指标通常会以牺牲另一个指标为代价），F1 分数提供了一个考虑这两个方面的统一衡量标准。
AUC-ROC，即接收者操作特征下的面积，反映了模型区分正类和负类的能力。
“距离度量”量化预测值和实际值之间的差异或“距离”。 “距离度量”的示例包括均方误差 (MSE)、平均绝对误差 (MAE) 和 R 平方。

模型产品化/部署和扩展

一旦机器学习模型经过训练和验证，下一个关键步骤就是部署——将模型在现实环境中付诸实践。这涉及将模型集成到现有的业务基础设施中。
模型部署需要注意的关键方面如下。

可扩展性

部署的模型应设计为能够处理不同的工作负载并适应数据量的变化。可扩展性至关重要，尤其是在模型需要实时处理大量数据的场景中。

监控与维护

部署后持续监控至关重要。这涉及跟踪模型在现实条件下的性能，检测准确性的任何偏差或下降，并及时解决问题。定期维护可确保模型随着业务环境的发展而保持有效。

反馈回路

建立反馈循环对于持续改进至关重要。通过收集模型在现实世界中的预测的反馈，数据科学家可以随着时间的推移完善和增强模型。

克服机器学习模型训练的挑战

让我们通过探索现实生活中的示例来详细说明训练 ML 模型的细节。下面，我们记录了我们创建具有人工智能功能的革命性智能健身镜的历程，希望能让您深入了解机器学习的实用方面。

让我们先分享一些背景知识。随着新冠疫情大流行关闭了健身房并推动了家庭健身的兴起，我们的客户设想了一种改变游戏规则的解决方案——一款可以充当私人教练的智能健身镜。它将捕捉用户的动作，提供实时指导，并制定个性化的训练计划。

为了实现此功能，我们设计并训练了专有的机器学习模型。由于解决方案的复杂性，机器学习模型的训练过程并不容易。我们偶然发现了一些挑战，但我们成功地解决了这些挑战。让我们来看看最值得注意的。

确保训练数据的多样性

为了训练高性能模型，我们必须确保训练数据集多样化、具有代表性且没有偏见。为了实现这一目标，我们的团队实施了数据预处理技术，包括异常值检测和删除。

此外，为了弥补数据集中的潜在差距并增强其多样性，我们拍摄了定制视频，展示人们在不同环境、不同光照条件下以及使用不同健身器材进行锻炼的情况。

通过使用这些广泛的视频片段增强我们的数据集，我们丰富了模型的理解，使其能够更有效地适应现实世界的场景。

2. 探索模型的算法复杂性

我们遇到的另一个挑战是设计和训练能够准确跟踪和解释用户动作的深度学习模型。

我们实施深度传感来捕捉基于解剖标志的运动。这不是一件简单的事；它需要精确的处理和地标识别。

经过第一轮训练后，我们继续通过结合先进的计算机视觉技术来微调算法，例如骨架化（思考：将用户的轮廓转换为简化的骨架结构，以实现高效的地标识别）和跟踪（确保地标识别的一致性）随着时间的推移，这对于在整个动态练习中保持准确性至关重要）。

3. 确保物联网设备无缝连接和集成

由于健身镜不仅可以跟踪身体运动，还可以跟踪用户训练的重量，因此我们引入了连接到各个设备部件的无线粘合传感器。

我们必须确保传感器和镜子之间的不间断连接，并实现实时数据同步。为此，我们实施了优化的数据传输协议并开发了错误处理策略来解决数据传输中的潜在故障。此外，我们采用了带宽优化技术来促进快速通信，这对于动态练习期间的实时同步至关重要。

4. 实现语音识别

健身镜中的语音识别功能增加了一个交互层，允许用户通过语音命令控制和交互设备。

为了使用户能够与系统交互，我们实现了一个声控麦克风，其中包含固定的健身相关命令列表和语音识别技术，可以学习新单词并理解用户给出的新提示。

挑战在于，用户经常在环境噪音较大的家庭环境中锻炼，这使得语音识别系统很难准确理解命令。为了应对这一挑战，我们实施了噪声消除算法并微调了语音识别模型，以提高噪声条件下的准确性。

机器学习模型训练的未来趋势

ML 的前景正在不断发展，有望重塑 ML 模型训练过程的一个显着趋势是自动化机器学习 (AutoML)。 AutoML 提供了一种更易于访问且更高效的 ML 模型开发方法。

它允许实现上述大部分工作流程的自动化，甚至使那些没有丰富的机器学习专业知识的人也能利用机器学习的力量。

下面介绍了 AutoML 如何影响 ML 训练过程。

所有人均可使用：AutoML 通过简化模型训练中涉及的复杂性来实现 ML 的民主化。具有不同背景的个人，而不仅仅是经验丰富的数据科学家，都可以利用 AutoML 工具创建强大的模型。
效率和速度：传统的机器学习开发周期可能是资源密集型且耗时的。 AutoML 简化了这一过程，自动执行特征工程、算法选择和超参数调整等任务。这加快了模型开发生命周期，使其更加高效并能更好地响应业务需求。
无需专业知识即可优化：AutoML 算法擅长优化模型，无需深厚的专业知识。他们迭代地探索算法和超参数的不同组合，寻找性能最佳的模型。这不仅节省了时间，还确保模型经过微调以获得最佳性能。
持续学习和适应：AutoML 系统通常包含持续学习的各个方面，以适应数据模式和业务需求随时间的变化。这种适应性确保模型在动态环境中保持相关性和有效性。

如果您想通过机器学习最大限度地发挥数据的潜力，请联系我们。我们的专家将指导您完成 ML 模型培训，从项目规划到模型产品化。

本文最初发表于 ITRex 网站