為什麼在機器學習中使用人在循環 (HITL) 方法？

你聽說過在亞利桑那州撞死一名婦女的自動駕駛優步汽車嗎？ 另一次，面部識別解決方案將一名無辜的有色人種描述為新澤西州的罪犯，而亞馬遜的人工智能招聘工具顯示出對女性候選人的偏見。

顯然，人工智能會犯錯誤。 重大的，甚至改變生活的錯誤。 那麼，我們如何才能在消除此類錯誤的同時仍獲得 AI 的好處呢？ 一種選擇是讓人類專家在部署後培訓、評估和監控 AI 業務解決方案。 這個概念被稱為循環中的人（HITL）機器學習。 Gartner 預測，到 2025 年，在某些行業中，HITL AI 解決方案將佔所有自動化產品的 30% 左右。

我們與我們的 AI 專家 Maksym Bochok 進行了交談，以了解人類如何融入循環，他們帶來了哪些好處，以及如何組織這個過程。

人在循環的定義和好處

犯錯是人之常情，真正把事情搞砸需要一台電腦。

——Paul Ehlrich，德國醫生，諾貝爾獎獲得者

現在，Ehlrich 的名言比以往任何時候都更加重要。 隨著人工智能處理關鍵應用程序，出錯的餘地越來越小。 機器並不完美。 他們根據收到的訓練數據建立對任務的理解，並可能做出錯誤的假設。

這將我們帶到了人在迴路的機器學習術語中。

人在循環意味著將人類員工整合到機器學習管道中，以便他們可以持續訓練和驗證模型。 這包括所有使用模型及其訓練數據的人。

人工在環如何為您的機器學習算法增加價值

保持高精度。 這對於不能容忍錯誤的域尤其重要。 例如，在製造飛機的關鍵設備時，我們需要自動化和速度，但不能危及安全。 HITL 在不太關鍵的應用程序中也很有用。 例如，在文件監管合規方面嚴重依賴 AI 的大型諮詢公司涉及人工循環機器學習來驗證其自然語言處理算法。

消除偏見。 機器學習模型在訓練期間可能會出現偏差。 此外，隨著他們繼續學習，他們可能會在部署後獲得偏見。 人類員工可以通過相應地修正算法在早期階段檢測並消除這種現象。

確保透明度。 ML 算法評估數千甚至數百萬個參數以做出最終決定，而且往往無法解釋。 使用 HITL，有一個人了解算法是如何工作的，並且可以證明他們做出的決定是正確的。 這被稱為可解釋的人工智能。 例如，當一個人申請貸款但被拒絕時，他們可能會要求信貸員解釋拒絕背後的原因，以及申請人可以做些什麼來增加下次機會。

打開就業機會。 我們經常聽到人工智能竊取人們的工作。 人類參與的機器學習提供了一個示例，說明該技術如何創造新的職位空缺。 看看印度數據註釋器市場。

人類在人工智能管道中的作用

Maksym 解釋了人類如何成為人工智能管道的一部分，以增強其做出預測的能力。 機器學習模型在有監督或無監督學習模式下運行。 在監督學習的情況下，人們可以執行以下任務：

• 標籤和註釋。 一名人類員工標記訓練數據集。 根據所需的專業知識，這可以是領域專家或任何受過適當培訓的員工。
• 重新設計模型。 如果需要，ML 工程師和程序員可以對算法進行調整，以確保它可以充分利用提供的數據集。
• 培訓和再培訓。 員工向模型提供帶註釋的數據，查看輸出，進行更正，盡可能添加更多數據，然後重新訓練模型。
• 部署後監控模型的性能。 在客戶場所部署 AI 解決方案後，循環機器學習生命週期中的人不會停止。 ML 工程師在客戶同意的情況下繼續監控其性能，並在需要時通過選擇性驗證其輸出來調整模型。 通過選擇性驗證獲得的案例將增加初始訓練數據集以提高算法的性能。

在無監督機器學習中，算法將未標記的數據作為輸入並自行找到結構。 在這種情況下，人類不會對數據集進行註釋，並且不會過多地干擾初始訓練。 但是他們可以通過執行上面的步驟 4 顯著豐富模型。

當人在循環機器學習是絕對必要的

Maksym 認為，人在循環方法對大多數機器學習用例都是有益的。 AI 解決方案在對大型廣泛數據集進行訓練時在做出最佳預測方面令人印象深刻，而人類可以從有限供應的低質量數據樣本中識別模式。 將這兩種功能結合在一起可以創建一個強大的系統。 儘管在某些應用程序中，機器學習模型可以在有限的人工干預下做得很好，但在某些情況下，一個成熟的人在循環系統中是必須的：

• 當算法的任何錯誤都可能代價高昂時，例如在醫學診斷中。
• 當您需要正確訓練算法的數據稀缺時。 更多的訓練數據總是等同於更好的模型性能。 借助後期製作模型監控，您可以使用相關樣本擴充訓練數據，為模型提供更多可供學習的示例。
• 在一次性學習的情況下，當算法在數百甚至數千個樣本上訓練以對某些對象進行分類時。 然後添加了另一個類，算法必須學會從幾個訓練樣本中識別它。
• 在受到嚴格監管的行業中，必須解釋算法是如何得出結論的。 例如，當醫生使用 AI 建議個性化癌症治療時，他們需要向患者證明該治療計劃的合理性。

在查看 ML 算法處理的數據類型時，HITL AI 對於計算機視覺應用和自然語言處理 (NLP) 至關重要，尤其是在對可能包含諷刺的文本進行情感分析時。 HITL 對於表格數據和時間序列分析不太重要。

通過人在循環實踐中增強人工智能的技巧

Maksym 提供了以下關於如何在機器學習中成功實施人在循環方法的提示：

• 在部署後監控和分析算法的性能時，無論人在循環系統中的表現如何，人類參與者都無法關注算法處理的每一個輸入和它產生的每一個輸出。 明智地選擇您的案例。 使用選擇性驗證來挑選值得您關注的案例。 Maksym 提出了以下智能案例選擇方法：
• 基於置信水平。 例如，算法需要將每個輸入圖像分類為貓或狗。 獲得大約 48/52 或任何類似置信度的圖像會混淆算法，需要正確標記並用於重新訓練模型。
• 隨機核實“瑣碎”案件。 讓我們假設在算法性能方面，只有十分之一的案例擁有有價值的信息。 這種情況的一個例子是模型對錯誤的預測過於自信。 您絕對應該考慮這種情況，但您還需要從剩餘的九種情況中隨機選擇一種，以確保算法不會對其錯誤的預測過於自信或允許偏差。
• 在分析您在上一步中選擇的案例時，不要將自己局限於最終結果。 與其查看神經網絡中最後一組神經元的輸出，不如檢查前一層，如下圖所示，並分析錯誤預測與算法做出的最接近正確預測之間的距離分佈。
• 鼓勵算法的最終用戶就其性能提供反饋。 構建反饋表並將其提供給所有人，以便用戶可以傳達他們可能遇到的任何問題。
• 使用前面步驟中的數據點迭代地擴充訓練數據集。 這樣，即使在客戶的操作中發生了一些變化，您也可以確保您的算法保持相關性。

現成的支持 HITL 的 AI 工具

有一些現成的人工循環機器學習工具允許您標記訓練數據集並驗證結果。 但是，您可能無法使用這些標準化工具實現上述提示。 以下是一些循環工具示例：

谷歌云 HITL

該解決方案提供了工作流和用戶界面 (UI)，人們可以利用它們來標記、查看和編輯從文檔中提取的數據。 客戶公司可以使用自己的員工作為貼標員，也可以僱用 Google HITL 員工來完成任務。

該工具具有一定的 UI 功能，可以簡化貼標機的工作流程並根據置信度閾值過濾輸出。 它還允許公司管理他們的貼標機庫。

亞馬遜增強人工智能 (Amazon A2I)

這種人在循環人工智能工具允許人們審查低置信度和隨機 ML 預測。 與僅對文本進行操作的 Google Cloud HITL 不同，Amazon A2I 可以補充 Amazon Recognition 以提取圖像和驗證結果。 它還可以幫助查看表格數據。

如果客戶對提供的 A2I 工作流程不滿意，他們可以使用 SageMaker 或類似工具開發自己的方法。

DataRobot 謙虛的 AI

Humble AI 允許人們指定一組規則，ML 模型在進行預測時必須應用這些規則。 每個規則都包含一個條件和相應的操作。 目前，共有三個動作：

• 無需操作，當人類只是監控相應的狀態而不進行干預
• 壓倒一切的預測，當人們可以用不同的值替換模型的輸出時
• 返回錯誤，完全丟棄預測

那麼，人類參與的機器學習是最適合您的方法嗎？

採用人工參與循環 AI 方法可以提高預測的準確性、透明度和質量。 在創造就業機會的同時，由於人為乾預，它還增加了完成任務所需的成本和時間，這是一個積極的副作用。

儘管 HITL AI 有明顯的好處，但由於與某些活動相關的風險，在某些應用程序中，人為循環是首選方法。 想想自主武器的開發和部署。

如果您覺得您的 ML 算法可以在循環中使用人工，但您不確定如何平衡運營成本以及所需的準確性和可解釋性，請聯繫機器學習顧問。 他們將與您一起尋找合適的人選。 如果人工循環機器學習不是您的最佳解決方案，還有其他 ML 技巧可以幫助您克服訓練數據稀缺的問題：

• 遷移學習，當您使用自己的數據微調預訓練模型時
• 半監督學習，當您使用大型未標記數據集和少量標記樣本時
• 自監督學習，當您在每批中屏蔽訓練樣本的隨機部分並且算法嘗試對其進行預測時

您是否正在考慮提高 ML 模型的準確性和可解釋性？ 保持聯繫！ ITRex AI 專家將研究您的情況並設計最佳的人在循環方法來滿足您的需求。

最初於 2022 年 7 月 17 日在 https://itrexgroup.com 上發布。