Por que usar a abordagem Human in the Loop (HITL) no aprendizado de máquina?

Você ouviu falar do carro autônomo da Uber que atropelou e matou uma mulher no Arizona? Em outra ocasião, uma solução de reconhecimento facial perfilou um homem inocente de cor como um criminoso em Nova Jersey, e a ferramenta de recrutamento com inteligência artificial da Amazon mostrou preconceito contra candidatas do sexo feminino.

Claramente, a inteligência artificial comete erros. Erros significativos, até mesmo que alteram a vida. Então, como ainda podemos obter os benefícios da IA ​​ao mesmo tempo em que eliminamos esse tipo de erro? Uma opção é permitir que especialistas humanos treinem, avaliem e monitorem as soluções de negócios de IA após a implantação. Esse conceito é chamado de aprendizado de máquina humano em loop (HITL). O Gartner prevê que, em alguns setores, as soluções HITL AI compreenderão cerca de 30% de todas as ofertas de automação até 2025.

Conversamos com nosso especialista em IA, Maksym Bochok, para entender como os humanos se encaixam no ciclo, quais benefícios eles trazem e como organizar esse processo.

Human in the loop definição e benefícios

Errar é humano, para realmente estragar as coisas é preciso um computador.

–Paul Ehlrich, médico alemão e ganhador do Prêmio Nobel

Agora a citação de Ehlrich é mais relevante do que nunca. Com a IA lidando com aplicativos críticos, a margem de erro está ficando menor. E as máquinas não são perfeitas. Eles constroem sua compreensão da tarefa com base nos dados de treinamento recebidos e podem fazer suposições errôneas.

E isso nos leva à terminologia de aprendizado de máquina humano no circuito.

Human in the loop significa integrar funcionários humanos no pipeline de aprendizado de máquina para que possam treinar e validar modelos continuamente. Isso inclui todas as pessoas que trabalham com modelos e seus dados de treinamento.

Como o human-in-the-loop agrega valor aos seus algoritmos de aprendizado de máquina

Mantém um alto nível de precisão. Isso é particularmente importante para domínios que não toleram erros. Por exemplo, ao fabricar equipamentos críticos para uma aeronave, queremos automação e velocidade, mas não podemos comprometer a segurança. HITL também é benéfico em aplicações menos críticas. Por exemplo, grandes empresas de consultoria que dependem fortemente de IA para conformidade regulatória de documentos envolvem aprendizado de máquina humano no loop para validar seus algoritmos de processamento de linguagem natural.

Elimina o preconceito. Os modelos de aprendizado de máquina podem se tornar tendenciosos durante o treinamento. Além disso, eles podem adquirir viés após a implantação, à medida que continuam aprendendo. Funcionários humanos podem detectar e eliminar esse fenômeno nos estágios iniciais, corrigindo o algoritmo de acordo.

Garante a transparência. Os algoritmos de ML avaliam milhares ou até milhões de parâmetros para tomar uma decisão final, e muitas vezes isso não pode ser explicado. Com o HITL, há um humano que entende como os algoritmos funcionam e pode justificar as decisões que eles tomam. Isso é chamado de IA explicável. Por exemplo, quando uma pessoa solicita um empréstimo e é negada, ela pode pedir a um agente de crédito que explique o motivo da rejeição e o que o solicitante pode fazer para aumentar suas chances na próxima vez.

Abre oportunidades de emprego. Muitas vezes ouvimos falar que a IA está roubando os empregos das pessoas. O aprendizado de máquina com um humano no circuito fornece um exemplo de como a tecnologia pode criar novas vagas. Basta olhar para o mercado indiano de anotadores de dados.

O papel dos humanos no pipeline de IA

Maksym explica como os humanos podem fazer parte do pipeline de IA para melhorar sua capacidade de fazer previsões. Os modelos de aprendizado de máquina operam em modos de aprendizado supervisionado ou não supervisionado. No caso do aprendizado supervisionado, as pessoas podem realizar as seguintes tarefas:

• Rotulagem e anotação. Um funcionário humano rotula o conjunto de dados de treinamento. Dependendo da experiência necessária, pode ser um especialista de domínio ou qualquer funcionário com treinamento adequado.
• Reengenharia do modelo. Se necessário, engenheiros e programadores de ML podem fazer ajustes no algoritmo para garantir que ele tire o melhor proveito do conjunto de dados fornecido.
• Treinamento e retreinamento. Os funcionários alimentam o modelo com os dados anotados, visualizam a saída, fazem correções, adicionam mais dados, se possível, e treinam novamente o modelo.
• Monitoramento do desempenho do modelo após a implantação. O ciclo de vida do aprendizado de máquina humano no loop não para após a implantação da solução de IA nas instalações do cliente. Os engenheiros de ML continuam a monitorar seu desempenho com o consentimento do cliente e fazem ajustes no modelo quando necessário por meio de verificação seletiva de sua saída. Os casos obtidos através da verificação seletiva aumentarão o conjunto de dados de treinamento inicial para melhorar o desempenho do algoritmo.

No aprendizado de máquina não supervisionado, os algoritmos usam dados não rotulados como entrada e encontram uma estrutura por conta própria. Nesse caso, humanos não anotam o conjunto de dados e não interferem muito no treinamento inicial. Mas eles podem enriquecer significativamente o modelo executando a etapa 4 acima.

Quando o aprendizado de máquina humano em loop é uma necessidade absoluta

Maksym acredita que a abordagem humana no loop é benéfica para a maioria dos casos de uso de aprendizado de máquina. As soluções de IA são impressionantes em fazer previsões ideais quando treinadas em grandes conjuntos de dados extensos, enquanto os humanos podem reconhecer padrões de um suprimento limitado de amostras de dados de baixa qualidade. A combinação de ambos os recursos pode criar um sistema poderoso. Embora em alguns aplicativos os modelos de ML possam se sair bem com intervenção humana limitada, há casos em que um humano completo no sistema de loop é obrigatório:

• Quando qualquer erro do algoritmo pode custar muito caro, como no diagnóstico médico.
• Quando os dados que você precisa para treinar adequadamente o algoritmo são escassos. Mais dados de treinamento sempre equivalem a um melhor desempenho do modelo. Com a ajuda do monitoramento do modelo de pós-produção, você pode aumentar os dados de treinamento com amostras relevantes, dando ao modelo mais exemplos para aprender.
• No caso do aprendizado one-shot, quando um algoritmo é treinado em centenas ou mesmo milhares de amostras para classificar alguns objetos. E então outra classe é adicionada, e o algoritmo precisa aprender a identificá-la a partir de apenas algumas amostras de treinamento.
• Em indústrias fortemente regulamentadas, onde é essencial explicar como os algoritmos chegaram às suas conclusões. Por exemplo, quando os médicos usam a IA para sugerir tratamentos personalizados para o câncer, eles precisam justificar esse plano de tratamento para o paciente.

Ao analisar o tipo de dados que os algoritmos de ML processam, o HITL AI seria essencial para aplicativos de visão computacional e processamento de linguagem natural (NLP), especialmente quando se trata de análise de sentimentos de um texto que pode conter sarcasmo. HITL é menos importante para dados tabulares e análise de séries temporais.

Dicas sobre como aprimorar a inteligência artificial com práticas humanas em loop

Maksym oferece as seguintes dicas sobre como implementar com sucesso a abordagem humana no loop no aprendizado de máquina:

• Ao monitorar e analisar o desempenho de um algoritmo após a implantação , não importa quão bom seja o humano no sistema de loop, os participantes humanos não poderão prestar atenção a cada entrada que o algoritmo processa e a cada saída que ele gera. Escolha seus casos com sabedoria. Use a verificação seletiva para escolher os casos que merecem sua atenção. Maksym sugere essas abordagens para a seleção de casos inteligentes:
• Com base nos níveis de confiança. Por exemplo, um algoritmo precisa classificar cada imagem de entrada como um gato ou um cachorro. As imagens que recebem um nível de confiança em torno de 48/52 ou algo semelhante são as que confundem os algoritmos e precisam ser devidamente rotuladas e usadas para retreinar o modelo.
• Verificação aleatória de casos “triviais”. Vamos supor que apenas um em cada dez casos contém informações valiosas quando se trata do desempenho de um algoritmo. Um exemplo de tal caso é quando o modelo é excessivamente confiante sobre uma previsão errada. Você definitivamente deve considerar esse caso, mas também precisa selecionar aleatoriamente um dos nove casos restantes para garantir que o algoritmo não fique excessivamente confiante com suas previsões erradas ou permita viés.
• Ao analisar os casos que você escolheu na etapa anterior , não se limite ao resultado final. Em vez de olhar para a saída do conjunto final de neurônios em redes neurais, verifique a camada anterior, como na imagem abaixo, e analise a distribuição de distâncias entre uma previsão errada e as previsões corretas mais próximas que o algoritmo faz.
• Incentive os usuários finais do algoritmo a fornecer feedback sobre seu desempenho. Construa formulários de feedback e disponibilize-os a todos, para que os usuários possam transmitir quaisquer preocupações que possam ter.
• Continue aumentando o conjunto de dados de treinamento de forma iterativa usando pontos de dados das etapas anteriores. Dessa forma, você terá a certeza de que seu algoritmo permanece relevante mesmo quando ocorrerem algumas alterações nas operações do cliente.

Ferramentas de IA habilitadas para HITL prontas para uso

Existem algumas ferramentas de aprendizado de máquina prontas para uso humano no loop que permitem rotular conjuntos de dados de treinamento e verificar o resultado. No entanto, talvez você não consiga implementar as dicas acima com essas ferramentas padronizadas. Aqui estão alguns exemplos de ferramentas humanas no loop:

Google Cloud HITL

Esta solução oferece um fluxo de trabalho e uma interface de usuário (UI) que as pessoas podem utilizar para rotular, revisar e editar os dados extraídos dos documentos. A empresa cliente pode usar seus próprios funcionários como rotuladores ou pode contratar a força de trabalho do Google HITL para realizar a tarefa.

A ferramenta possui determinados recursos de interface do usuário para otimizar o fluxo de trabalho dos rotuladores e filtrar a saída com base no limite de confiança. Também permite que as empresas gerenciem seu pool de rotuladoras.

IA aumentada da Amazon (Amazon A2I)

Essa ferramenta de inteligência artificial humana no loop permite que as pessoas revisem previsões de ML aleatórias e de baixa confiança. Ao contrário do Google Cloud HITL, que opera apenas em texto, o Amazon A2I pode complementar o Amazon Recognition para extrair imagens e validar resultados. Também pode ajudar a revisar dados tabulares.

Se um cliente não estiver satisfeito com o fluxo de trabalho A2I fornecido, ele poderá desenvolver sua própria abordagem com o SageMaker ou uma ferramenta semelhante.

DataRobot Humble AI

A Humble AI permite que as pessoas especifiquem um conjunto de regras que os modelos de ML devem aplicar ao fazer previsões. Cada regra inclui uma condição e uma ação correspondente. Atualmente, existem três ações:

• Nenhuma operação, quando os humanos apenas monitoram a condição correspondente sem interferir
• Predição de substituição, quando as pessoas podem substituir a saída do modelo por um valor diferente
• Retornando erro, simplesmente descartando a previsão completamente

Então, o aprendizado de máquina com um humano no circuito é a melhor abordagem para você?

Empregar o humano na abordagem de IA de loop melhora a precisão, a transparência e a qualidade das previsões. Também aumenta os custos e o tempo necessário para concluir a tarefa devido à intervenção humana, ao mesmo tempo em que cria oportunidades de emprego, o que é um efeito colateral positivo.

Apesar dos benefícios óbvios do HITL AI, existem aplicativos em que o humano fora do circuito é a abordagem preferida devido aos riscos associados a determinadas atividades. Pense no desenvolvimento e implantação de armas autônomas.

Se você acha que seus algoritmos de ML podem usar um humano no circuito, mas não tem certeza de como equilibrar os custos operacionais e a precisão e explicabilidade desejadas, entre em contato com consultores de aprendizado de máquina. Eles trabalharão com você para encontrar o ajuste certo. Se o aprendizado de máquina humano no loop não for a solução ideal no seu caso, existem outros truques de ML que podem ajudá-lo a superar o problema da escassez de dados de treinamento:

• Transferência de aprendizado , quando você ajusta modelos pré-treinados com seus próprios dados
• Aprendizado semi-supervisionado , quando você usa um grande conjunto de dados não rotulado junto com um pequeno número de amostras rotuladas
• Aprendizado autossupervisionado , quando você mascara uma parte aleatória da amostra de treinamento em cada lote e o algoritmo tenta prever isso

Você está pensando em melhorar a precisão e a explicabilidade do seu modelo de ML? Entrar em contato! Os especialistas em IA da ITRex estudarão sua situação e criarão uma abordagem humana ideal no circuito para atender às suas necessidades.

Originalmente publicado em https://itrexgroup.com em 17 de julho de 2022.