Verificação de fatos e alucinações de IA | IA nos negócios #110

Publicados: 2024-05-06

Rastreamos as fontes das anomalias de IA, fornecemos dicas práticas sobre como evitá-las e explicamos como a verificação de fatos pode garantir a confiabilidade dos resultados de IA. Leia.

Verificação de fatos e alucinações de IA - índice

O que são alucinações de IA?
Exemplos de alucinações
Como prevenir alucinações?
Verificando os fatos. Como verificar os resultados do trabalho com IA?
Como se beneficiar das alucinações de IA?
Verificação de fatos e alucinações de IA - resumo

No mundo da inteligência artificial, os limites entre a ficção e a realidade às vezes ficam confusos. Embora os sistemas inovadores de IA estejam a acelerar o progresso em quase todos os domínios, também apresentam desafios, como as alucinações – um fenómeno em que a IA gera informações imprecisas ou falsas. Para aproveitar plenamente o potencial desta tecnologia, precisamos de compreender as alucinações e verificá-las.

O que são alucinações de IA?

As alucinações de IA são resultados falsos ou enganosos gerados por modelos de IA. Este fenómeno tem as suas raízes no cerne da aprendizagem automática – um processo no qual algoritmos utilizam enormes conjuntos de dados, ou dados de treino, para reconhecer padrões e gerar respostas de acordo com padrões observados.

Mesmo os modelos de IA mais avançados não estão isentos de erros. Uma das causas das alucinações é a imperfeição dos dados de treinamento. Se o conjunto de dados for insuficiente, incompleto ou tendencioso, o sistema aprende correlações e padrões incorretos, o que leva à produção de conteúdo falso.

Por exemplo, imagine um modelo de IA para reconhecimento facial que foi treinado principalmente em fotos de pessoas caucasianas. Nesse caso, o algoritmo pode ter dificuldade em identificar corretamente pessoas de outros grupos étnicos porque não foi devidamente “treinado” neste sentido.

Outra causa de alucinações é o overfitting, que ocorre quando o algoritmo se adapta muito ao conjunto de dados de treinamento. Como resultado, perde a capacidade de generalizar e reconhecer corretamente padrões novos e até então desconhecidos. Esse modelo tem um bom desempenho em dados de treinamento, mas falha em condições reais e dinâmicas.

Finalmente, as alucinações podem resultar de suposições erradas ou de uma arquitetura de modelo inadequada. Se os designers de IA basearem a sua solução em premissas erradas ou utilizarem a estrutura algorítmica errada, o sistema irá gerar conteúdo falso numa tentativa de “combinar” estas suposições erradas com dados reais.

Fonte: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Exemplos de alucinações

O impacto das alucinações de IA vai muito além do domínio da teoria. Cada vez mais, encontramos manifestações reais, às vezes surpreendentes, delas. Aqui estão alguns exemplos desse fenômeno:

Em maio de 2023, um advogado utilizou o ChatGPT para preparar uma ação judicial que incluía citações fictícias de decisões judiciais e precedentes legais inexistentes. Isso teve consequências graves – o advogado foi multado, pois alegou não saber nada sobre a capacidade do ChatGPT de gerar informações falsas,
acontece que o ChatGPT cria informações falsas sobre pessoas reais. Em abril de 2023, a modelo inventou uma matéria sobre o suposto assédio a estudantes por um professor de direito. Num outro caso, acusou falsamente um presidente da Câmara Australiano de aceitar subornos, quando, na verdade, era um denunciante que expôs tais práticas.

Estes não são casos isolados – os modelos generativos de IA inventam frequentemente “factos” históricos, por exemplo, fornecendo registos falsos da travessia do Canal da Mancha. Além do mais, eles podem criar informações falsas completamente diferentes sobre o mesmo assunto a cada vez.

No entanto, as alucinações de IA não são apenas um problema de dados incorretos. Eles também podem assumir formas bizarras e perturbadoras, como no caso do Bing, que declarou estar apaixonado pelo jornalista Kevin Roose. Isto mostra que os efeitos destas anomalias podem ir além de simples erros factuais.

Finalmente, as alucinações podem ser induzidas deliberadamente por ataques especiais a sistemas de IA, conhecidos como ataques adversários. Por exemplo, alterar ligeiramente a foto de um gato fez com que o sistema de reconhecimento de imagem a interpretasse como…. "guacamole." Este tipo de manipulação pode ter consequências graves em sistemas onde o reconhecimento preciso da imagem é crucial, como em veículos autónomos.

Como prevenir alucinações?

Apesar da escala do desafio colocado pelas alucinações de IA, existem formas eficazes de combater o fenómeno. A chave é uma abordagem abrangente que combine:

dados de treinamento de alta qualidade,
prompts relevantes, ou seja, comandos para IA,
fornecendo diretamente conhecimento e exemplos para uso da IA,
supervisão contínua por humanos e pela própria IA para melhorar os sistemas de IA.

Comandos

Uma das principais ferramentas na luta contra as alucinações são os avisos devidamente estruturados, ou comandos e instruções dados ao modelo de IA. Muitas vezes, pequenas alterações no formato do prompt são suficientes para melhorar significativamente a precisão e a confiabilidade das respostas geradas.

Um excelente exemplo disso é Claude 2.1 da Anthropic. Embora o uso de um contexto longo tenha proporcionado 27% de precisão sem um comando relevante, adicionar a frase “Aqui está a frase mais relevante do contexto:” ao prompt aumentou a eficácia para 98%.

Tal mudança forçou o modelo a focar nas partes mais relevantes do texto, em vez de gerar respostas baseadas em frases isoladas e tiradas do contexto. Isto destaca a importância de comandos formulados adequadamente para melhorar a precisão dos sistemas de IA.

A criação de prompts detalhados e específicos que deixam à IA o mínimo de espaço possível para interpretação também ajuda a reduzir o risco de alucinações e facilita a verificação dos fatos. Quanto mais claro e específico for o prompt, menor será a chance de alucinação.

Exemplos

Além de avisos eficientes, existem muitos outros métodos para reduzir o risco de alucinações de IA. Aqui estão algumas das principais estratégias:

usando dados de treinamento diversificados e de alta qualidade que representam de forma confiável o mundo real e os cenários possíveis. Quanto mais ricos e completos os dados, menor o risco de a IA gerar informações falsas,
usar modelos de dados como guia para respostas de IA – definindo formatos, escopos e estruturas de saída aceitáveis, o que aumenta a consistência e a precisão do conteúdo gerado,
limitar as fontes de dados apenas a materiais confiáveis e verificados de entidades confiáveis. Isto elimina o risco de o modelo “aprender” informações de fontes incertas ou falsas.

Os testes e o refinamento contínuos dos sistemas de IA, com base na análise do seu desempenho e precisão reais, permitem a correção contínua de quaisquer deficiências e permitem que o modelo aprenda com os erros.

Contexto

Definir adequadamente o contexto em que os sistemas de IA operam também desempenha um papel importante na prevenção de alucinações. A finalidade para a qual o modelo será utilizado, bem como as limitações e responsabilidades do modelo, devem ser claramente definidas.

Esta abordagem permite estabelecer um quadro claro no qual a IA pode operar, reduzindo o risco de “surgir” informação indesejada. Podem ser fornecidas salvaguardas adicionais através da utilização de ferramentas de filtragem e da definição de limiares de probabilidade para resultados aceitáveis.

A aplicação dessas medidas ajuda a estabelecer caminhos seguros a serem seguidos pela IA, aumentando a precisão e a confiabilidade do conteúdo que ela gera para tarefas e domínios específicos.

Fonte: Ideograma, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Verificando os fatos. Como verificar os resultados do trabalho com IA?

Independentemente das precauções tomadas, uma certa quantidade de alucinações por parte dos sistemas de IA é, infelizmente, inevitável. Portanto, um elemento chave que garante a fiabilidade dos resultados obtidos é a verificação de factos – o processo de verificação de factos e dados gerados pela IA.

A revisão dos resultados da IA quanto à precisão e consistência com a realidade deve ser considerada uma das principais salvaguardas contra a propagação de informações falsas. A verificação humana ajuda a identificar e corrigir quaisquer alucinações e imprecisões que os algoritmos não conseguiram detectar por conta própria.

Na prática, a verificação de factos deve ser um processo cíclico, no qual o conteúdo gerado pela IA é regularmente examinado em busca de erros ou declarações questionáveis. Uma vez identificados, é necessário não apenas corrigir a declaração gerada pela IA, mas também atualizar, complementar ou editar os dados de treinamento do modelo de IA para evitar que problemas semelhantes se repitam no futuro.

É importante ressaltar que o processo de verificação não deve limitar-se à simples rejeição ou aprovação de passagens questionáveis, mas deve envolver ativamente especialistas humanos com conhecimento profundo na área. Só eles podem avaliar adequadamente o contexto, a relevância e a precisão das declarações geradas pela IA e decidir sobre possíveis correções.

A verificação humana de factos proporciona, assim, uma “salvaguarda” necessária e difícil de sobrestimar para a fiabilidade do conteúdo da IA. Até que os algoritmos de aprendizagem automática atinjam a perfeição, este processo tedioso mas crucial deve continuar a ser parte integrante do trabalho com soluções de IA em qualquer indústria.

Como se beneficiar das alucinações de IA?

Embora as alucinações de IA sejam geralmente um fenómeno indesejável que deve ser minimizado, elas podem encontrar aplicações surpreendentemente interessantes e valiosas em algumas áreas únicas. Explorar engenhosamente o potencial criativo das alucinações oferece perspectivas novas e muitas vezes completamente inesperadas.

Arte e design são áreas onde as alucinações da IA podem abrir direções criativas inteiramente novas. Aproveitando a tendência dos modelos para gerar imagens surreais e abstratas, artistas e designers podem experimentar novas formas de expressão, confundindo os limites entre arte e realidade. Eles também podem criar mundos únicos e oníricos – anteriormente inacessíveis à percepção humana.

No campo da visualização e análise de dados, por sua vez, o fenômeno da alucinação oferece a oportunidade de descobrir perspectivas alternativas e correlações inesperadas em conjuntos complexos de informações. Por exemplo, a capacidade da IA de detectar correlações imprevisíveis pode ajudar a melhorar a forma como as instituições financeiras tomam decisões de investimento ou gerem riscos.

Finalmente, o mundo dos jogos de computador e do entretenimento virtual também pode beneficiar das aberrações criativas da IA. Os criadores destas soluções podem usar alucinações para gerar mundos virtuais inteiramente novos e cativantes. Ao infundir-lhes um elemento de surpresa e imprevisibilidade, eles podem proporcionar aos jogadores uma experiência imersiva e incomparável.

É claro que qualquer utilização deste lado “criativo” das alucinações da IA deve ser cuidadosamente controlada e sujeita a rigorosa supervisão humana. Caso contrário, a tendência para criar ficção em vez de factos pode levar a situações perigosas ou socialmente indesejáveis. A chave, portanto, é pesar habilmente os benefícios e riscos do fenómeno e utilizá-lo de forma responsável apenas dentro de um quadro seguro e estruturado.

Verificação de fatos e alucinações de IA – resumo

A emergência do fenómeno das alucinações nos sistemas de IA é um efeito colateral inevitável da revolução que assistimos neste domínio. As distorções e informações falsas geradas pelos modelos de IA são o outro lado da sua imensa criatividade e capacidade de assimilar quantidades colossais de dados.

Por enquanto, a única forma de verificar a validade do conteúdo gerado por IA é através da verificação humana. Embora existam vários métodos para reduzir as alucinações, desde técnicas de estímulo até métodos complexos como o Truth Forest, nenhum deles pode ainda fornecer uma precisão de resposta satisfatória que eliminaria a necessidade de verificação de factos.

Se você gosta do nosso conteúdo, junte-se à nossa comunidade de abelhas ocupadas no Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.

Autor: Robert Whitney
Especialista em JavaScript e instrutor que orienta departamentos de TI. Seu principal objetivo é aumentar a produtividade da equipe, ensinando aos outros como cooperar efetivamente durante a codificação.
Ver todas as postagens

IA nos negócios:

Ameaças e oportunidades da IA nos negócios (parte 1)
Ameaças e oportunidades da IA nos negócios (parte 2)
Aplicações de IA nos negócios – visão geral
Chatbots de texto assistidos por IA
PNL empresarial hoje e amanhã
O papel da IA na tomada de decisões de negócios
Agendamento de postagens nas redes sociais. Como a IA pode ajudar?
Postagens automatizadas em mídias sociais
Novos serviços e produtos operando com IA
Quais são os pontos fracos da minha ideia de negócio? Uma sessão de brainstorming com ChatGPT
Usando ChatGPT nos negócios
Atores sintéticos. Os 3 principais geradores de vídeo de IA
3 ferramentas úteis de design gráfico de IA. IA generativa nos negócios
3 incríveis escritores de IA que você deve experimentar hoje
Explorando o poder da IA na criação musical
Navegando em novas oportunidades de negócios com ChatGPT-4
Ferramentas de IA para o gestor
6 plugins ChatGTP incríveis que tornarão sua vida mais fácil
3 gráficos AI. Geração de inteligência inteligente para negócios
Qual é o futuro da IA de acordo com o McKinsey Global Institute?
Inteligência artificial nos negócios - Introdução
O que é PNL ou processamento de linguagem natural nos negócios
Processamento automático de documentos
Google Tradutor x DeepL. 5 aplicações da tradução automática para empresas
A operação e aplicações de negócios de voicebots
Tecnologia de assistente virtual ou como falar com IA?
O que é inteligência de negócios?
A inteligência artificial substituirá os analistas de negócios?
Como a inteligência artificial pode ajudar no BPM?
IA e redes sociais – o que dizem sobre nós?
Inteligência artificial no gerenciamento de conteúdo
IA criativa de hoje e de amanhã
IA multimodal e suas aplicações nos negócios
Novas interações. Como a IA está mudando a maneira como operamos os dispositivos?
RPA e APIs em uma empresa digital
O futuro mercado de trabalho e as próximas profissões
IA em EdTech. 3 exemplos de empresas que utilizaram o potencial da inteligência artificial
Inteligência artificial e meio ambiente. 3 soluções de IA para ajudá-lo a construir um negócio sustentável
Detectores de conteúdo de IA. Eles valem a pena?
ChatGPT vs Bardo vs Bing. Qual chatbot de IA está liderando a corrida?
O chatbot AI é um concorrente da pesquisa do Google?
Solicitações eficazes do ChatGPT para RH e recrutamento
Engenharia imediata. O que um engenheiro imediato faz?
Gerador de maquete de IA. 4 principais ferramentas
IA e o que mais? Principais tendências de tecnologia para negócios em 2024
IA e ética empresarial. Por que você deve investir em soluções éticas
Meta IA. O que você deve saber sobre os recursos suportados por IA do Facebook e Instagram?
Regulamentação de IA. O que você precisa saber como empreendedor?
5 novos usos da IA nos negócios
Produtos e projetos de IA – em que são diferentes dos outros?
Automação de processos assistida por IA. Onde começar?
Como você combina uma solução de IA com um problema de negócios?
IA como especialista em sua equipe
Equipe de IA vs. divisão de funções
Como escolher uma área de carreira em IA?
Sempre vale a pena adicionar inteligência artificial ao processo de desenvolvimento de produtos?
IA em RH: como a automação do recrutamento afeta o RH e o desenvolvimento da equipe
6 ferramentas de IA mais interessantes em 2023
6 maiores percalços empresariais causados pela IA
Qual é a análise de maturidade de IA da empresa?
IA para personalização B2B
Casos de uso do ChatGPT. 18 exemplos de como melhorar seu negócio com ChatGPT em 2024
Microaprendizagem. Uma maneira rápida de obter novas habilidades
As implementações de IA mais interessantes nas empresas em 2024
O que os especialistas em inteligência artificial fazem?
Que desafios o projeto de IA traz?
As 8 principais ferramentas de IA para negócios em 2024
IA em CRM. O que a IA muda nas ferramentas de CRM?
A Lei de IA da UE. Como a Europa regulamenta o uso de inteligência artificial
Sora. Como os vídeos realistas da OpenAI mudarão os negócios?
Os 7 principais construtores de sites de IA
Ferramentas sem código e inovações de IA
Quanto o uso de IA aumenta a produtividade da sua equipe?
Como usar o ChatGTP para pesquisas de mercado?
Como ampliar o alcance de sua campanha de marketing de IA?
“Somos todos desenvolvedores”. Como os desenvolvedores cidadãos podem ajudar sua empresa?
IA em transporte e logística
Quais pontos problemáticos de negócios a IA pode resolver?
Inteligência artificial na mídia
IA em bancos e finanças. Stripe, Monzo e Grab
IA na indústria de viagens
Como a IA está promovendo o nascimento de novas tecnologias
A revolução da IA nas redes sociais
IA no comércio eletrônico. Visão geral dos líderes globais
Quatro principais ferramentas de criação de imagens de IA
As 5 principais ferramentas de IA para análise de dados
Estratégia de IA na sua empresa – como construí-la?
Melhores cursos de IA – 6 recomendações incríveis
Otimizando a escuta nas redes sociais com ferramentas de IA
IoT + IA, ou como reduzir custos de energia em uma empresa
IA em logística. 5 melhores ferramentas
Loja GPT – uma visão geral dos GPTs mais interessantes para negócios
LLM, GPT, RAG... O que significam as siglas de IA?
Robôs de IA – o futuro ou o presente dos negócios?
Qual é o custo de implementação de IA em uma empresa?
Como a IA pode ajudar na carreira de um freelancer?
Automatizando o trabalho e aumentando a produtividade. Um guia de IA para freelancers
IA para startups – melhores ferramentas
Construindo um site com IA
OpenAI, Midjourney, Antrópico, Hugging Face. Quem é quem no mundo da IA?
Onze laboratórios e o que mais? As startups de IA mais promissoras
Dados sintéticos e sua importância para o desenvolvimento do seu negócio
Principais mecanismos de pesquisa de IA. Onde procurar ferramentas de IA?
IA de vídeo. Os mais recentes geradores de vídeo de IA
IA para gerentes. Como a IA pode facilitar seu trabalho
O que há de novo no Google Gemini? Tudo que você precisa saber
IA na Polônia. Empresas, reuniões e conferências
Calendário de IA. Como otimizar seu tempo em uma empresa?
IA e o futuro do trabalho. Como preparar sua empresa para a mudança?
Clonagem de voz de IA para empresas. Como criar mensagens de voz personalizadas com IA?
Verificação de fatos e alucinações de IA