Como a criação de uma prova de conceito de IA pode ajudar a minimizar os riscos de desenvolvimento e adoção de IA

Publicados: 2023-01-19

Nosso cliente perdeu apenas um quarto do orçamento dedicado a um projeto de inteligência artificial (IA) porque optou por começar com uma prova de conceito (PoC). O PoC permitiu que eles testassem sua ideia e falhassem rapidamente com gastos limitados. Para evitar desperdício de tempo e esforço, sempre peça ao seu consultor de soluções de IA uma prova de conceito – especialmente se sua empresa estiver apenas testando as águas da IA.

Este artigo explica o que é um AI PoC e detalha as cinco etapas que o guiarão em seu primeiro PoC, juntamente com os desafios que você pode encontrar ao longo do caminho. Ele também apresenta exemplos AI PoC de nosso portfólio. E você encontrará um final feliz do exemplo descrito no parágrafo de abertura.

O que é um AI PoC e quando é essencial para o sucesso do seu projeto?

Um PoC de IA é um protótipo ou uma demonstração de uma solução de IA proposta, projetada para testar se a solução é viável e tem probabilidade de sucesso. O objetivo de criar um AI PoC é validar o conceito, avaliar os possíveis benefícios da solução proposta e identificar possíveis desafios ou limitações.

Um AI PoC normalmente envolve a construção de uma versão em pequena escala da solução de IA proposta e testá-la em um ambiente controlado para ver como ela funciona e se atende aos objetivos desejados. Os resultados de um AI PoC podem ser usados para informar ainda mais o desenvolvimento e a implementação da solução.

Em comparação com PoCs de software comuns, um AI PoC pode envolver considerações mais complexas, como a capacidade da solução de IA de aprender e se adaptar ao longo do tempo e as possíveis implicações éticas da solução, como um viés de IA. A pilha de tecnologia para projetos AI PoC também é diferente.

Algoritmos de aprendizado de máquina

Esses algoritmos permitem que um sistema de IA aprenda com dados estruturados e faça previsões ou decisões com base nesse aprendizado. Existem muitos tipos diferentes de algoritmos de aprendizado de máquina, incluindo algoritmos de aprendizado supervisionado, algoritmos de aprendizado não supervisionado e algoritmos de aprendizado por reforço.

Redes neurais

Esses modelos computacionais são inspirados na estrutura e função do cérebro humano. As redes neurais podem processar e analisar grandes quantidades de dados não estruturados. Eles podem ser treinados para executar várias tarefas, como reconhecimento de imagem, processamento de linguagem natural, modelagem de cenário e previsão.

robótica

Essa tecnologia pode ser usada para construir sistemas físicos capazes de operação e tomada de decisão autônomas. As soluções de robótica incorporam sensores, atuadores e outros componentes de hardware que permitem aos engenheiros construir um robô capaz de interagir com seu ambiente e executar tarefas.

Computação em Nuvem

Plataformas de computação em nuvem como Microsoft Azure, Google Cloud e AWS fornecem o poder de computação, recursos de armazenamento e serviços pré-configurados necessários para dar suporte ao desenvolvimento e teste de AI PoCs. Essas plataformas também podem hospedar e implantar soluções de IA depois de desenvolvidas e testadas.

Criar um AI PoC envolve coletar e preparar dados, construir e treinar modelos de aprendizado de máquina e testar e avaliar o desempenho do sistema de IA. O tempo necessário para criar um AI PoC pode variar muito, dependendo de vários fatores, incluindo a complexidade da solução de IA proposta, os recursos e conhecimentos disponíveis para o PoC e os objetivos específicos do PoC. Alguns AI PoCs podem ser desenvolvidos em apenas alguns dias ou semanas, enquanto outros podem levar vários meses ou até mais para serem concluídos.

Quando não há absolutamente nenhuma maneira de contornar um AI PoC?

É essencial iniciar seu projeto com um AI PoC nos seguintes cenários.

Seu projeto depende de uma ideia inovadora que ainda não foi testada — algo que foi estudado no nível empresarial, mas não foi tentado tecnicamente. Nem você nem seu fornecedor de tecnologia têm certeza se isso pode ser implementado.
Se você precisa demonstrar às partes interessadas, investidores e outros a viabilidade de sua ideia dentro de um prazo limitado. Um AI PoC fará o trabalho melhor do que um protótipo interativo ou algo semelhante.

Existem situações em que um AI PoC é uma perda de tempo?

Embora um AI PoC seja benéfico na maioria dos casos, há algumas exceções. Se o seu projeto se enquadra em uma das seguintes categorias, um AI PoC pode ser um exagero.

Se sua ideia e abordagem estiverem excepcionalmente bem documentadas do ponto de vista funcional e técnico. Isso é raro.
Se a solução que você deseja desenvolver é padrão e se assemelha a práticas comuns no campo. Já sabemos que isso é viável e possível do ponto de vista técnico.
Se você deseja criar um software que seus desenvolvedores front-end e back-end entendam, geralmente porque já trabalharam em algo idêntico.

Quais benefícios você pode obter de um AI PoC?

O uso de um AI PoC traz os seguintes benefícios.

Identificar desafios potenciais antes de comprometer mais recursos para um empreendimento. Um AI PoC permite que você “falhe rápido, falhe melhor”. Se uma equipe encontra desafios que não consegue superar, todas as partes interessadas têm tempo para se reagrupar ou talvez mudar a hipótese para atingir os mesmos objetivos por meio de outros métodos.
Minimizando os riscos de negócios, à medida que você testa ideias inovadoras em pequenas etapas, em vez de mergulhar em um projeto de longo prazo.
Melhorar as práticas de coleta de dados.
Conseguir investidores e outras partes interessadas a bordo.
Economizando tempo e recursos. Um AI PoC pode descobrir problemas relacionados a negócios ou processos e dar a você tempo para consertar tudo antes de iniciar um projeto em grande escala.
Construir experiência e criar proprietários de conhecimento que orientarão outro membro da equipe em projetos semelhantes no futuro.
Testar a pilha de tecnologia em uma escala menor para entender sua adequação ao caso de negócios selecionado.

Exemplos de nosso portfólio em que um AI PoC salvou o dia

Aqui estão alguns exemplos de AI PoC do portfólio ITRex que ajudarão você a apreciar ainda mais a abordagem PoC.

Perceber que ML sozinho não é a resposta

Uma grande empresa de logística de carga realizava de 10.000 a 15.000 embarques por dia, e cada embarque era acompanhado de conhecimentos de embarque e faturas para cobrir as operações. Os funcionários estavam exaustos com o manuseio manual de toda a documentação. A empresa queria criar uma solução baseada em ML que usaria o reconhecimento óptico de caracteres (OCR) para processar documentos digitalizados e identificar diferentes campos.

O cliente acreditava que o aprendizado de máquina era a melhor solução, então procedemos com um AI PoC para testar essa suposição. Logo percebemos que os documentos eram formatados de maneira diferente e os rótulos usados para os campos variavam significativamente - por exemplo, o campo Load ID sozinho tinha 8 aliases. Como resultado, o modelo de ML continuou crescendo. Tornou-se lento e ineficiente. Nossa equipe decidiu acompanhar este modelo com um algoritmo dinâmico (por exemplo, um dicionário onde diferentes rótulos de campo foram codificados). Essa modificação melhorou significativamente o desempenho da solução e economizou tempo e dinheiro do cliente.

Se o cliente tivesse decidido pular o AI PoC, teria perdido sete meses apenas para perceber que sua ideia inicial de um modelo puramente baseado em ML não era a solução ideal. Com um AI PoC, eles chegaram a essa conclusão em apenas dois meses. Após a conclusão bem-sucedida deste AI PoC, construímos um MVP que poderia lidar com quatro tipos de documentos, assumindo cerca de 25% da carga de processamento manual.

Surpreso com as restrições da Meta ao uso de dados

Um cliente da indústria do entretenimento queria construir uma plataforma analítica orientada por IA para artistas musicais independentes. A solução deveria rastrear as mídias sociais, incluindo Facebook e Instagram, para coletar dados. Ele processaria todas essas informações para avaliar os sentimentos das pessoas em relação aos artistas. Os músicos podem se inscrever na plataforma e receber feedback sobre qual comportamento na mídia social seria mais benéfico para seu sucesso.

Prosseguimos com um AI PoC para testar a ideia. Depois de apenas duas semanas, percebemos que era simplesmente impossível coletar dados do Facebook e Instagram para usá-los para o propósito descrito acima. Normalmente, alguns dos dados eram recuperáveis por meio da Graph API. Por causa disso, além de uma conta comercial verificada no Meta, presumimos que teríamos acesso às informações necessárias. No entanto, o cliente não conseguiu nos fornecer uma conta comercial verificada e os dados da Graph API por si só não foram suficientes para que essa solução funcionasse.

Se o cliente tivesse decidido ignorar o PoC, teria desperdiçado cerca de US$ 20.000 no projeto de descoberta. Isso incluiria uma descrição detalhada da solução e a estimativa dos custos de desenvolvimento. Mas como eles escolheram começar com um AI PoC, eles gastaram apenas cerca de $ 5.000 antes de descobrir que a solução proposta era impossível de executar devido às restrições de acesso aos dados impostas pela Meta.

Um guia de cinco etapas para seu primeiro AI PoC

Aqui estão cinco etapas que você pode seguir para passar com sucesso pelo seu AI PoC. Também listamos os desafios associados a cada etapa.

Etapa 1: identificar quais problemas você deseja resolver com a IA

É essencial especificar o que, exatamente, você deseja realizar implementando um AI PoC. O caso de uso selecionado precisa ser de alto valor e representar algo que você pode abordar melhor com essa tecnologia. Se você tiver dúvidas, um bom lugar para começar é verificar para que outras pessoas em seu campo estão usando soluções de IA. Outro caminho a percorrer é investigar os problemas que sua empresa está enfrentando e compará-los com o potencial da IA.

Depois de acumular uma lista de oportunidades, você pode fazer as seguintes perguntas para determinar quais são as mais adequadas para o seu projeto no momento.

O problema que você pretende resolver é específico o suficiente? Você pode avaliar os resultados para determinar o sucesso?
Você já tentou resolver esse problema com outras tecnologias?
Você tem o talento e o financiamento para apoiar este projeto até o fim? Se não houver talento interno adequado, você pode contratar uma equipe externa dedicada?
Como o problema afetará seu negócio? Esse efeito é significativo o suficiente para justificar seus esforços?
Você será capaz de vender este projeto para seus executivos? Sua organização está pronta para assumir tal projeto?
Sua empresa já possui uma estratégia de dados? Em caso afirmativo, como isso se alinhará com este projeto?
Quais são os riscos e limitações potenciais do uso da IA para resolver esse problema?

Desafio Associado

Selecionar um caso de uso que não agrega muito valor ou não usa todo o potencial da IA. A inteligência artificial é uma tecnologia cara, e escolher um caso insignificante significa que você gastará mais do que receberá. Confira nosso artigo sobre quanto custa implementar IA para entender melhor os gastos.

Etapa 2: preparar os dados

Agora que você tem seu problema claramente definido, é hora de agregar e preparar os dados de treinamento para os algoritmos de IA. Você pode fazer isso por:

verificando quais dados estão disponíveis para uso dentro da sua empresa
gerando dados semi-sintéticos usando aplicativos específicos prontos ou sua própria solução
comprando conjuntos de dados de fornecedores confiáveis
usando dados de código aberto
contratar pessoas para coletar os dados que se encaixam no seu propósito.

Você não precisa se limitar a uma fonte. Você pode usar uma combinação de várias opções listadas acima.

Recorra aos cientistas de dados para executar a triagem inicial de dados. Eles realizarão as seguintes tarefas.

Estruture os dados
Limpe-o eliminando o ruído
Adicione quaisquer pontos de dados ausentes, no caso de dados tabulares
Realizar engenharia de recursos (ou seja, adicionar e excluir campos de dados)
Aplicar manipulações, como combinar ou filtrar dados

Os cientistas de dados podem aconselhá-lo sobre como coletar dados adicionais ou como restringir o escopo do AI PoC para que você possa alcançar os resultados desejados com os conjuntos de dados existentes.

Quando os dados estiverem prontos para uso, divida-os em três conjuntos:

Um conjunto de treinamento, que o modelo usará para aprender.
Um conjunto de validação para validar o modelo e iterar no treinamento.
Um conjunto de teste que avaliará o desempenho do algoritmo.

Desafios Associados

Os dados de treinamento não são representativos de toda a população. Nesse caso, os algoritmos podem ter um bom desempenho em casos comuns, mas fornecerão resultados ruins em ocorrências raras. Por exemplo, um modelo de ML de saúde que analisa raios-X pode ser excelente na detecção de distúrbios comuns, como derrame, mas terá dificuldade em detectar distúrbios raros, como uma hérnia.
Desequilíbrio de classes, quando o número de casos que representam uma classe é significativamente maior que o de outra, com uma proporção de 99,9% para 0,1%.
Rotulagem incorreta, como misturar classes (por exemplo, rotular uma bicicleta como um carro).
Alto ruído no conjunto de dados de treinamento.
Dificuldade em alcançar a separabilidade de classe pura. Isso acontece quando alguns dados no conjunto de treinamento não podem ser classificados corretamente em uma determinada classe.

Etapa 3: arquitetar e construir ou comprar a solução

Você provavelmente está se perguntando se deve construir o modelo sozinho ou se pode adquirir uma solução existente. É aqui que faz sentido criar um modelo de IA do zero.

Sua solução é inovadora e não está em conformidade com um padrão existente.
Soluções prontas são caras para customizar.
O modelo de prateleira mais próximo é um exagero e faz muito mais do que você realmente precisa.

Considere a aquisição de um modelo pronto se os custos de compra e personalização do modelo forem menores do que construí-lo desde o início.

Se você decidir construir o algoritmo de IA do zero, terá mais controle sobre sua precisão. Levará mais tempo para concluir a tarefa, mas ela será adaptada ao seu problema de negócios e aos seus processos internos. Você não precisará fazer alterações em seu sistema para acomodar software externo.

Em relação à infraestrutura para treinamento e implementação de algoritmos, você pode contar com a nuvem ao invés de usar recursos locais. Existem quatro parâmetros que você pode considerar ao decidir o que é melhor para você.

Segurança. Se seus dados são muito confidenciais quando se trata de segurança, é melhor manter tudo no local.
Carga de trabalho. Se a carga de processamento for bastante pesada, opte pela nuvem.
Custos. Avalie o que custará mais: adquirir os recursos localmente ou pagar pelo uso da nuvem ao longo do tempo.
Acessibilidade. Se você for usar a solução apenas localmente, poderá contar com seus servidores internos. Se precisar ser acessível de diferentes localizações geográficas, vale a pena considerar a nuvem.

Cada abordagem tem suas vantagens e desvantagens. Se você está operando no setor de saúde, temos isso claramente explicado na postagem de computação em nuvem na saúde em nosso blog. Caso contrário, sinta-se à vontade para entrar em contato com nossos especialistas em IA para escolher a melhor pilha de tecnologia para o treinamento de algoritmos.

Desafios Associados

Falta de treinamento adequado. Isso causará problemas, como baixa capacidade de generalização do modelo, o que significa que o modelo não fará previsões precisas sobre dados que não viu no treinamento. Voltando à análise de imagens de raios-X no setor médico, um algoritmo pode analisar com sucesso imagens de alta qualidade capturadas por varreduras de última geração, mas ainda se sair mal quando aplicado a varreduras geradas por máquinas mais antigas.
Integração com sistemas existentes, alguns dos quais podem estar desatualizados ou movidos por tecnologias proprietárias.
Não conseguir criar uma arquitetura de modelo adequada (por exemplo, não conseguir escolher o modelo de ML certo para o problema em questão).
A capacidade da arquitetura selecionada não pode corresponder aos requisitos do modelo.
Os dados de entrada são voláteis, o que significa que o modelo precisa ser treinado novamente com frequência.
Usando mais recursos do que seu modelo requer para executar suas tarefas. Não há necessidade de investir em um servidor poderoso para rodar um modelo simples.

Passo 4: Avalie o potencial do AI PoC para gerar valor

Esta etapa é sobre avaliar se o AI PoC pode atender às expectativas. Existem várias formas de realizar a avaliação.

Volte aos seus principais indicadores de desempenho (KPIs) e teste a solução com base neles. Esses fatores podem incluir precisão, satisfação do cliente, velocidade, flexibilidade, justiça e segurança.
Colete dados sobre como seu sistema operava antes da implantação do AI PoC. Isso pode incluir o tempo gasto em uma tarefa manual específica e o número de erros. Em seguida, você deve usar as informações para avaliar o impacto do PoC.
Compare o desempenho da solução com outros produtos considerados referência para esse tipo de problema ou para o setor em geral. Por exemplo, uma referência para problemas relacionados à classificação de imagens seria um modelo que fornece resultados precisos em conjuntos de dados populares, como o ImageNet.
Reúna o feedback do usuário por meio de grupos focais ou pesquisas online para avaliar os níveis de satisfação e determinar o que está faltando.
Realize uma análise de custo-benefício para entender o impacto financeiro dessa solução na organização.

Desafios Associados

Cometer um erro em sua avaliação. Pode ser um simples erro matemático durante os cálculos ou um erro relacionado à estimativa do potencial do negócio.

Etapa 5: iterar no AI PoC para obter melhores resultados ou dimensioná-lo

Se os resultados que você recebeu na etapa anterior não estiverem de acordo, considere modificar a solução e iterar todo o processo. Você pode fazer alterações no algoritmo de ML e medir o desempenho a cada ajuste. Você também pode experimentar diferentes componentes de hardware ou modelos alternativos de serviço em nuvem.

Se você está satisfeito com o desempenho do AI PoC, pode trabalhar para dimensioná-lo em diferentes direções. Aqui estão alguns exemplos.

Aplique a PoC a outros casos de negócios. Procure outras aplicações desta nova solução dentro do seu negócio. Por exemplo, se você estiver testando IA como um aplicativo de manutenção preditiva, tente aplicá-la a outros cenários relacionados.
Escale a infraestrutura. Revise a tecnologia usada para executar este software. Você pode dedicar mais poder de processamento ou mais capacidade de armazenamento de dados? Essas modificações permitirão que você use mais dados, diminua a latência e talvez forneça resultados em tempo real. Também minimizará a possibilidade de gargalos no futuro.
Otimize a solução PoC. Mesmo que você tenha obtido resultados razoáveis na etapa anterior, pode valer a pena procurar maneiras de melhorar a precisão. Você pode continuar treinando seus algoritmos usando novos dados ou dados rotulados com mais precisão. Ou você pode até mesmo experimentar a implementação de ajustes e alterações para obter melhores resultados.

Se você decidir adotar a IA em toda a empresa após a fase PoC, poderá encontrar dicas úteis em nosso guia sobre como implementar a IA em sua organização.

Desafios Associados

A arquitetura não foi cuidadosamente considerada. A solução pode funcionar bem com 10.000 usuários, mas falha quando o público atinge 100.000.
O modelo contém bugs que se manifestarão quando você tentar dimensionar a solução de IA
Aplicar o modelo a outros business cases, diferentes daqueles a que se destina. Por exemplo, uma solução que se destina a montar um carrinho de mão de jardim não pode ser aplicada na montagem de caminhões, pois poderia construir um grande carrinho de mão de jardim com motor.

Concluir

Quando se trata de implementar IA, comece pequeno e mantenha-se gerenciável. Certifique-se de ter um caso de negócios claro com objetivos e métricas definidos para medir o sucesso. E sempre considere a criação de um AI PoC, exceto nos casos apresentados no início deste artigo. Isso ajudará você a identificar possíveis obstáculos antes de entrar totalmente e fazer um grande investimento financeiro em uma solução que pode não corresponder às expectativas.

Você quer implementar IA em sua organização, mas não tem certeza se sua ideia de negócio é viável? Entrar em contato! Nossa equipe ajudará você a realizar um PoC para testar sua ideia na prática.

Originalmente publicado em https://itrexgroup.com em 9 de janeiro de 2023.