Avaliando o custo da IA ​​generativa para implementação eficaz em sua organização

Alguns pontos-chave sobre os custos de implementação da inteligência artificial generativa (IA).

• O custo de implementação de IA generativa nos negócios pode variar de algumas centenas de dólares por mês a US$ 190.000 (e aumentando) para uma solução de IA generativa sob medida baseada em um modelo de código aberto ajustado.
• Essa diferença de custo de IA generativa é impulsionada por vários fatores, incluindo as tarefas que você deseja aprimorar, o modelo que melhor se adapta a essas tarefas e a abordagem de implementação selecionada.
• Para otimizar as despesas associadas, você precisa considerar cuidadosamente os requisitos do seu projeto, avaliar as despesas de infraestrutura local e em nuvem e escolher entre contratar talentos internos de IA e terceirizar o projeto para terceiros.

Já dissemos como a IA generativa (gen AI) se compara à IA tradicional. Também descrevemos os prós e os contras da tecnologia. A equipe de consultoria de IA generativa da ITRex também investigou os casos de uso da geração de IA em vários setores, incluindo saúde, varejo e cadeias de suprimentos.

Além disso, avaliamos o custo de construção de sistemas e infraestrutura de IA e ampliamos os custos de aprendizado de máquina (ML), calculando as despesas associadas à preparação de dados de treinamento, ajuste fino de modelos e implantação de soluções baseadas em ML.

Agora é hora de decifrar o custo da implementação da geração AI nos negócios. Esta análise pode ser desafiadora, pois as especificidades do seu projeto ainda nos são desconhecidas. No entanto, podemos aproveitar nossa experiência em consultoria de geração de IA para explorar os preços de seus serviços e enumerar os principais fatores por trás dos custos dos projetos de geração de IA. Dessa forma, iremos equipá-lo com o conhecimento para tomar decisões informadas, potencialmente economizando tempo e recursos consideráveis ​​para sua empresa neste cenário tecnológico em rápida evolução.

Interessado? Vamos mergulhar então!

Fatores que afetam o custo da geração AI: a escolha de um modelo e abordagem de implementação

Ao pensar em incorporar a geração de IA na pilha de tecnologia da sua empresa, é fundamental considerar o seguinte:

• Quais tarefas de negócios você irá aprimorar com IA generativa?
• Qual modelo seria suficiente para essas tarefas?

No centro das soluções de IA generativa estão os modelos básicos – ou seja, grandes modelos treinados em enormes quantidades de dados. Essencialmente, os modelos básicos servem como base para a criação de soluções personalizadas de IA de geração, simplificando o processo de desenvolvimento e reduzindo os custos de IA de geração. Seus recursos normalmente incluem processamento de linguagem natural (PNL), visão computacional (CV) e geração de conteúdo.

As capacidades cognitivas dos modelos básicos dependem em grande parte do número de parâmetros nos quais foram treinados. Neste contexto, parâmetros referem-se a elementos do modelo que são aprendidos a partir de dados de treinamento, como pesos em uma rede neural. Esses parâmetros ajudam o modelo a tomar decisões e previsões. A tabela a seguir ilustra a correlação entre o número de parâmetros – essencialmente, o volume desses elementos de tomada de decisão – e as capacidades cognitivas do modelo.

O número de parâmetros, entretanto, não é o único fator que influencia as capacidades dos modelos de fundação. A qualidade e a diversidade dos dados de formação são igualmente importantes. Os dados de treinamento são as informações inseridas no modelo, com as quais ele aprende. Esses dados abrangem uma ampla gama de exemplos que ajudam o modelo a compreender e interpretar novos dados. Além disso, a arquitetura do modelo — ou seja, o projeto estrutural de como os parâmetros e os dados interagem — e a eficiência dos algoritmos de aprendizagem, que determinam a eficácia com que o modelo aprende a partir dos dados, desempenham papéis críticos. Como resultado, em algumas tarefas, um modelo com menos parâmetros, mas com melhores dados de treinamento ou uma arquitetura mais eficiente, pode superar um modelo maior.

Selecionando um modelo básico que atenda às suas expectativas em relação ao custo da geração AI

Todos os modelos de geração de IA existentes podem ser classificados livremente em dois tipos.

• Os modelos de código fechado são desenvolvidos por grandes empresas de tecnologia, como Google, Meta, Microsoft e OpenAI. Seu código-fonte, arquitetura e interfaces de programação de aplicativos (APIs) podem ser totalmente proprietários ou disponibilizados a terceiros (geralmente mediante pagamento de uma taxa, que é essencialmente o custo da solução de geração de IA). Em alguns casos, você pode ajustar o desempenho de modelos de código fechado usando seus dados. Para os fins deste artigo, nos referiremos aos modelos de código fechado como soluções de geração de IA comercialmente disponíveis. A principal vantagem desses modelos é que eles vêm com infraestrutura em nuvem e são totalmente mantidos pelo desenvolvedor original.
• Os modelos de código aberto têm seu código-fonte, técnicas de treinamento e, às vezes, até mesmo dados de treinamento disponíveis para uso público e modificação. Sua empresa pode usar esses modelos “como estão” ou treiná-los novamente com seus próprios dados para obter melhor precisão e desempenho. No entanto, você terá que configurar uma infraestrutura local ou em nuvem para que o modelo seja executado. O custo de tais modelos de geração de IA incluirá, portanto, custos de computação e, se você optar por aprimorar a solução de geração de IA, as despesas associadas ao treinamento do modelo.

Vamos resumir. Se sua empresa está pensando em implementar a geração AI, existem quatro maneiras principais de fazer isso.

1. Usando modelos de código fechado sem personalização: os pioneiros da geração AI podem integrar produtos prontos para uso, como ChatGPT da OpenAI, Google Bard, Claude e Synthesia com seus aplicativos usando APIs. O processo de integração é bastante simples, assim como o preço generativo da IA ​​(mais sobre isso mais tarde). Os produtos disponíveis comercialmente são atualizados frequentemente e fornecem documentação extensa para desenvolvedores de IA. A desvantagem? Suas opções de personalização serão limitadas e você dependerá fortemente de uma empresa externa para tarefas comerciais vitais, como lidar com dúvidas de suporte ao cliente ou produzir conteúdo visual.
2. Retreinar soluções comercialmente disponíveis em seus dados corporativos: neste cenário, sua equipe interna de IA selecionará um produto de geração de IA existente desenvolvido por um fornecedor específico, como OpenAI, e o ajustará usando seus próprios dados. As soluções personalizadas de geração de IA entenderão melhor as perguntas dos usuários e fornecerão respostas mais precisas. No entanto, o fornecedor ainda cobrará uma pequena taxa pela execução de suas consultas, portanto, o custo final da geração de IA incluirá despesas operacionais e de personalização.
3. Usando modelos básicos de código aberto “como estão”: Exageradamente, sua empresa poderia escolher RoBERTa, GPT-2, GPT-Neo ou qualquer outro modelo de código aberto e aplicá-lo a tarefas de negócios, como responder e-mails de clientes, sem treinamento adicional. No entanto, o custo da geração AI será determinado pelos recursos computacionais consumidos pelo modelo. Sua solução de geração de IA pode ter desempenho inferior quando confrontada com dados e tarefas desconhecidos.
4. Retreinar modelos de código aberto em seus dados: neste caso, você precisará obter e preparar dados específicos para treinamento de modelos de IA de geração, fornecer servidores locais ou em nuvem para treinamento e operações de modelos e continuar a ajustar e atualizar o modelo à medida que suas tarefas evoluem. Embora esta abordagem personalizada garanta um desempenho superior do modelo, também acarreta custos mais elevados de IA de geração.

Agora que você conhece suas opções de implementação, vamos ampliar o custo da geração de IA que essas opções implicam.

Insights sobre os preços da Gen AI com base no cenário de implementação

O custo das ferramentas Gen AI comercialmente disponíveis

Os serviços prontos para uso que facilitam o processamento e a geração de texto normalmente cobram das empresas com base no número de caracteres ou tokens – ou seja, unidades básicas de texto, que podem variar de sinais de pontuação a palavras e outros elementos de sintaxe – no texto de entrada ou saída. .

Veja como isso funciona na prática.

1. Faturamento baseado em caracteres: algumas soluções, como ferramentas de geração de IA conduzidas pela Vertex AI do Google, cobram dos usuários com base no número de caracteres no texto de entrada e saída. Eles contam cada letra, número, espaço e sinal de pontuação como um caractere. O preço de IA generativa para o modelo PaLM 2 for Text suportado pela Vertex, por exemplo, começa em US$ 0,0005 por 1.000 caracteres para texto de entrada e saída (cobrado separadamente).
2. Faturamento baseado em token: ferramentas de IA de geração mais avançadas tendem a dividir o texto em tokens em vez de caracteres. Dependendo dos métodos de treinamento e processamento de um modelo, um token pode ser um sinal de pontuação, uma palavra ou parte de uma palavra. Por exemplo, OpenAI define um token como um grupo de aproximadamente quatro caracteres. Uma frase simples como “Tom trouxe flores para Jill”. consistiria, portanto, em oito tokens, uma vez que as palavras “trouxe” e “flores” excedem ligeiramente o limite de quatro caracteres. Quando se trata do custo de tais soluções generativas de IA, depende muito do modelo de idioma escolhido. O GPT-4 Turbo da OpenAI, uma das ferramentas mais sofisticadas do mercado, cobra US$ 0,01 por 1.000 tokens para texto de entrada e US$ 0,03 por 1.000 tokens para texto de saída. Para GPT-3.5 Turbo, sua versão mais antiga, os preços são significativamente mais baixos, variando de US$ 0,001 por 1.000 tokens para texto de entrada a US$ 0,002 por 1.000 tokens para texto de saída. . Para selecionar a opção mais econômica, você deve estudar a documentação e os planos e considerar qual produto melhor atende às suas necessidades comerciais específicas. Por exemplo, se as suas tarefas giram em torno da geração de texto em vez da análise, um serviço generativo de IA com taxas de produção mais baixas será mais adequado.

Os serviços Gen AI para criação de conteúdo visual, por sua vez, tendem a cobrar dos usuários por imagem gerada, com taxas vinculadas ao tamanho e qualidade da imagem. Uma única imagem de 1024 por 1024 pixels produzida pelo DALL·E 3 em qualidade padrão custaria US$ 0,04. Para imagens maiores (1024×1792 pixels), bem como imagens de alta definição, o preço pode subir para US$ 0,08–0,12 cada.

E não se esqueça das plataformas de IA de geração pronta para uso, como Synthesia.io, que adotam uma abordagem mais tradicional de precificação. Se sua equipe de marketing deseja acelerar o processo de criação de vídeo, você pode experimentar a ferramenta por apenas US$ 804 por ano.

O custo da personalização de produtos Gen AI disponíveis comercialmente

Como você pode ver na seção anterior, a maioria dos produtos prontos da Gen AI aproveitam a estratégia de monetização pré-paga.

Embora seus modelos de precificação pareçam bastante simples à primeira vista, pode ser um desafio prever quantas consultas seus funcionários realizarão, especialmente se você procurar explorar vários casos de uso de IA de geração em vários departamentos.

Isso gera confusão em relação aos preços e ao custo total de propriedade das ferramentas de geração de IA, como acontecia nos primeiros dias da computação em nuvem.

Outra desvantagem do uso de soluções comerciais de IA de geração é que produtos de uso geral, como ChatGPT, carecem de conhecimento contextual, como familiaridade com a estrutura, produtos e serviços da sua empresa. Isso dificulta o aumento de operações como suporte ao cliente e geração de relatórios com recursos de IA, mesmo que você domine a engenharia imediata.

Segundo Eric Lamarre, sócio sênior da McKinsey, para resolver esse problema, as organizações “precisam criar um ambiente de dados que possa ser consumido pelo modelo”. Em outras palavras, você terá que treinar novamente as ferramentas de geração de IA disponíveis comercialmente em seus dados corporativos, bem como em informações extraídas de fontes externas por meio de APIs.

Existem duas maneiras de atingir o objetivo – e vários fatores que impactarão o custo da IA ​​generativa em cada cenário.

Usando plataformas de software como serviço (SaaS) com recursos Gen AI

Muitos fornecedores proeminentes de SaaS, incluindo SAP, TIBCO Spotfire e Salesforce, estão lançando serviços generativos de IA que podem ser ajustados usando dados de clientes. A Salesforce, por exemplo, lançou o Einstein Copilot, um assistente de IA conversacional que extrai dados proprietários do Salesforce Data Cloud para criar respostas personalizadas às perguntas dos clientes. As informações utilizadas pelo assistente inteligente incluem conversas do Slack, telemetria, conteúdo empresarial e outros dados estruturados e não estruturados.

Os clientes do Salesforce também podem criar modelos, habilidades e prompts de IA personalizados usando o Prompt Builder e o Model Builder sem código do Einstein Copilot Studio. A partir de agora, o último instrumento oferece suporte aos grandes modelos de linguagem (LLMs) da OpenAI, mas há planos para integrar o produto com outras soluções de terceiros, incluindo Amazon Bedrock e Vertex AI. Como o Einstein Copilot ainda está em fase piloto (sem trocadilhos), as informações de preços da IA ​​generativa ainda não foram divulgadas. No entanto, o custo do assistente generativo AI Sales GPT, que atualmente totaliza US$ 50 por usuário por mês, pode lhe dar uma ideia geral do que esperar.

Integrando seu software corporativo com soluções Gen AI por meio de APIs e modelos de reciclagem em seus dados

Para reduzir o custo da implementação de geração de IA, você pode eliminar as ferramentas SaaS intermediárias, mesclando seus aplicativos diretamente com soluções comerciais de geração de IA no nível da API. Por exemplo, se você deseja turbinar seu chatbot de suporte ao cliente com recursos de geração de IA, você pode sincronizá-lo com um dos modelos da OpenAI – por exemplo, GPT-3.5 ou GPT-4 – usando a API OpenAI. Em seguida, você precisa preparar seus dados para aprendizado de máquina, fazer upload dos dados para OpenAI e gerenciar o processo de ajuste fino usando a ferramenta OpenAI CLI e a Open AI Python Library. Ao ajustar o modelo, será cobrado US$ 0,008 por 1.000 tokens (GPT-3.5). Assim que seu modelo entrar em produção, as taxas de entrada e saída serão de US$ 0,003 por 1.000 tokens e US$ 0,006 por mil tokens, respectivamente. O custo geral da geração AI também incluirá custos de armazenamento, desde que você opte por hospedar seus dados em servidores OpenAI. As despesas de armazenamento de dados podem adicionar US$ 0,2 por 1 GB de dados por dia à estimativa final. E não se esqueça dos esforços de preparação de dados e de ajuste fino do modelo. A menos que seu departamento de TI possua as habilidades necessárias, você terá que fazer parceria com uma empresa confiável de serviços de desenvolvimento de IA.

O custo do uso de modelos de geração de IA de código aberto “como estão”

Isenção de responsabilidade: não estamos sugerindo que você crie um modelo de base personalizado semelhante ao ChatGPT desde o início - é melhor deixar esse empreendimento para aqueles com apoio substancial, como o suporte da OpenAI da Microsoft para compensar suas perdas de US$ 540 milhões.

Modelos básicos ainda mais básicos, como o GPT-3, podem acumular custos iniciais de treinamento e implantação superiores a US$ 4 milhões. Além disso, a complexidade destes modelos de base disparou a um ritmo surpreendente nos últimos anos.

ITRex: personalizado

A quantidade de recursos computacionais necessários para treinar grandes modelos de IA dobra a cada 3,5 meses. A complexidade dos modelos básicos também está mudando. Por exemplo, em 2016, o Bert-Large foi treinado com 340 milhões de parâmetros. Em comparação, o modelo GPT-3 da OpenAI foi treinado com cerca de 175 bilhões de parâmetros.

A boa notícia é que os modelos básicos já existem, o que torna relativamente fácil para as empresas começarem a experimentá-los, ao mesmo tempo que otimizam os custos de implementação da geração de IA. Essencialmente, poderíamos tratar os modelos básicos como um kit de ferramentas para engenheiros de software de IA, uma vez que eles fornecem um ponto de partida para resolver problemas complexos, ao mesmo tempo que deixam espaço para personalização.

ITRex: personalizado

Poderíamos dividir livremente os modelos de fundação existentes em três categorias.

• Os modelos de linguagem são projetados para lidar com tarefas de tradução, geração e resposta a perguntas de texto.
• Modelos de visão computacional são excelentes em classificação de imagens, detecção de objetos e reconhecimento facial
• A terceira categoria, modelos generativos de IA, cria conteúdo que se assemelha aos dados que um modelo consumiu. Este conteúdo pode incluir novas imagens, simulações ou, em alguns casos, informações textuais.

Depois de selecionar um modelo de código aberto que melhor atenda às suas necessidades, você poderá integrá-lo ao seu software usando APIs e utilizar sua própria infraestrutura de servidor.

Esta abordagem envolve os seguintes custos generativos de IA.

1. Custos de hardware: A execução de modelos de IA, especialmente os grandes, requer recursos computacionais significativos. Se sua empresa não tiver o hardware adequado, pode ser necessário investir em GPUs ou CPUs poderosas, que podem ser caras. Se o seu modelo for relativamente pequeno, uma GPU de última geração como NVIDIA RTX 3080 ou similar pode ser suficiente. O custo de tal GPU pode variar de US$ 700 a US$ 1.500. Para modelos grandes como GPT-2 ou similares, você precisa de várias GPUs de última geração ou até mesmo de aceleradores de IA especializados. Uma única GPU NVIDIA A100, por exemplo, pode custar entre US$ 10.000 e US$ 20.000. Uma configuração com múltiplas GPUs pode custar entre US$ 30.000 e US$ 50.000.
2. Custos de computação em nuvem: como alternativa à compra de hardware, você pode alugar recursos de computação em nuvem de provedores como Amazon Web Services (AWS), Google Cloud Platform (GCP) ou Microsoft Azure. Esses serviços são cobrados com base no uso, portanto, os custos dependerão de quanto você usa seus recursos em termos de tempo de computação e armazenamento. Por exemplo, instâncias de GPU na AWS (como P3 ou P4) podem custar entre US$ 3 e US$ 24 por hora, dependendo do tipo de instância.
3. Eletricidade e manutenção: Se você usar seu próprio hardware, incorrerá em custos de eletricidade para operar as máquinas e possivelmente em sistemas de refrigeração adicionais. Os custos de manutenção de hardware também podem aumentar.
4. Integração e implementação: Integrar o modelo de IA nos seus sistemas existentes e implementá-lo (especialmente num ambiente de produção) pode exigir esforços adicionais de desenvolvimento de software, o que pode incorrer em custos de mão-de-obra. O custo de terceirizar o desenvolvimento de IA para uma empresa de desenvolvimento de software pode variar de US$ 50 a US$ 200 por hora, com despesas totais variando de alguns milhares a dezenas de milhares de dólares.
5. Armazenamento e gerenciamento de dados: Armazenar e gerenciar os dados usados ​​pelo modelo pode ser caro, especialmente quando se trata de grandes conjuntos de dados ou ao usar soluções de armazenamento em nuvem. Para instalações no local, o custo de armazenamento de dados generativos de IA pode variar de US$ 1.000 a US$ 10.000, dependendo do tamanho do conjunto de dados de treinamento e das necessidades de redundância. As cobranças por soluções de armazenamento de dados baseadas em nuvem, como AWS S3, podem variar de US$ 0,021 a US$ 0,023 por GB por mês, com custos extras para operações e transferência de dados.

Em última análise, quanto poderia custar à sua empresa adotar um modelo de base de IA generativa “como está”, implantando-o em sua própria infraestrutura? Para uma empresa de médio porte que deseja usar um modelo moderadamente grande como o GPT-2 no local, o associado os custos de IA generativa podem abranger o seguinte.

• Hardware: US$ 20.000 a US$ 50.000 (para algumas GPUs de última geração ou uma configuração básica de várias GPUs)
• Eletricidade e manutenção: Cerca de US$ 2.000 a US$ 5.000 por ano
• Integração e implantação: US$ 10.000 a US$ 30.000 (assumindo complexidade moderada de integração)
• Armazenamento e gerenciamento de dados: US$ 5.000 a US$ 15.000 (variando de acordo com o tamanho dos dados)

O custo total de configuração e operação de uma solução generativa de IA incluiria o seguinte.

• Despesas iniciais de implantação: Aproximadamente US$ 37.000 a US$ 100.000 (hardware + integração inicial e configuração de armazenamento)
• Despesas recorrentes: US$ 7.000 a US$ 20.000 (incluindo eletricidade, manutenção, integração contínua e custos de gerenciamento de dados)

Essas estimativas aproximadas podem variar significativamente com base em requisitos específicos, localização e condições de mercado. É sempre melhor consultar um profissional para um orçamento mais personalizado e preciso. Além disso, é uma boa ideia verificar as taxas atuais de mercado para hardware e serviços em nuvem para obter os preços mais atualizados.

O custo da reciclagem de soluções de geração de IA de código aberto usando seus dados

Se sua empresa está pensando em ajustar um modelo básico de código aberto, é importante considerar os fatores que podem afetar o custo de implementação de IA generativa.

Esses fatores abrangem o seguinte.

1. Tamanho do modelo: Modelos maiores, como o GPT-3, exigem mais recursos para ajuste fino e implantação. Como resultado, o custo da IA ​​generativa aumenta com o tamanho e a complexidade do modelo. Enquanto isso, modelos básicos de código aberto mais simples, como GPT-2, XLNet e StyleGAN2, não podem gerar conteúdo com o mesmo nível de coerência e relevância.
2. Recursos computacionais: Retreinar um modelo básico usando os dados da sua empresa exige um poder computacional substancial. O custo de uma solução de geração de IA depende, portanto, se você está utilizando seu próprio hardware ou serviços em nuvem, com o preço destes últimos variando de acordo com o provedor de nuvem e a escala de suas operações. Se você optar por um modelo mais simples e implantá-lo no local, espera-se que você gaste entre US$ 10.000 e 30.000 em custos de GPU para ajustar a solução de IA generativa. Com a computação em nuvem, as despesas podem variar entre US$ 1 e US$ 10 por hora, dependendo do tipo de instância. Modelos de código aberto semelhantes ao GPT-3 exigem uma configuração de GPU mais avançada, acima de US$ 50.000 a US$ 100.000. As despesas associadas de computação em nuvem podem variar de US$ 10 a US$ 24 por hora para instâncias de GPU de última geração.
3. Preparação de dados: O processo de coleta, limpeza e preparação de seus dados para o ajuste fino dos modelos básicos pode consumir muitos recursos. O custo da implementação de IA generativa incluirá, portanto, as despesas associadas ao armazenamento e processamento de dados e, possivelmente, à compra de conjuntos de dados de treinamento, caso sua empresa não possua seus próprios dados ou não possa usá-los por motivos de segurança e privacidade.
4. Tempo de desenvolvimento e experiência: o talento em IA não sai barato. Um engenheiro interno de IA baseado nos EUA custará à sua empresa entre US$ 70.000 e US$ 200.000 anualmente, mais contratação, folha de pagamento, previdência social e outras despesas administrativas. Você pode reduzir os custos de IA generativa fazendo parceria com uma empresa offshore de engenharia de software com experiência em desenvolvimento de IA. Dependendo da localização, as taxas horárias dessas empresas podem variar de US$ 62 a US$ 95 para talentos de desenvolvimento sênior em locais importantes de terceirização, como Europa Central e América Latina.
5. Custos de manutenção: você será o único responsável pela manutenção, atualização e solução de problemas do modelo, o que requer esforço contínuo e experiência em engenharia e operações de aprendizado de máquina (MLOps).

Considerando os fatores mencionados acima, qual é o custo realista de criar uma solução de IA generativa personalizada com base em um modelo básico prontamente disponível? Para uma empresa de médio porte que busca ajustar um modelo moderadamente grande como o GPT-2, os custos de implementação de IA generativa associados podem abranger o seguinte.

• Hardware: US$ 20.000 a US$ 30.000 (para uma configuração moderada de GPU)
• Desenvolvimento: Assumindo 6 meses de tempo de desenvolvimento com uma mistura de talentos internos e terceirizados:

Interno: $ 35.000– $ 100.000 (salário de meio ano)

Terceirização: US$ 20.000 a US$ 40.000 (assumindo 400 horas a uma taxa média de US$ 75/hora)

• Preparação de dados: US$ 5.000 a US$ 20.000 (variando de acordo com o tamanho e a complexidade dos dados)
• Manutenção: US$ 5.000 a US$ 15.000 por ano (despesas contínuas)

O custo total de configuração e operação de uma solução generativa de IA incluiria o seguinte.

• Despesas iniciais de implantação: Aproximadamente US$ 80.000 a US$ 190.000 (incluindo custos de hardware, desenvolvimento e preparação de dados)
• Despesas recorrentes: US$ 5.000 a US$ 15.000 (custos de manutenção e contínuos)

Os custos reais de desenvolvimento e implementação da Gen AI podem variar com base nos requisitos específicos do projeto, na disponibilidade de dados de treinamento e talentos internos de IA e na localização do seu parceiro de terceirização. Para obter preços mais precisos e atuais, é aconselhável consultar diretamente profissionais ou prestadores de serviços.

Embora US$ 190.000 para um sistema de IA de geração possam parecer excessivamente caros, o custo de construir uma solução de IA de geração usando modelos básicos de código aberto pode ser menor do que optar por uma ferramenta disponível comercialmente.

Antes do ChatGPT ganhar atenção, a Latitude, uma startup pioneira responsável pelo jogo de aventura baseado em IA chamado AI Dungeon, utilizava o modelo GPT da OpenAI para geração de texto.

À medida que sua base de usuários crescia, também cresciam as contas da OpenAI e as despesas de infraestrutura da Amazon. Em algum momento, a empresa estava pagando US$ 200.000 por mês em custos associados para lidar com o número crescente de consultas dos usuários.

Depois de mudar para um novo fornecedor de IA generativa, a empresa reduziu os custos operacionais para US$ 100.000 por mês e ajustou sua estratégia de monetização, introduzindo uma assinatura mensal para recursos avançados alimentados por IA.

Para selecionar a abordagem de implementação correta e ao mesmo tempo otimizar o preço da IA ​​generativa, é importante analisar minuciosamente os requisitos do seu projeto com antecedência. E é por isso que sempre incentivamos nossos clientes a iniciarem suas iniciativas de desenvolvimento de IA com uma fase de descoberta.

Coisas a considerar ao implementar Gen AI nos negócios

Agora que você sabe o que esperar da IA ​​generativa em termos de custos, é hora de falar sobre as armadilhas e considerações de implementação da tecnologia.

• Os modelos básicos, especialmente os grandes modelos de linguagem, podem ter alucinações, produzindo respostas aparentemente legítimas, mas totalmente erradas, às perguntas dos usuários. Sua empresa poderia evitar esse cenário melhorando os dados de treinamento, experimentando diferentes arquiteturas de modelos e introduzindo ciclos eficazes de feedback do usuário.
• As soluções Gen AI são treinadas usando grandes quantidades de dados que rapidamente ficam desatualizados. Como resultado, você terá que retreinar seu modelo regularmente, o que aumenta o custo da implementação de IA generativa.
• Os modelos de fundação treinados em dados específicos, como entradas de registros eletrônicos de saúde (EHR), podem ter dificuldades para produzir conteúdo válido fora de sua experiência imediata. Os modelos de uso geral, por outro lado, enfrentam dificuldades com consultas de usuários específicos de domínios. Algumas maneiras de resolver esse problema incluem a criação de modelos híbridos, o aproveitamento de técnicas de aprendizagem por transferência e o ajuste fino dos modelos por meio do feedback do usuário.
• As soluções Gen AI são caixa preta por natureza, o que significa que raramente fica claro por que produzem determinados resultados e como avaliar sua precisão. Essa falta de compreensão pode impedir os desenvolvedores de ajustar os modelos. Seguindo princípios explicáveis ​​de IA durante o treinamento do modelo de IA de geração, como a introdução de técnicas de interpretabilidade do modelo, mecanismos de atenção e trilhas de auditoria, você pode obter insights sobre o processo de tomada de decisão do modelo e otimizar seu desempenho.

Além disso, há várias perguntas que sua empresa precisa responder antes de iniciar a implementação de IA generativa.

• Existe uma estratégia sólida de compra versus construção para validar que sua empresa adota apenas geração de IA em funções onde a tecnologia se tornaria um diferencial, evitando ao mesmo tempo o aprisionamento do fornecedor? Esta estratégia deve ser complementada com um roteiro detalhado para a gestão da mudança e o dimensionamento da geração de IA – e disposições para redesenhar processos de negócios inteiros, caso seja necessário.
• Seu departamento interno de TI possui habilidades de MLOps adequadas para testar, ajustar e manter a qualidade de modelos complexos de ML e seus dados de treinamento? Caso contrário, você já selecionou uma empresa confiável de desenvolvimento de IA para cuidar dessas tarefas?
• Você tem uma quantidade substancial de recursos computacionais, tanto na nuvem quanto na borda? Além disso, é importante avaliar a escalabilidade da sua infraestrutura de TI, bem como a possibilidade de reutilizar modelos Gen AI em diferentes tarefas, processos e unidades.
• Sua empresa ou seu parceiro de desenvolvimento de IA tem as habilidades necessárias para testar a viabilidade da geração de IA por meio de prova de conceito (PoC) e dimensionar seus experimentos fora do ambiente sandbox controlado?
• Por último, mas não menos importante, a sua organização possui mecanismos eficazes de privacidade e segurança para proteger informações confidenciais e garantir a conformidade com regulamentações específicas do setor e da região?

Ter um plano de implementação bem elaborado não só o ajudará a adotar a tecnologia sem riscos e a colher os benefícios mais rapidamente, mas também a reduzir o custo da geração de IA.

Aproveite os serviços de consultoria de IA de geração ITRex para descobrir se a IA de geração o ajudará a renovar processos de negócios, selecionar a abordagem certa de implementação de IA de geração e otimizar os custos de IA de geração. Escreva-nos para dar o pontapé inicial!

Este artigo foi publicado originalmente no site do ITRex.