Evaluación del costo de la IA generativa para una implementación efectiva en su organización

Algunos puntos clave sobre los costos de implementar inteligencia artificial generativa (IA).

• El costo de implementar la IA generativa en las empresas puede oscilar entre unos pocos cientos de dólares al mes y 190.000 dólares (y contando) para una solución de IA generativa personalizada basada en un modelo de código abierto perfeccionado.
• Esta diferencia de costos de IA generativa está impulsada por varios factores, incluidas las tareas que desea mejorar, el modelo que mejor se adapta a esas tareas y el enfoque de implementación seleccionado.
• Para optimizar los gastos asociados, debe considerar cuidadosamente los requisitos de su proyecto, evaluar los gastos de infraestructura local y en la nube, y elegir entre contratar talento de IA interno y subcontratar el proyecto a un tercero.

Ya le hemos contado cómo se compara la IA generativa (gen AI) con la IA tradicional. También describimos los pros y los contras de la tecnología. El equipo de consultoría de IA generativa de ITRex también ha profundizado en los casos de uso de la IA generativa en varias industrias, incluidas la atención médica, el comercio minorista y las cadenas de suministro.

Además, evaluamos el costo de crear infraestructura y sistemas de IA, y nos centramos en los costos del aprendizaje automático (ML), calculando los gastos asociados con la preparación de datos de entrenamiento, el ajuste de modelos y la implementación de soluciones impulsadas por ML.

Ahora es el momento de descifrar el coste de la implementación de la IA en las empresas. Este análisis puede ser un desafío, ya que aún desconocemos los detalles específicos de su proyecto. Sin embargo, podemos aprovechar nuestra experiencia en consultoría de IA genérica para explorar los precios de sus servicios y enumerar los factores clave detrás de los costos de los proyectos de IA genérica. De esta manera, le proporcionaremos el conocimiento para tomar decisiones informadas, lo que podría ahorrarle a su empresa una cantidad considerable de tiempo y recursos en este panorama tecnológico en rápida evolución.

¿Interesado? ¡Vamos a sumergirnos entonces!

Factores que afectan el costo de la generación de IA: la elección de un modelo y el enfoque de implementación

Al pensar en incorporar IA de generación en la pila tecnológica de su empresa, es fundamental tener en cuenta lo siguiente:

• ¿Qué tareas empresariales vas a mejorar con la IA generativa?
• ¿Qué modelo sería suficiente para estas tareas?

En el corazón de las soluciones de IA generativa se encuentran los modelos básicos, es decir, grandes modelos entrenados con enormes cantidades de datos. Básicamente, los modelos básicos sirven como base para crear soluciones de IA de generación personalizadas, simplificando el proceso de desarrollo y reduciendo los costos de IA de generación. Sus capacidades suelen incluir procesamiento del lenguaje natural (NLP), visión por computadora (CV) y generación de contenido.

Las capacidades cognitivas de los modelos básicos dependen en gran medida de la cantidad de parámetros con los que han sido entrenados. En este contexto, los parámetros se refieren a elementos del modelo que se aprenden a partir de datos de entrenamiento, como los pesos en una red neuronal. Estos parámetros ayudan al modelo a tomar decisiones y predicciones. La siguiente tabla ilustra la correlación entre la cantidad de parámetros (esencialmente, el volumen de estos elementos de toma de decisiones) y las capacidades cognitivas del modelo.

Sin embargo, el número de parámetros no es el único factor que influye en las capacidades de los modelos de cimentación. La calidad y diversidad de los datos de entrenamiento es igualmente importante. Los datos de entrenamiento son la información que se introduce en el modelo, de la que aprende. Dichos datos abarcan una amplia gama de ejemplos que ayudan al modelo a comprender e interpretar nuevos datos. Además, la arquitectura del modelo (es decir, el diseño estructural de cómo interactúan los parámetros y los datos) y la eficiencia de los algoritmos de aprendizaje, que determinan la eficacia con la que el modelo aprende de los datos, desempeñan papeles críticos. Como resultado, en algunas tareas, un modelo con menos parámetros pero mejores datos de entrenamiento o una arquitectura más eficiente puede superar a un modelo más grande.

Seleccionar un modelo básico que cumpla con sus expectativas con respecto al costo de la generación de IA

Todos los modelos de IA de generación existentes se pueden clasificar en dos tipos.

• Los modelos de código cerrado son desarrollados por grandes empresas de tecnología, como Google, Meta, Microsoft y OpenAI. Su código fuente, arquitectura e interfaces de programación de aplicaciones (API) pueden ser completamente propietarios o ponerse a disposición de terceros (generalmente por una tarifa, que es esencialmente el costo de la solución de IA de generación). En algunos casos, puede ajustar el rendimiento de los modelos de código cerrado utilizando sus datos. A los efectos de este artículo, nos referiremos a los modelos de código cerrado como soluciones de IA genérica disponibles comercialmente. La principal ventaja de estos modelos es que vienen con una infraestructura en la nube y el desarrollador original los mantiene en su totalidad.
• Los modelos de código abierto tienen su código fuente, técnicas de capacitación y, a veces, incluso los datos de capacitación disponibles para uso y modificación públicos. Su empresa puede utilizar dichos modelos "tal cual" o volver a entrenarlos con sus propios datos para lograr una mayor precisión y rendimiento. Sin embargo, deberá configurar una infraestructura local o en la nube para que se ejecute el modelo. Por lo tanto, el costo de dichos modelos de IA de generación incluirá los costos informáticos y, si decide mejorar la solución de IA de generación, los gastos asociados con la capacitación del modelo.

Resumamos. Si su empresa está considerando implementar IA genérica, existen cuatro formas principales de hacerlo.

1. Uso de modelos de código cerrado sin personalización: los pioneros de la generación de IA pueden integrar productos disponibles en el mercado como ChatGPT de OpenAI, Google Bard, Claude y Synthesia con sus aplicaciones mediante API. El proceso de integración es bastante sencillo, al igual que el precio de la IA generativa (más sobre esto más adelante). Los productos disponibles comercialmente se actualizan con frecuencia y proporcionan documentación extensa para los desarrolladores de IA. ¿La baja? Sus opciones de personalización serán limitadas y dependerá en gran medida de una empresa externa para tareas comerciales vitales, como atender consultas de atención al cliente o producir contenido visual.
2. Volver a capacitar las soluciones disponibles comercialmente en sus datos corporativos: en este escenario, su equipo interno de IA seleccionará un producto de IA de generación existente desarrollado por un proveedor específico, como OpenAI, y lo ajustará utilizando sus propios datos. Las soluciones de IA de generación personalizadas comprenderán mejor las preguntas de los usuarios y generarán respuestas más precisas. Sin embargo, el proveedor seguirá cobrando una pequeña tarifa por ejecutar sus consultas, por lo que el costo final de la IA de generación comprenderá tanto los gastos operativos como los de personalización.
3. Usar modelos básicos de código abierto “tal cual”: exageradamente, su empresa podría elegir RoBERTa, GPT-2, GPT-Neo o cualquier otro modelo de código abierto y aplicarlo a tareas comerciales como responder correos electrónicos de clientes sin capacitación adicional. Sin embargo, el costo de la generación de IA estará determinado por los recursos informáticos consumidos por el modelo. Su solución de IA de generación puede tener un rendimiento inferior cuando se enfrenta a datos y tareas desconocidos.
4. Volver a entrenar modelos de código abierto en sus datos: en este caso, deberá obtener y preparar datos específicos para el entrenamiento del modelo de IA de generación, proporcionar servidores locales o en la nube para el entrenamiento y las operaciones del modelo, y continuar afinando y actualizando. el modelo a medida que evolucionan sus tareas. Si bien este enfoque personalizado garantiza un rendimiento superior del modelo, también implica mayores costos de generación de IA.

Ahora que conoce sus opciones de implementación, analicemos el costo de la IA generada que implican estas opciones.

Información sobre los precios de la IA de generación según el escenario de implementación

El costo de las herramientas de IA de generación disponibles comercialmente

Los servicios disponibles en el mercado que facilitan el procesamiento y la generación de texto normalmente cobran a las empresas en función del número de caracteres o tokens (es decir, unidades básicas de texto, que pueden variar desde signos de puntuación hasta palabras y otros elementos de sintaxis) en el texto de entrada o salida. .

Así es como funciona esto en la práctica.

1. Facturación basada en caracteres: algunas soluciones, como las herramientas de inteligencia artificial de generación impulsadas por Vertex AI de Google, facturan a los usuarios en función de la cantidad de caracteres en el texto de entrada y salida. Cuentan cada letra, número, espacio y signo de puntuación como un carácter. El precio de la IA generativa para el modelo PaLM 2 para texto compatible con Vertex, por ejemplo, comienza desde $0,0005 por cada 1000 caracteres para texto de entrada y salida (facturado por separado).
2. Facturación basada en tokens: las herramientas de inteligencia artificial de generación más avanzada tienden a dividir el texto en tokens en lugar de caracteres. Dependiendo de los métodos de entrenamiento y procesamiento de un modelo, un token puede ser un signo de puntuación, una palabra o parte de una palabra. Por ejemplo, OpenAI define un token como un grupo de aproximadamente cuatro caracteres. Una frase simple como "Tom le ha traído flores a Jill". Por tanto, consistiría en ocho tokens, ya que las palabras "traído" y "flores" superan ligeramente el umbral de cuatro caracteres. Cuando se trata del coste de este tipo de soluciones de IA generativa, depende en gran medida del modelo de lenguaje elegido. GPT-4 Turbo de OpenAI, una de las herramientas más sofisticadas del mercado, cobra 0,01 dólares por cada 1.000 tokens por texto de entrada y 0,03 dólares por 1.000 tokens por texto de salida. Para GPT-3.5 Turbo, su versión anterior, los precios son significativamente más bajos, oscilando entre $ 0,001 por 1000 tokens para texto de entrada y $ 0,002 por 1000 tokens para texto de salida. Cabe señalar que los diferentes proveedores de IA de generación tienen diferentes nociones de caracteres y tokens. . Para seleccionar la opción más rentable, debe estudiar su documentación y planos y considerar qué producto se adapta mejor a sus necesidades comerciales específicas. Por ejemplo, si sus tareas giran en torno a la generación de texto en lugar del análisis, un servicio de IA generativa con tasas de producción más bajas será más adecuado.

Mientras tanto, los servicios de generación de inteligencia artificial para la creación de contenido visual tienden a cobrar a los usuarios por imagen generada, con tarifas vinculadas al tamaño y la calidad de la imagen. Una sola imagen de 1024 por 1024 píxeles producida por DALL·E 3 en calidad estándar le costaría 0,04 dólares. Para imágenes más grandes (1024 × 1792 píxeles), así como imágenes de alta definición, el precio podría subir entre 0,08 y 0,12 dólares cada una.

Y no se olvide de las plataformas de inteligencia artificial de generación llave en mano, como Synthesia.io, que adoptan un enfoque más tradicional en materia de precios. Si su equipo de marketing busca acelerar el proceso de creación de videos, puede probar la herramienta por tan solo $804 por año.

El costo de personalizar los productos Gen AI disponibles comercialmente

Como puede ver en la sección anterior, la mayoría de los productos Gen AI ya preparados aprovechan la estrategia de monetización de pago por uso.

Si bien sus modelos de precios parecen bastante sencillos a primera vista, podría resultar complicado predecir cuántas consultas realizarán sus empleados, especialmente si busca explorar múltiples casos de uso de IA de generación en varios departamentos.

Esto genera confusión con respecto a los precios de las herramientas de IA de generación y el costo total de propiedad, como sucedió en los primeros días de la computación en la nube.

Otra desventaja de utilizar soluciones de IA de generación comercial es que los productos de uso general como ChatGPT carecen de conocimiento contextual, como familiaridad con la estructura, los productos y los servicios de su empresa. Esto dificulta aumentar operaciones como la atención al cliente y la generación de informes con capacidades de inteligencia artificial, incluso si domina la ingeniería rápida.

Según Eric Lamarre, socio senior de McKinsey, para resolver este problema, las organizaciones “necesitan crear un entorno de datos que pueda ser consumido por el modelo”. En otras palabras, tendrá que volver a entrenar las herramientas de inteligencia artificial disponibles comercialmente en sus datos corporativos, así como en la información extraída de fuentes externas a través de API.

Hay dos formas de lograr el objetivo y varios factores que afectarán el costo de la IA generativa en cada escenario.

Uso de plataformas de software como servicio (SaaS) con capacidades de IA de generación

Muchos proveedores destacados de SaaS, incluidos SAP, TIBCO Spotfire y Salesforce, están implementando servicios de inteligencia artificial generativa que se pueden ajustar utilizando los datos de los clientes. Salesforce, por ejemplo, lanzó Einstein Copilot, un asistente de inteligencia artificial conversacional que extrae datos patentados de Salesforce Data Cloud para elaborar respuestas personalizadas a las preguntas de los clientes. La información utilizada por el asistente inteligente incluye conversaciones de Slack, telemetría, contenido empresarial y otros datos estructurados y no estructurados.

Los clientes de Salesforce también pueden crear modelos, habilidades e indicaciones de IA personalizados utilizando Prompt Builder y Model Builder sin código de Einstein Copilot Studio. A partir de ahora, este último instrumento es compatible con los grandes modelos de lenguaje (LLM) de OpenAI, pero hay planes para integrar el producto con otras soluciones de terceros, incluidos Amazon Bedrock y Vertex AI. Como Einstein Copilot aún se encuentra en su fase piloto (sin juego de palabras), la información sobre los precios de la IA generativa aún no se ha revelado. Sin embargo, el costo del asistente generativo AI Sales GPT, que actualmente asciende a $50 por usuario por mes, podría darle una idea general de qué esperar.

Integración de su software corporativo con soluciones Gen AI a través de API y modelos de reentrenamiento en sus datos

Para reducir el costo de la implementación de IA de generación, puede eliminar las herramientas SaaS intermediarias, fusionando sus aplicaciones directamente con soluciones comerciales de IA de generación en el nivel API. Por ejemplo, si desea potenciar su chatbot de atención al cliente con capacidades de IA de generación, puede sincronizarlo con uno de los modelos de OpenAI (por ejemplo, GPT-3.5 o GPT-4) utilizando la API de OpenAI. A continuación, debe preparar sus datos para el aprendizaje automático, cargarlos en OpenAI y administrar el proceso de ajuste utilizando la herramienta OpenAI CLI y la biblioteca Open AI Python. Mientras ajusta el modelo, se le cobrarán $0,008 por cada 1000 tokens (GPT-3.5). Una vez que su modelo entre en producción, las tasas de entrada y salida ascenderán a 0,003 dólares por 1000 tokens y 0,006 dólares por cada mil tokens, respectivamente. El costo total de la generación de IA también incluirá los costos de almacenamiento, siempre que elija alojar sus datos en servidores OpenAI. Los gastos de almacenamiento de datos podrían agregar $0,2 por 1 GB de datos por día a la estimación final. Y no olvide los esfuerzos de preparación de datos y ajuste del modelo. A menos que su departamento de TI posea las habilidades necesarias, tendrá que asociarse con una empresa confiable de servicios de desarrollo de IA.

El costo de utilizar modelos de IA de generación de código abierto "tal cual"

Descargo de responsabilidad: no estamos sugiriendo que cree un modelo básico personalizado similar a ChatGPT desde cero; es mejor dejar esa empresa en manos de aquellos que cuentan con un respaldo sustancial, como el apoyo de OpenAI por parte de Microsoft para compensar sus pérdidas de 540 millones de dólares.

Incluso los modelos básicos más básicos, como GPT-3, pueden acumular costos iniciales de capacitación e implementación que superan los $4 millones. Además, la complejidad de estos modelos de cimentación se ha disparado a un ritmo sorprendente en los últimos años.

ITRex: personalizado

La cantidad de recursos informáticos necesarios para entrenar grandes modelos de IA se duplica cada 3,5 meses. La complejidad de los modelos básicos también está cambiando. Por ejemplo, en 2016, Bert-Large fue entrenado con 340 millones de parámetros. En comparación, el modelo GPT-3 de OpenAI fue entrenado con alrededor de 175 mil millones de parámetros.

La buena noticia es que los modelos básicos ya existen, lo que hace que sea relativamente fácil para las empresas comenzar a experimentar con ellos mientras optimizan los costos de implementación de la IA genérica. Básicamente, podríamos tratar los modelos básicos como un conjunto de herramientas para los ingenieros de software de IA, ya que proporcionan un punto de partida para resolver problemas complejos y al mismo tiempo dejan espacio para la personalización.

ITRex: personalizado

Podríamos dividir los modelos de cimentación existentes en tres categorías.

• Los modelos de lenguaje están diseñados para manejar tareas de traducción, generación y respuesta de preguntas de texto.
• Los modelos de visión por computadora destacan en la clasificación de imágenes, la detección de objetos y el reconocimiento facial.
• La tercera categoría, los modelos de IA generativa, crea contenido que se asemeja a los datos que ha consumido un modelo. Este contenido puede incluir nuevas imágenes, simulaciones o, en algunos casos, información textual.

Una vez que haya seleccionado un modelo de código abierto que mejor se adapte a sus necesidades, puede integrarlo con su software mediante API y utilizar su propia infraestructura de servidor.

Este enfoque implica los siguientes costos generativos de IA.

1. Costos de hardware: ejecutar modelos de IA, especialmente los grandes, requiere importantes recursos computacionales. Si su empresa carece del hardware adecuado, es posible que deba invertir en GPU o CPU potentes, lo que puede resultar costoso. Si tu modelo es relativamente pequeño, una GPU de gama alta como una NVIDIA RTX 3080 o similar podría ser suficiente. El coste de una GPU de este tipo puede oscilar entre 700 y 1.500 dólares. Para modelos grandes como GPT-2 o similares, necesita varias GPU de alta gama o incluso aceleradores de IA especializados. Una sola GPU NVIDIA A100, por ejemplo, puede costar entre 10.000 y 20.000 dólares. Por tanto, una configuración con varias GPU puede costar entre 30.000 y 50.000 dólares.
2. Costos de computación en la nube: como alternativa a la compra de hardware, puede alquilar recursos de computación en la nube de proveedores como Amazon Web Services (AWS), Google Cloud Platform (GCP) o Microsoft Azure. Estos servicios se cobran según el uso, por lo que los costos dependerán de cuánto utilice sus recursos en términos de tiempo de computación y almacenamiento. Por ejemplo, las instancias de GPU en AWS (como P3 o P4) pueden costar entre $ 3 y $ 24 por hora, según el tipo de instancia.
3. Electricidad y mantenimiento: si utiliza su propio hardware, incurrirá en costos de electricidad para hacer funcionar las máquinas y posiblemente sistemas de enfriamiento adicionales. Los costos de mantenimiento del hardware también pueden acumularse.
4. Integración e implementación: integrar el modelo de IA en sus sistemas existentes e implementarlo (especialmente en un entorno de producción) puede requerir esfuerzos adicionales de desarrollo de software, lo que puede generar costos laborales. El costo de subcontratar el desarrollo de IA a una empresa de desarrollo de software podría oscilar entre 50 y 200 dólares por hora, con gastos totales que oscilan entre unos pocos miles y decenas de miles de dólares.
5. Almacenamiento y gestión de datos: almacenar y gestionar los datos utilizados por el modelo puede resultar costoso, especialmente cuando se trata de grandes conjuntos de datos o se utilizan soluciones de almacenamiento en la nube. Para las instalaciones in situ, el coste de almacenar datos generativos de IA podría oscilar entre 1.000 y 10.000 dólares, según el tamaño del conjunto de datos de entrenamiento y las necesidades de redundancia. Los cargos por soluciones de almacenamiento de datos basadas en la nube, como AWS S3, pueden variar entre 0,021 y 0,023 dólares por GB al mes, con costos adicionales por operaciones y transferencia de datos.

En última instancia, ¿cuánto podría costarle a su empresa adoptar un modelo básico de IA generativa "tal cual", implementándolo en su propia infraestructura? Para una empresa mediana que pretende utilizar un modelo moderadamente grande como GPT-2 local, el costo asociado Los costos generativos de la IA podrían abarcar lo siguiente.

• Hardware: entre 20 000 y 50 000 dólares (por un par de GPU de gama alta o una configuración básica de múltiples GPU)
• Electricidad y mantenimiento: entre 2.000 y 5.000 dólares al año
• Integración e implementación: entre 10 000 y 30 000 dólares (suponiendo una complejidad de integración moderada)
• Almacenamiento y gestión de datos: entre 5000 y 15 000 dólares (varía según el tamaño de los datos)

El costo total de configurar y operar una solución de IA generativa incluiría lo siguiente.

• Gastos de implementación inicial: aproximadamente entre $37 000 y $100 000 (hardware + integración inicial y configuración de almacenamiento)
• Gastos recurrentes: entre $7 000 y $20 000 (incluidos costos de electricidad, mantenimiento, integración continua y administración de datos)

Estas estimaciones aproximadas pueden variar significativamente según los requisitos específicos, la ubicación y las condiciones del mercado. Siempre es mejor consultar con un profesional para obtener un presupuesto más personalizado y preciso. Además, es una buena idea consultar las tarifas actuales del mercado para hardware y servicios en la nube para conocer los precios más actualizados.

El costo de volver a capacitar las soluciones de inteligencia artificial de generación de código abierto utilizando sus datos

Si su empresa está pensando en ajustar un modelo básico de código abierto, es importante considerar los factores que pueden afectar el costo de implementar la IA generativa.

Dichos factores abarcan lo siguiente.

1. Tamaño del modelo: los modelos más grandes, como GPT-3, requieren más recursos para ajustarlos e implementarlos. Como resultado, el costo de la IA generativa aumenta con el tamaño y la complejidad del modelo. Mientras tanto, los modelos básicos de código abierto más simples como GPT-2, XLNet y StyleGAN2 no pueden generar contenido con el mismo nivel de coherencia y relevancia.
2. Recursos computacionales: volver a entrenar un modelo básico utilizando los datos de su empresa exige una potencia informática sustancial. Por lo tanto, el costo de una solución de IA de generación depende de si está utilizando su propio hardware o servicios en la nube, y el precio de estos últimos varía según el proveedor de la nube y la escala de sus operaciones. Si opta por un modelo más simple y lo implementa localmente, se espera que gaste entre 10 000 y 30 000 dólares en costos de GPU para ajustar la solución de IA generativa. Con la computación en la nube, los gastos podrían oscilar entre 1 y 10 dólares por hora, según el tipo de instancia. Los modelos de código abierto tipo GPT-3 requieren una configuración de GPU más avanzada, de más de 50.000 a 100.000 dólares. Los gastos asociados de computación en la nube pueden oscilar entre $10 y $24 por hora para instancias de GPU de alta gama.
3. Preparación de datos: el proceso de recopilación, limpieza y preparación de datos para ajustar los modelos básicos puede consumir muchos recursos. Por lo tanto, el costo de la implementación de la IA generativa incluirá los gastos asociados con el almacenamiento, el procesamiento y posiblemente la compra de conjuntos de datos de capacitación si su empresa carece de sus propios datos o no puede usarlos por razones de seguridad y privacidad.
4. Tiempo de desarrollo y experiencia: el talento en IA no es barato. Un ingeniero de IA interno con sede en EE. UU. le costará a su empresa entre 70 000 y 200 000 dólares al año, más la contratación, la nómina, la seguridad social y otros gastos administrativos. Puede reducir los costos generativos de IA asociándose con una empresa de ingeniería de software offshore con experiencia en desarrollo de IA. Dependiendo de la ubicación, las tarifas por hora de estas empresas pueden oscilar entre 62 y 95 dólares para el talento de desarrollo senior en lugares clave de subcontratación, como Europa Central y América Latina.
5. Costos de mantenimiento: usted será el único responsable de mantener, actualizar y solucionar problemas del modelo, lo que requiere un esfuerzo continuo y experiencia en operaciones e ingeniería de aprendizaje automático (MLOps).

Teniendo en cuenta los factores mencionados anteriormente, ¿cuál es el costo realista de crear una solución de IA generativa personalizada basada en un modelo básico fácilmente disponible? Para una empresa mediana que busca perfeccionar un modelo moderadamente grande como GPT-2, los costos de implementación de IA generativa asociados podrían abarcar lo siguiente.

• Hardware: entre 20 000 y 30 000 dólares (para una configuración de GPU moderada)
• Desarrollo: Suponiendo 6 meses de tiempo de desarrollo con una combinación de talento interno y subcontratado:

Interno: $35 000–$100 000 (salario de medio año)

Subcontratación: entre 20 000 y 40 000 dólares (suponiendo 400 horas a una tarifa promedio de 75 dólares por hora)

• Preparación de datos: entre 5000 y 20 000 dólares (varía según el tamaño y la complejidad de los datos)
• Mantenimiento: $5,000–$15,000 por año (gastos continuos)

El costo total de configurar y operar una solución de IA generativa incluiría lo siguiente.

• Gastos de implementación inicial: aproximadamente entre $80 000 y $190 000 (incluidos los costos de hardware, desarrollo y preparación de datos)
• Gastos recurrentes: $5,000 a $15,000 (mantenimiento y costos continuos)

Los costos reales de desarrollo e implementación de Gen AI pueden variar según los requisitos específicos del proyecto, la disponibilidad de datos de capacitación y talento interno de AI, y la ubicación de su socio de subcontratación. Para obtener los precios más precisos y actualizados, es recomendable consultar directamente con profesionales o proveedores de servicios.

Si bien 190.000 dólares por un sistema de IA de generación pueden parecer excesivamente caros, el costo de crear una solución de IA de generación utilizando modelos básicos de código abierto podría ser menor que el de optar por una herramienta disponible comercialmente.

Antes de que ChatGPT llamara la atención, Latitude, una startup pionera responsable del juego de aventuras basado en IA llamado AI Dungeon, había estado utilizando el modelo GPT de OpenAI para la generación de texto.

A medida que crecía su base de usuarios, también crecían las facturas de OpenAI y los gastos de infraestructura de Amazon. En algún momento, la empresa estaba pagando 200.000 dólares al mes en costos asociados para manejar el creciente número de consultas de los usuarios.

Después de cambiar a un nuevo proveedor de IA generativa, la empresa redujo los costos operativos a $100,000 por mes y ajustó su estrategia de monetización, introduciendo una suscripción mensual para funciones avanzadas impulsadas por IA.

Para seleccionar el enfoque de implementación correcto y al mismo tiempo optimizar los precios de la IA generativa, es importante analizar exhaustivamente los requisitos de su proyecto de antemano. Y es por eso que siempre animamos a nuestros clientes a iniciar sus iniciativas de desarrollo de IA con una fase de descubrimiento.

Cosas a considerar al implementar Gen AI en las empresas

Ahora que sabe qué esperar de la IA generativa en términos de costos, es hora de hablar sobre los problemas y consideraciones de implementación de la tecnología.

• Los modelos básicos, especialmente los modelos de lenguaje grandes, pueden alucinar, produciendo respuestas aparentemente legítimas pero completamente erróneas a las preguntas de los usuarios. Su empresa podría evitar este escenario mejorando los datos de capacitación, experimentando con diferentes arquitecturas de modelos e introduciendo ciclos efectivos de retroalimentación de los usuarios.
• Las soluciones de IA de generación se entrenan utilizando grandes cantidades de datos que rápidamente quedan obsoletos. Como resultado, tendrá que volver a entrenar su modelo con regularidad, lo que aumenta el costo de la implementación de IA generativa.
• Los modelos de la Fundación entrenados con datos específicos, como las entradas de registros médicos electrónicos (EHR), pueden tener dificultades para producir contenido válido fuera de su experiencia inmediata. Los modelos de propósito general, por otro lado, tienen dificultades con las consultas de los usuarios de dominios específicos. Algunas formas de abordar este problema incluyen la creación de modelos híbridos, aprovechando técnicas de aprendizaje por transferencia y perfeccionando los modelos a través de los comentarios de los usuarios.
• Las soluciones de IA de generación son de caja negra por naturaleza, lo que significa que rara vez está claro por qué producen ciertos resultados y cómo evaluar su precisión. Esta falta de comprensión podría impedir que los desarrolladores modifiquen los modelos. Si sigue principios de IA explicables durante el entrenamiento del modelo de IA genérica, como la introducción de técnicas de interpretabilidad del modelo, mecanismos de atención y pistas de auditoría, puede obtener información sobre el proceso de toma de decisiones del modelo y optimizar su rendimiento.

Además, hay varias preguntas que su empresa debe responder antes de comenzar con la implementación de la IA generativa.

• ¿Existe una estrategia sólida de compra versus construcción para validar que su empresa solo adopta la IA genérica en funciones en las que la tecnología se convertiría en un diferenciador y al mismo tiempo evitaría la dependencia del proveedor? Esta estrategia debe complementarse con una hoja de ruta detallada para la gestión del cambio y el escalamiento de la IA de generación, y disposiciones para rediseñar procesos comerciales completos, en caso de que surja la necesidad.
• ¿Su departamento de TI interno posee habilidades MLOps adecuadas para probar, ajustar y mantener la calidad de modelos ML complejos y sus datos de entrenamiento? Si no es así, ¿ha seleccionado ya una empresa de desarrollo de IA confiable para que se encargue de estas tareas?
• ¿Tiene una cantidad sustancial de recursos informáticos, tanto en la nube como en el borde? Además, es importante evaluar la escalabilidad de su infraestructura de TI, así como la posibilidad de reutilizar los modelos Gen AI en diferentes tareas, procesos y unidades.
• ¿Su empresa o su socio de desarrollo de IA tienen las habilidades para probar la viabilidad de la IA genérica mediante una prueba de concepto (PoC) y escalar sus experimentos fuera del entorno de pruebas controlado?
• Por último, pero no menos importante, ¿su organización cuenta con mecanismos efectivos de privacidad y seguridad para proteger la información confidencial y garantizar el cumplimiento de las regulaciones específicas de la industria y la región?

Tener un plan de implementación bien pensado no solo lo ayudará a adoptar la tecnología sin riesgos y obtener los beneficios más rápido, sino que también reducirá el costo de la IA genérica.

Aproveche los servicios de consultoría de IA de generación de ITRex para descubrir si la IA de generación lo ayudará a renovar los procesos comerciales, seleccionar el enfoque de implementación de IA de generación adecuado y optimizar los costos de IA de generación. ¡Escríbenos para empezar a rodar!

Este artículo fue publicado originalmente en el sitio web de ITRex.