Cómo la creación de una prueba de concepto de IA puede ayudarlo a minimizar los riesgos de desarrollo y adopción de IA

Publicado: 2023-01-19

Nuestro cliente perdió solo una cuarta parte del presupuesto que dedicó a un proyecto de inteligencia artificial (IA) porque eligió comenzar con una prueba de concepto (PoC). El PoC les permitió probar su idea y fallar rápidamente con un gasto limitado. Para evitar perder tiempo y esfuerzo, pídale siempre a su consultor de soluciones de IA una prueba de concepto, especialmente si su empresa solo está probando las aguas de la IA.

Este artículo explica qué es una PoC de IA y elabora los cinco pasos que lo guiarán a través de su primera PoC, junto con los desafíos que podría encontrar en el camino. También presenta ejemplos de AI PoC de nuestra cartera. Y encontrará un final feliz del ejemplo representado en el párrafo inicial.

¿Qué es una PoC de IA y cuándo es esencial para el éxito de su proyecto?

Una PoC de IA es un prototipo o una demostración de una solución de IA propuesta diseñada para probar si la solución es factible y tiene posibilidades de éxito. El propósito de crear una PoC de IA es validar el concepto, evaluar los beneficios potenciales de la solución propuesta e identificar cualquier desafío o limitación potencial.

Una PoC de IA generalmente implica construir una versión a pequeña escala de la solución de IA propuesta y probarla en un entorno controlado para ver cómo funciona y si cumple con los objetivos deseados. Los resultados de una PoC de IA se pueden usar para informar más sobre el desarrollo y la implementación de la solución.

En comparación con las PoC de software ordinarias, una PoC de IA puede implicar consideraciones más complejas, como la capacidad de la solución de IA para aprender y adaptarse con el tiempo, y las posibles implicaciones éticas de la solución, como un sesgo de IA. La pila de tecnología para los proyectos de AI PoC también es diferente.

Algoritmos de aprendizaje automático

Estos algoritmos permiten que un sistema de IA aprenda de datos estructurados y haga predicciones o decisiones basadas en dicho aprendizaje. Hay muchos tipos diferentes de algoritmos de aprendizaje automático, incluidos los algoritmos de aprendizaje supervisado, los algoritmos de aprendizaje no supervisado y los algoritmos de aprendizaje por refuerzo.

Redes neuronales

Estos modelos computacionales están inspirados en la estructura y función del cerebro humano. Las redes neuronales pueden procesar y analizar grandes cantidades de datos no estructurados. Se pueden entrenar para realizar diversas tareas, como el reconocimiento de imágenes, el procesamiento del lenguaje natural, el modelado de escenarios y la predicción.

robótica

Esta tecnología se puede utilizar para construir sistemas físicos capaces de operar y tomar decisiones de manera autónoma. Las soluciones de robótica incorporan sensores, actuadores y otros componentes de hardware que permiten a los ingenieros construir un robot que pueda interactuar con su entorno y realizar tareas.

Computación en la nube

Las plataformas de computación en la nube como Microsoft Azure, Google Cloud y AWS brindan la potencia informática, los recursos de almacenamiento y los servicios preconfigurados necesarios para respaldar el desarrollo y las pruebas de las pruebas de concepto de IA. Estas plataformas también pueden alojar e implementar soluciones de IA una vez que se hayan desarrollado y probado.

La creación de una PoC de IA implica recopilar y preparar datos, crear y entrenar modelos de aprendizaje automático y probar y evaluar el rendimiento del sistema de IA. El tiempo que lleva crear una PoC de IA puede variar ampliamente según varios factores, incluida la complejidad de la solución de IA propuesta, los recursos y la experiencia disponibles para la PoC y los objetivos específicos de la PoC. Algunos PoC de IA se pueden desarrollar en solo unos días o semanas, mientras que otros pueden tardar varios meses o incluso más en completarse.

¿Cuándo no hay absolutamente ninguna forma de evitar un PoC de IA?

Es esencial comenzar su proyecto con un PoC de IA en los siguientes escenarios.

Su proyecto se basa en una idea innovadora que aún no se ha probado, algo que se ha estudiado a nivel empresarial, pero que no se ha intentado técnicamente. Ni usted ni su proveedor de tecnología están seguros de si se puede implementar.
Si necesita demostrar a las partes interesadas, inversores y otros la viabilidad de su idea dentro de un plazo limitado. Un AI PoC hará el trabajo mejor que un prototipo interactivo o algo similar.

¿Hay situaciones en las que una PoC de IA es una pérdida de tiempo?

Aunque una PoC de IA es beneficiosa en la mayoría de los casos, hay algunas excepciones. Si su proyecto se incluye en una de las siguientes categorías, un PoC de IA puede ser excesivo.

Si su idea y enfoque están excepcionalmente bien documentados desde las perspectivas funcional y técnica. Esto es raro.
Si la solución que desea desarrollar es estándar y se parece a las prácticas comunes en el campo. Ya sabemos que esto es factible y posible desde una perspectiva técnica.
Si desea crear software que sus desarrolladores front-end y back-end entiendan, a menudo porque ya han trabajado en algo idéntico.

¿Qué beneficios puede obtener de un PoC de IA?

El uso de un PoC de IA brinda los siguientes beneficios.

Identificar los desafíos potenciales antes de comprometer más recursos en un esfuerzo. Un AI PoC le permite "fallar rápido, fallar mejor". Si un equipo encuentra desafíos que no puede superar, todas las partes interesadas tienen tiempo para reagruparse o tal vez cambiar la hipótesis para alcanzar los mismos objetivos a través de otros métodos.
Minimizar los riesgos comerciales, mientras prueba ideas innovadoras en pequeños pasos en lugar de sumergirse en un proyecto a largo plazo.
Mejorar las prácticas de recopilación de datos.
Conseguir inversores y otras partes interesadas a bordo.
Ahorro de tiempo y recursos. Una PoC de IA puede descubrir problemas relacionados con el negocio o el proceso y darle tiempo para arreglar todo antes de comenzar un proyecto a gran escala.
Desarrollar experiencia y crear propietarios de conocimiento que asesorarán a otro miembro del equipo en proyectos similares en el futuro.
Probar la pila de tecnología en una escala más pequeña para comprender su idoneidad para el caso comercial seleccionado.

Ejemplos de nuestra cartera donde un PoC de IA salvó el día

Aquí hay algunos ejemplos de PoC de IA de la cartera de ITRex que lo ayudarán a apreciar aún más el enfoque de PoC.

Darse cuenta de que ML solo no es la respuesta

Una gran empresa de logística de carga realizaba entre 10 000 y 15 000 envíos por día, y cada envío iba acompañado de conocimientos de embarque y facturas para cubrir las operaciones. Los empleados estaban agotados por el manejo manual de toda la documentación. La empresa quería crear una solución basada en ML que utilizara el reconocimiento óptico de caracteres (OCR) para procesar documentos escaneados e identificar diferentes campos.

El cliente creía que el aprendizaje automático era la mejor solución, por lo que procedimos con un PoC de IA para probar esta suposición. Pronto nos dimos cuenta de que los documentos tenían un formato diferente y que las etiquetas utilizadas para los campos variaban significativamente; por ejemplo, el campo ID de carga solo tenía 8 alias. Como resultado, el modelo ML siguió creciendo. Se volvió lento e ineficiente. Nuestro equipo decidió acompañar este modelo con un algoritmo dinámico (por ejemplo, un diccionario en el que se codificaron diferentes etiquetas de campo). Esta modificación mejoró significativamente el rendimiento de la solución y ahorró tiempo y dinero al cliente.

Si el cliente hubiera decidido omitir la PoC de IA, habría desperdiciado siete meses solo para darse cuenta de que su idea inicial de un modelo basado en ML puro no era la solución óptima. Con un AI PoC, llegaron a esta conclusión en solo dos meses. Después de completar con éxito esta PoC de IA, construimos un MVP que podía manejar cuatro tipos de documentos, asumiendo alrededor del 25 % de la carga de procesamiento manual.

Sorprendido por las restricciones de uso de datos de Meta

Un cliente de la industria del entretenimiento quería crear una plataforma analítica impulsada por IA para artistas musicales independientes. Se suponía que la solución rastrearía las redes sociales, incluidos Facebook e Instagram, para recopilar datos. Procesaría toda esta información para medir los sentimientos de las personas hacia los artistas. Los músicos podrían registrarse en la plataforma y recibir comentarios sobre qué comportamiento en las redes sociales sería el más beneficioso para su éxito.

Procedimos con un AI PoC para probar la idea. Después de solo dos semanas, nos dimos cuenta de que era simplemente imposible recopilar datos de Facebook e Instagram para usarlos con el propósito descrito anteriormente. Por lo general, algunos de los datos se podían recuperar a través de Graph API. Debido a esto, además de una cuenta comercial verificada en Meta, asumimos que tendríamos acceso a la información requerida. Sin embargo, el cliente no pudo proporcionarnos una cuenta comercial verificada, y los datos de Graph API por sí solos no fueron suficientes para que esta solución funcionara.

Si el cliente hubiera decidido omitir el PoC, habría desperdiciado alrededor de $20,000 en el proyecto de descubrimiento. Esto habría incluido una descripción detallada de la solución y la estimación de los costos de desarrollo. Pero como eligieron comenzar con un PoC de IA, gastaron solo alrededor de $ 5,000 antes de darse cuenta de que la solución propuesta era imposible de ejecutar debido a las restricciones de acceso a los datos impuestas por Meta.

Una guía de cinco pasos para su primera prueba de concepto de IA

Aquí hay cinco pasos que puede seguir para pasar con éxito su PoC de AI. También enumeramos los desafíos asociados con cada paso.

Paso 1: Identifique qué problema(s) desea abordar con IA

Es esencial especificar qué es exactamente lo que desea lograr mediante la implementación de una PoC de IA. El caso de uso seleccionado debe ser de gran valor y representar algo que pueda abordar mejor con esta tecnología. Si tiene dudas, un buen lugar para comenzar es investigar para qué otros en su campo están utilizando soluciones de IA. Otra forma de proceder es investigar los problemas a los que se enfrenta su empresa y compararlos con el potencial de la IA.

Una vez que haya acumulado una lista de oportunidades, puede hacer las siguientes preguntas para determinar cuáles son las más adecuadas para su proyecto en este momento.

¿El problema que intenta resolver es lo suficientemente específico? ¿Puedes evaluar los resultados para determinar el éxito?
¿Ya ha intentado solucionar este problema con otras tecnologías?
¿Tienes el talento y la financiación para apoyar este proyecto hasta el final? Si no hay talento interno adecuado, ¿puede contratar un equipo externo dedicado?
¿Cómo afectará el problema a su negocio? ¿Es este efecto lo suficientemente significativo como para justificar sus esfuerzos?
¿Serás capaz de vender este proyecto a tus ejecutivos? ¿Está su organización preparada para asumir un proyecto de este tipo?
¿Su empresa ya tiene una estrategia de datos? Si es así, ¿cómo se alineará con este proyecto?
¿Cuáles son los riesgos potenciales y las limitaciones del uso de la IA para abordar este problema?

Desafío asociado

Seleccionar un caso de uso que no agregue mucho valor o no utilice todo el potencial de la IA. La inteligencia artificial es una tecnología costosa, y elegir un caso insignificante significará que gastará más de lo que recibirá. Consulte nuestro artículo sobre cuánto cuesta implementar IA para obtener una mejor comprensión de los gastos.

Paso 2: preparar los datos

Ahora que tiene su problema claramente definido, es hora de agregar y preparar los datos de entrenamiento para los algoritmos de IA. Puedes hacerlo por:

comprobar qué datos están disponibles para su uso dentro de su empresa
generar datos semisintéticos utilizando aplicaciones específicas listas para usar o su propia solución
comprar conjuntos de datos de proveedores confiables
utilizando datos de fuente abierta
contratar personas para raspar los datos que se ajusten a su propósito.

No tienes que limitarte a una sola fuente. Puede utilizar una combinación de varias opciones enumeradas anteriormente.

Recurra a los científicos de datos para ejecutar la evaluación inicial de datos. Realizarán las siguientes tareas.

Estructurar los datos
Límpialo eliminando el ruido
Agregue cualquier punto de datos que falte, en caso de datos tabulares
Realizar ingeniería de características (es decir, agregar y eliminar campos de datos)
Aplicar manipulaciones, como combinar o filtrar datos

Los científicos de datos pueden asesorarlo sobre cómo recopilar datos adicionales o cómo reducir el alcance de la PoC de IA para que pueda lograr los resultados deseados con los conjuntos de datos existentes.

Cuando los datos estén listos para su uso, divídalos en tres conjuntos:

Un conjunto de entrenamiento, que el modelo usará para aprender.
Un conjunto de validación para validar el modelo e iterar en el entrenamiento.
Un conjunto de pruebas que evaluará el rendimiento del algoritmo.

Desafíos asociados

Los datos de entrenamiento no son representativos de toda la población. En este caso, los algoritmos pueden funcionar bien en casos comunes, pero darán malos resultados en raras ocasiones. Por ejemplo, un modelo de aprendizaje automático para el cuidado de la salud que analiza rayos X podría ser excelente para detectar trastornos comunes, como derrames, pero tendrá dificultades para detectar trastornos raros, como una hernia.
Desequilibrio de clase, cuando el número de casos que representan una clase es significativamente mayor que otra, con una proporción de 99,9% a 0,1%.
Etiquetado incorrecto, como mezclar clases (por ejemplo, etiquetar una bicicleta como un automóvil).
Ruido alto en el conjunto de datos de entrenamiento.
Dificultad para lograr la separabilidad de clase pura. Esto sucede cuando algunos datos en el conjunto de entrenamiento no se pueden clasificar correctamente en una clase en particular.

Paso 3: diseñar y construir o comprar la solución

Probablemente se esté preguntando si debe construir el modelo usted mismo o si puede adquirir una solución existente. Aquí es cuando tiene sentido crear un modelo de IA desde cero.

Su solución es innovadora y no se ajusta a un estándar existente.
Las soluciones listas para usar son costosas de personalizar.
El modelo estándar más cercano es exagerado y hace mucho más de lo que realmente necesita.

Considere adquirir un modelo listo si los costos de comprar y personalizar el modelo son menores que construirlo desde cero.

Si decide construir el algoritmo de IA desde cero, tendrá más control sobre su precisión. Llevará más tiempo completar la tarea, pero se adaptará a su problema empresarial y a sus procesos internos. No necesitará realizar cambios en su sistema para adaptar el software externo.

En cuanto a la infraestructura para el entrenamiento y la implementación de algoritmos, puede confiar en la nube en lugar de utilizar recursos locales. Hay cuatro parámetros que puede considerar al decidir qué es lo que más le conviene.

Seguridad. Si sus datos son muy confidenciales en lo que respecta a la seguridad, es mejor que mantenga todo en sus instalaciones.
Carga de trabajo. Si la carga de procesamiento es bastante pesada, opte por la nube.
Costos. Evalúe qué le costará más: adquirir los recursos localmente o pagar por el uso de la nube a lo largo del tiempo.
Accesibilidad. Si solo utilizará la solución localmente, puede depender de sus servidores internos. Si necesita ser accesible desde diferentes ubicaciones geográficas, vale la pena considerar la nube.

Cada enfoque tiene sus ventajas y desventajas. Si está operando en el sector de la salud, los tenemos claramente explicados en la publicación de computación en la nube en la atención médica en nuestro blog. De lo contrario, no dude en comunicarse con nuestros expertos en inteligencia artificial para elegir la mejor pila de tecnología para el entrenamiento de algoritmos.

Desafíos asociados

Falta de formación adecuada. Esto causará problemas, como una capacidad de generalización deficiente del modelo, lo que significa que el modelo no hará predicciones precisas sobre los datos que no ha visto en el entrenamiento. Volviendo al análisis de imágenes de rayos X en el sector médico, un algoritmo podría analizar con éxito imágenes de alta calidad capturadas por escaneos de última generación, pero seguir obteniendo malos resultados cuando se aplica a escaneos generados por máquinas más antiguas.
Integración con sistemas existentes, algunos de los cuales pueden estar desactualizados o impulsados por tecnologías propietarias.
No encontrar una arquitectura de modelo adecuada (p. ej., no poder elegir el modelo de ML adecuado para el problema en cuestión).
La capacidad de la arquitectura seleccionada no puede coincidir con los requisitos del modelo.
Los datos de entrada son volátiles, lo que significa que el modelo debe volver a entrenarse con frecuencia.
Utilizar más recursos de los que requiere su modelo para realizar sus tareas. No es necesario invertir en un servidor potente para ejecutar un modelo simple.

Paso 4: Evaluar el potencial de AI PoC para generar valor

Este paso consiste en evaluar si la PoC de IA puede cumplir con las expectativas. Hay varias formas de realizar la evaluación.

Vuelva a sus indicadores clave de rendimiento (KPI) y pruebe la solución con ellos. Estos factores pueden incluir la precisión, la satisfacción del cliente, la velocidad, la flexibilidad, la equidad y la seguridad.
Recopile datos sobre cómo funcionaba su sistema antes de la implementación de AI PoC. Esto puede incluir el tiempo dedicado a una tarea manual en particular y la cantidad de errores. A continuación, debe utilizar la información para evaluar el impacto de la PoC.
Compare el rendimiento de la solución con otros productos que se consideran el punto de referencia para este tipo de problema o la industria en general. Por ejemplo, un punto de referencia para problemas relacionados con la clasificación de imágenes sería un modelo que brinde resultados precisos en conjuntos de datos populares, como ImageNet.
Reúna los comentarios de los usuarios a través de grupos focales o encuestas en línea para medir los niveles de satisfacción y determinar qué falta.
Realice un análisis de costo-beneficio para comprender el impacto financiero de esta solución en la organización.

Desafíos asociados

Cometer un error en su evaluación. Puede ser un simple error matemático durante los cálculos o un error relacionado con la estimación del potencial comercial.

Paso 5: iterar en la prueba de concepto de IA para obtener mejores resultados o ampliarla

Si los resultados que recibió en el paso anterior no están a la altura, puede considerar modificar la solución e iterar todo el proceso. Puede realizar cambios en el algoritmo ML y medir el rendimiento con cada ajuste. También puede experimentar con diferentes componentes de hardware o modelos alternativos de servicios en la nube.

Si está satisfecho con el rendimiento de AI PoC, puede trabajar para escalarlo en diferentes direcciones. Aquí están algunos ejemplos.

Aplicar la PoC a otros casos de negocio. Busque otras aplicaciones de esta nueva solución dentro de su negocio. Por ejemplo, si está probando la IA como una aplicación de mantenimiento predictivo, puede intentar aplicarla a otros escenarios relacionados.
Escalar la infraestructura. Revise la tecnología utilizada para ejecutar este software. ¿Puede dedicar más potencia de procesamiento o más capacidad de almacenamiento de datos? Tales modificaciones le permitirán usar más datos, disminuir la latencia y tal vez entregar resultados en tiempo real. También minimizará la posibilidad de cuellos de botella en el futuro.
Optimice la solución PoC. Aunque haya obtenido resultados razonables en el paso anterior, podría valer la pena buscar formas de mejorar la precisión. Puede seguir entrenando sus algoritmos utilizando datos nuevos o datos etiquetados con mayor precisión. O incluso puede experimentar con la implementación de ajustes y cambios para lograr mejores resultados.

Si decide adoptar IA en toda la empresa después de la fase PoC, puede encontrar consejos útiles en nuestra guía sobre cómo implementar IA en su organización.

Desafíos asociados

La arquitectura no fue cuidadosamente considerada. La solución podría funcionar bien con 10 000 usuarios, pero colapsar cuando la audiencia alcanza los 100 000.
El modelo contiene errores que se manifestarán cuando intente escalar la solución de IA
Aplicar el modelo a otros casos de negocio, distintos a los que estaba destinado. Por ejemplo, una solución destinada a montar una carretilla de jardín no se puede aplicar al montaje de camiones, ya que podría construir una carretilla de jardín grande con motor.

Para concluir

Cuando se trata de implementar IA, comience de a poco y manténgase manejable. Asegúrese de tener un caso de negocio claro con objetivos definidos y métricas para medir el éxito. Y siempre considere crear un PoC de IA, excepto en los casos presentados al principio de este artículo. Esto lo ayudará a identificar cualquier obstáculo potencial antes de entrar por completo y realizar una gran inversión financiera en una solución que puede no estar a la altura de las expectativas.

¿Quiere implementar IA en su organización, pero no está seguro de si su idea de negocio es factible? ¡Ponerse en contacto! Nuestro equipo lo ayudará a realizar un PoC para probar su idea en la práctica.

Publicado originalmente en https://itrexgroup.com el 9 de enero de 2023.