Comment la création d'une preuve de concept d'IA peut vous aider à minimiser les risques de développement et d'adoption de l'IA

Publié: 2023-01-19

Notre client n'a perdu qu'un quart du budget qu'il consacrait à un projet d'intelligence artificielle (IA) car il a choisi de commencer par une preuve de concept (PoC). Le PoC leur a permis de tester leur idée et d'échouer rapidement avec des dépenses limitées. Pour éviter de perdre du temps et des efforts, demandez toujours à votre consultant en solutions d'IA une preuve de concept, surtout si votre entreprise ne fait que tester les eaux de l'IA.

Cet article explique ce qu'est un AI PoC et détaille les cinq étapes qui vous guideront tout au long de votre premier PoC, ainsi que les défis que vous pourriez rencontrer en cours de route. Il présente également des exemples AI PoC de notre portefeuille. Et vous trouverez une fin heureuse de l'exemple décrit dans le paragraphe d'ouverture.

Qu'est-ce qu'un AI PoC et quand est-il essentiel au succès de votre projet ?

Un AI PoC est un prototype ou une démonstration d'une solution d'IA proposée conçue pour tester si la solution est faisable et susceptible de réussir. L'objectif de la création d'un PoC IA est de valider le concept, d'évaluer les avantages potentiels de la solution proposée et d'identifier les défis ou limites potentiels.

Un AI PoC implique généralement de créer une version à petite échelle de la solution d'IA proposée et de la tester dans un environnement contrôlé pour voir comment elle fonctionne et si elle répond aux objectifs souhaités. Les résultats d'un AI PoC peuvent ensuite être utilisés pour éclairer davantage le développement et la mise en œuvre de la solution.

Par rapport aux PoC logiciels ordinaires, un PoC d'IA peut impliquer des considérations plus complexes, telles que la capacité de la solution d'IA à apprendre et à s'adapter au fil du temps, et les implications éthiques potentielles de la solution, telles qu'un biais d'IA. La pile technologique pour les projets AI PoC est également différente.

Algorithmes d'apprentissage automatique

Ces algorithmes permettent à un système d'IA d'apprendre à partir de données structurées et de faire des prédictions ou des décisions basées sur cet apprentissage. Il existe de nombreux types d'algorithmes d'apprentissage automatique, notamment des algorithmes d'apprentissage supervisé, des algorithmes d'apprentissage non supervisé et des algorithmes d'apprentissage par renforcement.

Les réseaux de neurones

Ces modèles informatiques s'inspirent de la structure et du fonctionnement du cerveau humain. Les réseaux de neurones peuvent traiter et analyser de grandes quantités de données non structurées. Ils peuvent être formés pour effectuer diverses tâches, telles que la reconnaissance d'images, le traitement du langage naturel, la modélisation de scénarios et la prédiction.

Robotique

Cette technologie peut être utilisée pour construire des systèmes physiques capables d'un fonctionnement et d'une prise de décision autonomes. Les solutions robotiques intègrent des capteurs, des actionneurs et d'autres composants matériels qui permettent aux ingénieurs de construire un robot capable d'interagir avec son environnement et d'effectuer des tâches.

Cloud computing

Les plates-formes de cloud computing telles que Microsoft Azure, Google Cloud et AWS fournissent la puissance de calcul, les ressources de stockage et les services préconfigurés nécessaires pour prendre en charge le développement et les tests des PoC IA. Ces plateformes peuvent également héberger et déployer des solutions d'IA une fois qu'elles ont été développées et testées.

La création d'un AI PoC implique la collecte et la préparation de données, la création et la formation de modèles d'apprentissage automatique, ainsi que le test et l'évaluation des performances du système d'IA. Le temps nécessaire pour créer un PoC d'IA peut varier considérablement en fonction de plusieurs facteurs, notamment la complexité de la solution d'IA proposée, les ressources et l'expertise disponibles pour le PoC et les objectifs spécifiques du PoC. Certains PoC IA peuvent être développés en quelques jours ou semaines seulement, tandis que d'autres peuvent prendre plusieurs mois, voire plus.

Quand n'y a-t-il absolument aucun moyen de contourner un AI PoC ?

Il est essentiel de démarrer votre projet avec un AI PoC dans les scénarios suivants.

Votre projet repose sur une idée innovante qui n'a pas encore été testée, quelque chose qui a été étudié au niveau de l'entreprise, mais qui n'a pas été tenté techniquement. Ni vous ni votre fournisseur de technologie ne savez si cela peut être mis en œuvre.
Si vous avez besoin de démontrer aux parties prenantes, aux investisseurs et à d'autres la faisabilité de votre idée dans un délai limité. Un AI PoC fera mieux le travail qu'un prototype interactif ou quelque chose de similaire.

Existe-t-il des situations où un AI PoC est une perte de temps ?

Même si un AI PoC est bénéfique dans la plupart des cas, il existe quelques exceptions. Si votre projet relève de l'une des catégories suivantes, un AI PoC peut être exagéré.

Si votre idée et votre approche sont exceptionnellement bien documentées du point de vue fonctionnel et technique. C'est rare.
Si la solution que vous souhaitez développer est standard et ressemble aux pratiques courantes dans le domaine. Nous savons déjà que cela est faisable et possible d'un point de vue technique.
Si vous souhaitez créer un logiciel que vos développeurs front-end et back-end comprennent, souvent parce qu'ils ont déjà travaillé sur quelque chose d'identique.

Quels avantages pouvez-vous tirer d'un AI PoC ?

L'utilisation d'un AI PoC apporte les avantages suivants.

Identifier les défis potentiels avant d'engager plus de ressources dans une entreprise. Un AI PoC vous permet d'"échouer vite, d'échouer mieux". Si une équipe rencontre des défis qu'elle ne peut pas surmonter, toutes les parties prenantes ont le temps de se regrouper ou peut-être de changer d'hypothèse pour atteindre les mêmes objectifs par d'autres méthodes.
Minimiser les risques commerciaux, en testant des idées innovantes par petites étapes au lieu de plonger dans un projet à long terme.
Améliorer les pratiques de collecte de données.
Faire participer les investisseurs et autres parties prenantes.
Gain de temps et de ressources. Un AI PoC peut révéler des problèmes liés à l'entreprise ou aux processus et vous donner le temps de tout réparer avant de démarrer un projet à grande échelle.
Développer l'expertise et créer des propriétaires de connaissances qui encadreront un autre membre de l'équipe sur des projets similaires à l'avenir.
Tester la pile technologique à plus petite échelle pour comprendre son adéquation à l'analyse de rentabilisation sélectionnée.

Exemples de notre portefeuille où un AI PoC a sauvé la mise

Voici quelques exemples AI PoC du portefeuille ITRex qui vous aideront à apprécier encore plus l'approche PoC.

Réaliser que le ML seul n'est pas la solution

Une grande entreprise de logistique de fret effectuait de 10 000 à 15 000 expéditions par jour, et chaque expédition était accompagnée de connaissements et de factures pour couvrir les opérations. Les employés étaient épuisés par la manipulation manuelle de toute la documentation. L'entreprise souhaitait créer une solution basée sur le ML qui utiliserait la reconnaissance optique de caractères (OCR) pour traiter les documents numérisés et identifier différents champs.

Le client pensait que l'apprentissage automatique était la meilleure solution, nous avons donc procédé à un AI PoC pour tester cette hypothèse. Bientôt, nous avons réalisé que les documents étaient formatés différemment et que les étiquettes utilisées pour les champs variaient considérablement - par exemple, le champ Load ID avait à lui seul 8 alias. En conséquence, le modèle ML n'a cessé de croître. Il est devenu lent et inefficace. Notre équipe a décidé d'accompagner ce modèle d'un algorithme dynamique (par exemple un dictionnaire où différentes étiquettes de champs étaient codées en dur). Cette modification a considérablement amélioré les performances de la solution et fait gagner du temps et de l'argent au client.

Si le client avait décidé de sauter le PoC de l'IA, il aurait perdu sept mois juste pour se rendre compte que son idée initiale d'un modèle purement basé sur le ML n'était pas la solution optimale. Avec un AI PoC, ils sont arrivés à cette conclusion en seulement deux mois. Après la réussite de cette AI PoC, nous avons construit un MVP capable de gérer quatre types de documents, prenant en charge environ 25 % de la charge de traitement manuel.

Pris au dépourvu par les restrictions de Meta sur l'utilisation des données

Un client de l'industrie du divertissement souhaitait créer une plate-forme analytique basée sur l'IA pour les artistes musicaux indépendants. La solution était censée explorer les réseaux sociaux, y compris Facebook et Instagram, pour collecter des données. Il traiterait toutes ces informations pour évaluer les sentiments des gens envers les artistes. Les musiciens pourraient s'inscrire sur la plateforme et recevoir des commentaires sur le comportement des médias sociaux qui serait le plus bénéfique pour leur succès.

Nous avons procédé à un AI PoC pour tester l'idée. Après seulement deux semaines, nous avons réalisé qu'il était tout simplement impossible de collecter des données sur Facebook et Instagram pour les utiliser aux fins décrites ci-dessus. En règle générale, certaines des données étaient récupérables via l'API Graph. Pour cette raison, ainsi qu'un compte professionnel vérifié dans Meta, nous avons supposé que nous aurions accès aux informations requises. Cependant, le client n'a pas pu nous fournir un compte professionnel vérifié et les données de l'API Graph n'étaient pas suffisantes pour que cette solution fonctionne.

Si le client avait décidé de sauter le PoC, il aurait gaspillé environ 20 000 $ sur le projet de découverte. Cela aurait inclus une description détaillée de la solution et l'estimation des coûts de développement. Mais comme ils ont choisi de commencer avec un AI PoC, ils n'ont dépensé qu'environ 5 000 $ avant de comprendre que la solution proposée était impossible à exécuter en raison des restrictions d'accès aux données imposées par Meta.

Un guide en cinq étapes pour votre premier PoC IA

Voici cinq étapes que vous pouvez suivre pour réussir votre AI PoC. Nous énumérons également les défis associés à chaque étape.

Étape 1 : Identifiez les problèmes que vous souhaitez résoudre avec l'IA

Il est essentiel de spécifier exactement ce que vous souhaitez accomplir en mettant en œuvre un AI PoC. Le cas d'utilisation sélectionné doit être de grande valeur et représenter quelque chose que vous pouvez résoudre au mieux avec cette technologie. Si vous avez des doutes, un bon point de départ consiste à examiner ce pour quoi d'autres dans votre domaine utilisent des solutions d'IA. Une autre façon de procéder consiste à enquêter sur les problèmes auxquels votre entreprise est confrontée et à les comparer au potentiel de l'IA.

Après avoir accumulé une liste d'opportunités, vous pouvez poser les questions suivantes pour déterminer celles qui conviennent le mieux à votre projet pour le moment.

Le problème que vous souhaitez résoudre est-il suffisamment spécifique ? Pouvez-vous évaluer les résultats pour déterminer le succès ?
Avez-vous déjà tenté de résoudre ce problème avec d'autres technologies ?
Avez-vous le talent et le financement pour accompagner ce projet jusqu'à son terme ? S'il n'y a pas de talent interne approprié, pouvez-vous embaucher une équipe externe dédiée ?
Quel sera l'impact du problème sur votre entreprise ? Cet effet est-il suffisamment important pour justifier vos efforts ?
Saurez-vous vendre ce projet à vos cadres ? Votre organisation est-elle prête à entreprendre un tel projet ?
Votre entreprise a-t-elle déjà une stratégie de données ? Si oui, comment s'alignera-t-il sur ce projet ?
Quels sont les risques potentiels et les limites de l'utilisation de l'IA pour résoudre ce problème ?

Défi associé

Sélection d'un cas d'utilisation qui n'ajoute pas beaucoup de valeur ou n'utilise pas tout le potentiel de l'IA. L'intelligence artificielle est une technologie coûteuse, et choisir un cas insignifiant signifiera que vous dépenserez plus que vous ne recevrez. Consultez notre article sur le coût de la mise en œuvre de l'IA pour mieux comprendre les dépenses.

Étape 2 : préparer les données

Maintenant que votre problème est clairement défini, il est temps d'agréger et de préparer les données d'entraînement pour les algorithmes d'IA. Vous pouvez le faire en :

vérifier quelles données sont disponibles pour une utilisation au sein de votre entreprise
générer des données semi-synthétiques à l'aide d'applications spécifiques prêtes à l'emploi ou de votre propre solution
acheter des ensembles de données auprès de fournisseurs fiables
en utilisant des données open source
embaucher des gens pour récupérer les données qui correspondent à votre objectif.

Vous n'êtes pas obligé de vous limiter à une seule source. Vous pouvez utiliser une combinaison de plusieurs options énumérées ci-dessus.

Faites appel à des scientifiques des données pour effectuer le filtrage initial des données. Ils effectueront les tâches suivantes.

Structurer les données
Nettoyez-le en éliminant le bruit
Ajoutez tous les points de données manquants, en cas de données tabulaires
Effectuer l'ingénierie des fonctionnalités (c'est-à-dire ajouter et supprimer des champs de données)
Appliquer des manipulations, telles que combiner ou filtrer des données

Les scientifiques des données peuvent vous conseiller sur la manière de collecter des données supplémentaires ou sur la manière de réduire la portée du PoC de l'IA afin que vous puissiez obtenir les résultats souhaités avec les ensembles de données existants.

Lorsque les données sont prêtes à être utilisées, divisez-les en trois ensembles :

Un ensemble de formation, que le modèle utilisera pour apprendre.
Un ensemble de validation pour valider le modèle et itérer sur la formation.
Un ensemble de test qui évaluera les performances de l'algorithme.

Défis associés

Les données d'entraînement ne sont pas représentatives de l'ensemble de la population. Dans ce cas, les algorithmes peuvent bien fonctionner dans les cas courants, mais donneront de mauvais résultats dans de rares cas. Par exemple, un modèle ML de soins de santé qui analyse les rayons X peut exceller dans la détection de troubles courants, tels que l'épanchement, mais aura du mal à détecter des troubles rares, tels qu'une hernie.
Déséquilibre de classe, lorsque le nombre de cas représentant une classe est significativement plus grand qu'un autre, avec un rapport de 99,9% à 0,1%.
Étiquetage incorrect, comme le mélange des classes (par exemple, étiqueter un vélo comme une voiture).
Bruit élevé dans l'ensemble de données d'entraînement.
Difficulté à parvenir à une séparation de classe pure. Cela se produit lorsque certaines données de l'ensemble d'apprentissage ne peuvent pas être correctement classées dans une classe particulière.

Étape 3 : Concevoir et créer ou acheter la solution

Vous vous demandez probablement si vous devez construire le modèle vous-même ou si vous pouvez vous procurer une solution existante. C'est à ce moment-là qu'il est logique de créer un modèle d'IA à partir de zéro.

Votre solution est innovante et non conforme à une norme existante.
Les solutions toutes faites sont coûteuses à personnaliser.
Le modèle standard le plus proche est exagéré, et il fait bien plus que ce dont vous avez réellement besoin.

Envisagez de vous procurer un modèle prêt à l'emploi si les coûts d'achat et de personnalisation du modèle sont inférieurs à ceux de sa construction à partir de zéro.

Si vous décidez de créer l'algorithme d'IA à partir de zéro, vous aurez plus de contrôle sur sa précision. La tâche prendra plus de temps à accomplir, mais elle sera adaptée à votre problème d'affaires et à vos processus internes. Vous n'aurez pas besoin d'apporter des modifications à votre système pour l'adapter à un logiciel externe.

En ce qui concerne l'infrastructure de formation et de mise en œuvre des algorithmes, vous pouvez compter sur le cloud au lieu d'utiliser des ressources locales. Il y a quatre paramètres que vous pouvez prendre en compte pour décider ce qui vous convient le mieux.

Sécurité. Si vos données sont très sensibles en matière de sécurité, vous feriez mieux de tout conserver sur site.
Charge de travail. Si la charge de traitement est plutôt lourde, optez pour le cloud.
Frais. Évaluez ce qui vous coûtera le plus cher : acquérir les ressources localement ou payer l'utilisation du cloud au fil du temps.
Accessibilité. Si vous n'utilisez la solution que localement, vous pouvez compter sur vos serveurs internes. S'il doit être accessible à partir de différents emplacements géographiques, il vaut la peine d'envisager le cloud.

Chaque approche a ses avantages et ses inconvénients. Si vous opérez dans le secteur de la santé, nous les avons clairement expliqués dans l'article sur le cloud computing dans les soins de santé sur notre blog. Sinon, n'hésitez pas à contacter nos experts en IA pour choisir la meilleure pile technologique pour la formation aux algorithmes.

Défis associés

Manque de formation adéquate. Cela entraînera des problèmes, tels qu'une faible généralisabilité du modèle, ce qui signifie que le modèle ne fera pas de prédictions précises sur des données qu'il n'a pas vues lors de la formation. Pour en revenir à l'analyse d'images par rayons X dans le secteur médical, un algorithme pourrait analyser avec succès des images de haute qualité capturées par des scans à la pointe de la technologie, mais s'en tirer encore mal lorsqu'il est appliqué à des scans générés par des machines plus anciennes.
Intégration avec les systèmes existants, dont certains peuvent être obsolètes ou alimentés par des technologies propriétaires.
Ne pas trouver une architecture de modèle appropriée (par exemple, être incapable de choisir le bon modèle ML pour le problème à résoudre).
La capacité de l'architecture sélectionnée ne peut pas correspondre aux exigences du modèle.
Les données d'entrée sont volatiles, ce qui signifie que le modèle doit être fréquemment recyclé.
Utiliser plus de ressources que ce dont votre modèle a besoin pour effectuer ses tâches. Il n'est pas nécessaire d'investir dans un serveur puissant pour exécuter un modèle simple.

Étape 4 : Évaluer le potentiel de l'IA PoC à générer de la valeur

Cette étape consiste à évaluer si le AI PoC peut répondre aux attentes. Il existe plusieurs façons d'effectuer l'évaluation.

Revenez à vos indicateurs de performance clés (KPI) et testez la solution par rapport à eux. Ces facteurs peuvent inclure la précision, la satisfaction du client, la rapidité, la flexibilité, l'équité et la sécurité.
Collectez des données sur le fonctionnement de votre système avant le déploiement de l'AI PoC. Cela peut inclure le temps passé sur une tâche manuelle particulière et le nombre d'erreurs. Ensuite, vous devez utiliser les informations pour évaluer l'impact du PoC.
Comparez les performances de la solution à d'autres produits considérés comme la référence pour ce type de problème ou pour l'industrie en général. Par exemple, une référence pour les problèmes liés à la classification des images serait un modèle qui fournit des résultats précis sur des ensembles de données populaires, tels que ImageNet.
Recueillez les commentaires des utilisateurs par le biais de groupes de discussion ou d'enquêtes en ligne pour évaluer les niveaux de satisfaction et déterminer ce qui manque.
Effectuez une analyse coûts-avantages pour comprendre l'impact financier de cette solution sur l'organisation.

Défis associés

Faire une erreur dans votre évaluation. Il peut s'agir d'une simple erreur mathématique lors des calculs, ou d'une erreur liée à l'estimation du potentiel commercial.

Étape 5 : itérer sur le PoC de l'IA pour de meilleurs résultats, ou le mettre à l'échelle

Si les résultats que vous avez reçus à l'étape précédente ne sont pas à la hauteur, vous pouvez envisager de modifier la solution et de répéter l'ensemble du processus. Vous pouvez apporter des modifications à l'algorithme ML et mesurer les performances à chaque ajustement. Vous pouvez également expérimenter différents composants matériels ou modèles de service cloud alternatifs.

Si vous êtes satisfait des performances de l'IA PoC, vous pouvez travailler sur sa mise à l'échelle dans différentes directions. Voici quelques exemples.

Appliquer le PoC à d'autres analyses de rentabilisation. Recherchez d'autres applications de cette nouvelle solution au sein de votre entreprise. Par exemple, si vous testez l'IA comme une application de maintenance prédictive, vous pouvez essayer de l'appliquer à d'autres scénarios connexes.
Faites évoluer l'infrastructure. Passez en revue la technologie utilisée pour exécuter ce logiciel. Pouvez-vous consacrer plus de puissance de traitement ou plus de capacité de stockage de données ? De telles modifications vous permettront d'utiliser plus de données, de réduire la latence et peut-être de fournir des résultats en temps réel. Cela minimisera également la possibilité de goulots d'étranglement à l'avenir.
Optimiser la solution PoC. Même si vous avez obtenu des résultats raisonnables à l'étape précédente, il peut être utile de rechercher des moyens d'améliorer la précision. Vous pouvez continuer à former vos algorithmes en utilisant de nouvelles données ou des données étiquetées avec plus de précision. Ou vous pouvez même expérimenter la mise en œuvre d'ajustements et de modifications pour obtenir de meilleurs résultats.

Si vous décidez d'adopter l'IA à l'échelle de l'entreprise après la phase PoC, vous pouvez trouver des conseils utiles dans notre guide sur la façon de mettre en œuvre l'IA dans votre organisation.

Défis associés

L'architecture n'a pas été soigneusement étudiée. La solution peut bien fonctionner avec 10 000 utilisateurs mais se bloquer lorsque l'audience atteint 100 000.
Le modèle contient des bogues qui se manifesteront lorsque vous tenterez de faire évoluer la solution d'IA
Appliquer le modèle à d'autres analyses de rentabilisation, autres que celles auxquelles il était destiné. Par exemple, une solution destinée à assembler une brouette de jardin ne peut pas être appliquée à l'assemblage de camions, car elle pourrait construire une grande brouette de jardin avec un moteur.

De conclure

Lorsqu'il s'agit de mettre en œuvre l'IA, commencez petit et restez gérable. Assurez-vous d'avoir une analyse de rentabilisation claire avec des objectifs et des mesures définis pour mesurer le succès. Et pensez toujours à créer un AI PoC, sauf pour les cas présentés au début de cet article. Cela vous aidera à identifier les obstacles potentiels avant de vous lancer pleinement et de faire un investissement financier important dans une solution qui pourrait ne pas être à la hauteur des attentes.

Vous souhaitez mettre en œuvre l'IA dans votre organisation, mais vous n'êtes pas sûr que votre idée commerciale soit réalisable ? Entrer en contact! Notre équipe vous aidera à réaliser un PoC pour tester votre idée en pratique.

Publié à l'origine sur https://itrexgroup.com le 9 janvier 2023.