Comment les entreprises peuvent mesurer le succès des applications d’IA

Intelligence artificielle – IA générative, en particulier – est le sujet de conversation de la ville. Des applications comme ChatGPT et LaMDA ont envoyé des ondes de choc dans tous les secteurs, avec le potentiel de révolutionner notre façon de travailler et d’interagir avec la technologie.

Une caractéristique fondamentale qui distingue l’IA des logiciels traditionnels est sa nature non déterministe. Même avec la même entrée, différentes séries de calculs produisent des résultats différents. Bien que cette caractéristique contribue de manière significative au potentiel technologique passionnant de l’IA, elle présente également des défis, en particulier pour mesurer l’efficacité des applications basées sur l’IA.

Vous trouverez ci-dessous certaines des subtilités de ces défis, ainsi que certaines façons dont la gestion stratégique de la R&D peut aborder les solutions.

La nature des applications de l’IA

Contrairement aux systèmes logiciels traditionnels où la répétition et la prévisibilité sont à la fois attendues et cruciales pour la fonctionnalité, la nature non déterministe des applications d’IA signifie qu’elles ne produisent pas de résultats cohérents et prévisibles à partir des mêmes entrées. Ils ne devraient pas non plus – ChatGPT ne ferait pas un tel éclaboussement s’il crachait les mêmes réponses scriptées encore et encore au lieu de quelque chose de nouveau à chaque fois.

Cette imprévisibilité découle des algorithmes employés dans apprentissage automatique et l’apprentissage en profondeur, qui s’appuient sur des modèles statistiques et des réseaux de neurones complexes. Ces systèmes d’IA sont conçus pour apprendre en permanence à partir des données et prendre des décisions éclairées, conduisant à des résultats variables en fonction du contexte, des entrées de formation et des configurations de modèle.

Le défi de mesurer le succès

Avec leurs résultats probabilistes, leurs algorithmes programmés pour l’incertitude et leur recours à des modèles statistiques, les applications d’IA rendent difficile la définition d’une mesure précise du succès basée sur des attentes prédéterminées. En d’autres termes, l’IA peut, en substance, penser, apprendre et créer de manière similaire à l’esprit humain… mais comment savoir si ce qu’elle pense est juste ?

Une autre complication critique est l’influence de la qualité et de la diversité des données. Les modèles d’IA dépendent fortement de la qualité, de la pertinence et de la diversité des données sur lesquelles ils sont formés – les informations dont ils «apprennent». Pour que ces applications réussissent, elles doivent être formées sur des données représentatives qui englobent un large éventail de scénarios, y compris des cas extrêmes. L’évaluation de l’adéquation et de la représentation précise des données de formation devient cruciale pour déterminer le succès global d’une application d’IA. Cependant, étant donné la nouveauté relative de l’IA et les normes encore à déterminer pour la qualité et la diversité des données qu’elle utilise, la qualité des résultats varie considérablement d’une application à l’autre.

Parfois, cependant, c’est l’influence de le humain l’esprit – plus précisément, l’interprétation contextuelle et les préjugés humains – qui compliquent la mesure du succès en intelligence artificielle. Les outils d’IA nécessitent souvent cette évaluation humaine car ces applications doivent s’adapter à différentes situations, préjugés des utilisateurs et autres facteurs subjectifs.

Par conséquent, la mesure du succès dans ce contexte devient une tâche complexe car elle implique de capturer la satisfaction des utilisateurs, des évaluations subjectives et des résultats spécifiques aux utilisateurs, qui peuvent ne pas être facilement quantifiables.

Surmonter les défis

Comprendre le contexte de ces complications est la première étape pour élaborer les stratégies nécessaires pour améliorer l’évaluation du succès et améliorer le fonctionnement des outils d’IA. Voici trois stratégies qui peuvent vous aider :

1. Définir des métriques de réussite probabilistes

Compte tenu de l’incertitude inhérente aux résultats des applications d’IA, les personnes chargées d’évaluer leur succès doivent proposer des mesures entièrement nouvelles conçues spécifiquement pour capturer les résultats probabilistes. Les modèles de réussite qui auraient pu avoir un sens pour les systèmes logiciels traditionnels sont tout simplement incompatibles avec les configurations d’outils d’IA.

Au lieu de se concentrer uniquement sur des mesures de performance déterministes telles que l’exactitude ou la précision, l’incorporation de mesures probabilistes telles que des intervalles de confiance ou des distributions de probabilités – des mesures statistiques qui évaluent la probabilité de différents résultats dans des paramètres spécifiques – peut fournir une image plus complète du succès.

2. Validation et évaluation plus robustes

L’établissement de cadres de validation et d’évaluation rigoureux est essentiel pour les applications d’IA. Cela comprend des tests complets, une analyse comparative par rapport à des ensembles de données d’échantillons pertinents et la réalisation d’analyses de sensibilité pour évaluer les performances du système dans des conditions variables. La mise à jour et le recyclage réguliers des modèles pour s’adapter à l’évolution des modèles de données permettent de maintenir l’exactitude et la fiabilité.

3. Évaluation centrée sur l’utilisateur

Le succès de l’IA n’existe pas uniquement dans les limites de l’algorithme. L’efficacité des extrants du point de vue de ceux qui les reçoivent est tout aussi importante.

En tant que tel, il est crucial d’intégrer les commentaires des utilisateurs et les évaluations subjectives lors de la mesure du succès des applications d’IA, en particulier pour les outils destinés aux consommateurs. La collecte d’informations par le biais d’enquêtes, d’études auprès des utilisateurs et d’évaluations qualitatives peut fournir des informations précieuses sur la satisfaction, la confiance et l’utilité perçue des utilisateurs. Équilibrer les mesures de performance objectives avec des évaluations de sortie centrées sur l’utilisateur donnera une vision plus globale du succès.

Évaluer le succès

Mesurer le succès d’un outil d’IA donné nécessite une approche nuancée qui reconnaît la nature probabiliste de ses résultats. Les personnes impliquées dans la création et la mise au point de l’IA à quelque titre que ce soit, en particulier du point de vue de la R&D, doivent reconnaître les défis posés par cette incertitude inhérente.

Ce n’est qu’en définissant des métriques probabilistes appropriées, en effectuant une validation rigoureuse et en incorporant des évaluations centrées sur l’utilisateur que l’industrie peut naviguer efficacement dans les eaux palpitantes et inexplorées de l’intelligence artificielle.

Dima Dobrinsky est VP R&D chez Panoply par SQream.