Rejoignez l’événement qui fait confiance aux chefs d’entreprise pendant près de deux décennies. VB Transform rassemble les gens qui construisent une véritable stratégie d’IA d’entreprise. Apprendre encore plus
Les entreprises précipitent les agents de l’IA dans la production – et beaucoup d’entre elles échoueront. Mais la raison n’a rien à voir avec leurs modèles d’IA.
Le deuxième jour de VB Transform 2025, les leaders de l’industrie ont partagé des leçons durement gagnées de déploier des agents d’IA à grande échelle. Un panel modéré par Joanne Chen, partenaire général de Foundation Capital, comprenait Shawn Malhotra, CTO chez Rocket Companies, qui utilise des agents tout au long du parcours de propriété de la souscription hypothécaire au chat client; Shailesh Nalawadi, responsable du produit chez SendBird, qui construit des expériences de service client agentiques pour les entreprises de plusieurs verticales; et Thys Waanders, SVP de la transformation de l’IA chez Cognigy, dont la plate-forme automatise les expériences clients pour les grandes entreprises de contact.
Leur découverte partagée: les entreprises qui construisent d’abord les infrastructures d’évaluation et d’orchestration sont réussies, tandis que ceux qui se précipitaient vers la production avec des modèles puissants échouent à grande échelle.
>> Voir toute notre couverture Transform 2025 ici <
La réalité du ROI: au-delà de la simple coupe de coûts
Un élément clé de l’agent d’ingénierie AI pour le succès est de comprendre le retour sur investissement (ROI). Les déploiements d’agents IA précoces se sont concentrés sur la réduction des coûts. Bien que cela reste un composant clé, les chefs d’entreprise rapportent désormais des modèles de retour sur investissement plus complexes qui exigent différentes architectures techniques.
La réduction des coûts gagne
Malhotra a partagé l’exemple de coût le plus dramatique des compagnies de fusée. «Nous avions un ingénieur [who] Dans environ deux jours de travail, il a pu construire un agent simple pour gérer un problème très de niche appelé «calculs de taxe de transfert» dans la partie de souscription hypothécaire du processus. Et que deux jours d’effort nous ont permis à un million de dollars par an en frais », a-t-il déclaré.
Pour Cognigy, Waanders a noté que le coût par appel est une métrique clé. Il a dit que si les agents de l’IA sont utilisés pour automatiser des parties de ces appels, il est possible de réduire le temps de manipulation moyen par appel.
Méthodes de génération de revenus
Économiser est une chose; Faire plus de revenus est un autre. Malhotra a rapporté que son équipe avait vu des améliorations de conversion: alors que les clients obtiennent les réponses à leurs questions plus rapidement et ont une bonne expérience, ils se convertissent à des taux plus élevés.
Opportunités de revenus proactifs
Nalawadi a souligné entièrement de nouvelles capacités de revenus grâce à une sensibilisation proactive. Son équipe permet un service client proactif, en tendant la main avant même que les clients se rendent compte qu’ils ont un problème.
Un exemple de livraison de nourriture l’illustre parfaitement. “Ils savent déjà quand une commande sera en retard, et plutôt que d’attendre que le client se fâche et les appelle, ils se rendent compte qu’il y avait une opportunité de devancer”, a-t-il déclaré.
Pourquoi les agents de l’IA se brisent en production
Bien qu’il existe des opportunités de retour sur investissement solides pour les entreprises qui déploient une IA d’agence, il existe également des défis dans les déploiements de production.
Nalawadi a identifié l’échec technique de base: les entreprises construisent des agents d’IA sans infrastructure d’évaluation.
“Avant même de commencer à le construire, vous devriez avoir une infrastructure d’évaluation”, a déclaré Nalawadi. «Nous étions tous des ingénieurs logiciels. Personne ne se déploie en production sans exécuter des tests unitaires. Et je pense qu’une façon très simpliste de penser à EVAL est que c’est le test unitaire de votre système d’agent d’IA.»
Les approches traditionnelles de test de logiciels ne fonctionnent pas pour les agents de l’IA. Il a noté qu’il n’est tout simplement pas possible de prédire toutes les entrées possibles ou d’écrire des cas de test complets pour les interactions en langage naturel. L’équipe de Nalawadi a appris cela grâce à des déploiements de service client à travers les services de vente au détail, la livraison de nourriture et les services financiers. L’assurance de la qualité standard approche des cas de bord manqués qui ont émergé en production.
Test de l’IA AI: le nouveau paradigme d’assurance qualité
Compte tenu de la complexité des tests d’IA, que devraient faire les organisations? Waanders a résolu le problème de test par simulation.
“Nous avons une fonctionnalité que nous publions bientôt qui consiste à simuler des conversations potentielles”, a expliqué Waanders. “Il s’agit donc essentiellement d’agents d’IA qui testent les agents d’IA.”
Les tests ne sont pas seulement les tests de qualité de conversation, c’est une analyse comportementale à grande échelle. Peut-il aider à comprendre comment un agent réagit aux clients en colère? Comment gére-t-il plusieurs langues? Que se passe-t-il lorsque les clients utilisent l’argot?
“Le plus grand défi est que vous ne savez pas ce que vous ne savez pas”, a déclaré Waanders. “Comment cela réagit-il à tout ce que quiconque pourrait trouver? Vous ne le découvrez qu’en simulant des conversations, en le poussant vraiment dans des milliers de scénarios différents.”
L’approche teste les variations démographiques, les états émotionnels et les cas de bord que les équipes QA humaines ne peuvent pas couvrir de manière approfondie.
L’explosion de complexité à venir
Les agents AI actuels gèrent les tâches uniques indépendamment. Les chefs d’entreprise doivent se préparer à une réalité différente: des centaines d’agents par organisation apprenant les uns des autres.
Les implications des infrastructures sont massives. Lorsque les agents partagent des données et collaborent, les modes de défaillance se multiplient de façon exponentielle. Les systèmes de surveillance traditionnels ne peuvent pas suivre ces interactions.
Les entreprises doivent maintenant architecter cette complexité. La modernisation de l’infrastructure pour les systèmes multi-agents coûte beaucoup plus que la construire correctement dès le début.
“Si vous avancez rapidement dans ce qui est théoriquement possible, il pourrait y en avoir des centaines dans une organisation, et peut-être qu’ils apprennent les uns des autres”, a déclaré Chen. «Le nombre de choses qui pourraient arriver explosent. La complexité explose.»
Informations quotidiennes sur les cas d’utilisation de l’entreprise avec VB quotidiennement
Si vous souhaitez impressionner votre patron, VB Daily vous a couvert. Nous vous donnons le scoop intérieur sur ce que les entreprises font avec une IA générative, des changements réglementaires aux déploiements pratiques, afin que vous puissiez partager des informations pour un retour sur investissement maximal.
Merci de vous abonner. Découvrez plus de newsletters VB ici.
Une erreur s’est produite.
Pour aller plus loin
