Comment l’IA peut atténuer ces problèmes de gestion des données

Les données sont le nouveau pétrole, mais les données brutes ne sont pas bonnes en elles-mêmes. Comme le pétrole, les actifs de données doivent être rassemblés entièrement et avec précision et envoyés à travers différents processus de raffinage pour créer de la valeur pour les utilisateurs finaux. Il s’agit du cycle de vie général des données – un domaine où l’intelligence artificielle (IA) va jouer un rôle majeur pour les entreprises.

Au départ, la gestion du cycle de vie des données était une tâche suffisamment petite pour être effectuée manuellement par une équipe d’experts. Le volume d’informations n’était pas si important, les sources étaient peu nombreuses et les applications possibles étaient également limitées. Mais avec la transition vers le cloud et l’introduction de nouvelles sources, le volume et la diversité des données ont augmenté.

“La gestion des données n’est plus entièrement axée sur les données relationnelles”, a déclaré Adam Ronthal, vice-président de la recherche au sein du groupe de données et d’analyse ITL de Gartner, à VentureBeat. « Les magasins de documents, de graphiques, de séries chronologiques, de colonnes larges, de valeurs-clés, de registres et autres magasins de données ciblés fournissent tous des optimisations spécifiques pour différents types de données et différents cas d’utilisation. Parfois, ceux-ci sont combinés dans une seule plate-forme de gestion de données – une base de données multimodèle ; parfois, ils restent les solutions ponctuelles les mieux adaptées et ciblées. »

Cette augmentation du volume et de la diversité des informations a rendu inefficaces les méthodes traditionnelles de gestion des données. Aujourd’hui, une entreprise qui sélectionne, gère et optimise (nettoyage et amélioration) chaque composant de l’ensemble de données individuellement finira par perdre beaucoup de temps – le nettoyage et la transformation seuls peuvent prendre des jours ou des semaines – et du capital.

La situation est comparable à celle où Yahoo a utilisé des experts humains pour évaluer et cataloguer manuellement un déluge de pages Web. L’entreprise a consacré de nombreuses ressources, mais n’a pu évaluer qu’une petite partie d’Internet et a eu du mal à maintenir les évaluations à jour.

Intégrer l’IA dans la gestion des données

Tout comme Google, avec ses algorithmes automatisés, a pris le contrôle de Yahoo sur Internet, évaluant les pages Web plus rapidement et à moindre coût, l’IA est aujourd’hui sur le point de révolutionner le cycle de vie des données.

Selon Ronthal, les applications de l’IA dans la gestion des données reposent sur l’analyse et l’activation des métadonnées. Cela permet au modèle de détecter les écarts d’utilisation des données par rapport à la conception du système et (idéalement automatiquement) de les corriger. Il s’agit de la gestion des données augmentée : utiliser l’IA/ML pour automatiser et optimiser la gestion des données, permettant aux organisations de passer moins de temps à gérer et à optimiser l’infrastructure et plus de temps à créer de la valeur commerciale essentielle.

De nombreuses organisations ont déjà commencé à utiliser des techniques basées sur l’IA et le ML pour toucher divers composants de la gestion des données, apportant des améliorations en termes de rapidité et de rentabilité.

Par exemple, en janvier 2023, Google et Aible, une entreprise apportant une approche axée sur l’IA au parcours des données, ont travaillé avec une entreprise du Fortune 500 et lui ont permis d’analyser plus de 75 ensembles de données avec plus de 100 millions de lignes de données sur 150 millions de combinaisons de variables. . Le coût total de calcul : 80 $, moins d’un millième du coût des méthodes traditionnelles.

Aible a également publié 25 études de cas avec Intel soulignant comment les entreprises de toutes les zones géographiques et verticales ont bénéficié de l’IA en moins de 30 jours et ont généré de la valeur dans toutes les fonctions.

Dans l’ensemble, note Ronthal, l’augmentation de l’IA peut avoir un impact sur plusieurs disciplines de la gestion des données, notamment :

• Gestion des métadonnées: Ici, l’IA et le ML peuvent être utilisés pour explorer et définir les métadonnées des données, en évaluant les métadonnées plus rapidement et plus précisément, avec une redondance réduite. De même, les fonctions de gestion de données augmentée peuvent cataloguer automatiquement les éléments de données lors de l’extraction, de l’accès et du traitement des données.
• Intégration de données: L’IA peut être utilisée pour automatiser le processus de développement de l’intégration, en recommandant ou en déployant des flux d’intégration répétitifs, tels que des mappages source-cible.
• Qualité des données: L’IA et le ML peuvent être utilisés pour étendre le profilage, le nettoyage, la liaison, l’identification et le rapprochement sémantique des données de base dans différentes sources de données.
• SGBD: En plus d’améliorer les performances et l’optimisation des requêtes basée sur les coûts, l’IA et le ML peuvent automatiser de nombreuses opérations de gestion manuelles actuelles, notamment la gestion des configurations, la mise à l’échelle élastique, le stockage, les index et les partitions, et le réglage de la base de données.
• FinOps: L’IA et le ML peuvent être appliqués aux problèmes d’optimisation du budget et des coûts et faire des recommandations sur l’utilisation des ressources, les modèles de tarification et les effets de second et troisième ordre des changements dans des environnements hautement interconnectés.

Priya Krishnan, responsable de la gestion des produits pour les données et l’IA chez IBM, a mis en évidence des applications similaires.

“L’IA est utilisée pour ingérer, identifier et classer des ensembles de données provenant de diverses sources”, a-t-elle déclaré. « Il exploite en permanence le contenu pour faire apparaître des modèles et des tendances invisibles, offrant aux organisations une plus grande visibilité et des informations exploitables pour faciliter la prise de décision. Les entreprises utilisent l’IA pour automatiser des tâches autrement manuelles telles que la capture de données, la déduplication, la détection d’anomalies et la validation des données. Ce sont également des modèles de formation pour appliquer automatiquement les politiques réglementaires et les normes éthiques, garantissant que ces principes sont intégrés dès le début.

Quelques barrages routiers

Bien que l’IA puisse être une ressource pratique pour gérer le cycle de vie des données, toutes les organisations ne disposent pas d’une équipe dédiée d’experts scientifiques des données capables de créer des modèles responsables, sécurisés et non biaisés, ainsi que conformes aux principes réglementaires et éthiques.

C’est là que les entreprises devraient essayer d’intégrer des outils de deuxième génération qui pourraient faciliter la mise en œuvre de l’IA pour des tâches telles que la préparation des données, la prédiction et la prévision.

“Vous n’avez plus besoin d’être un ingénieur de données ou un scientifique des données pour effectuer des transformations de données complexes – vous pouvez les générer avec un grand modèle de langage (LLM)”, Jon Reilly, COO et cofondateur de la société d’IA sans code Akkio, qui a récemment fait ses débuts un outil de préparation de données basé sur GPT-3, a déclaré VentureBeat.

En ce qui concerne l’établissement de la confiance, Ronthal suggère de garder les humains au courant avec un paradigme « ramper, marcher et courir ».

“Commence par [AI] faire des recommandations qui sont examinées par des humains. Si ceux-ci sont corrects et ont l’impact souhaité, nous finirons par instaurer la confiance et réduire le niveau de supervision requis. En fin de compte, nous atteindrons un point où l’IA a eu raison tellement de fois, que nous pourrons lui donner l’autonomie nécessaire pour automatiser les optimisations avec un minimum de supervision. Les étapes de maturité peuvent être globalement décrites comme suit : observer, rapporter, recommander, optimiser et prévoir. Les trois derniers sont ceux où l’augmentation est appliquée », a-t-il déclaré.