“BERT prend des mois de calcul et coûte très cher, environ un million de dollars pour générer ce modèle et répéter ces processus”, déclare Bahrami. “Donc, si tout le monde veut faire la même chose, alors c’est cher – ce n’est pas économe en énergie, ce n’est pas bon pour le monde.”
Bien que le domaine soit prometteur, les chercheurs recherchent toujours des moyens de rendre les techniques d’autoML plus efficaces en termes de calcul. Par exemple, des méthodes telles que la recherche d’architecture neuronale construisent et testent actuellement de nombreux modèles différents pour trouver le meilleur ajustement, et l’énergie nécessaire pour effectuer toutes ces itérations peut être importante.
Les techniques AutoML peuvent également être appliquées aux algorithmes d’apprentissage automatique qui n’impliquent pas de réseaux de neurones, comme la création de forêts de décision aléatoires ou de machines à vecteurs de support pour classer les données. La recherche dans ces domaines est plus avancée, avec de nombreuses bibliothèques de codage déjà disponibles pour les personnes qui souhaitent intégrer les techniques d’autoML dans leurs projets.
La prochaine étape consiste à utiliser autoML pour quantifier l’incertitude et répondre aux questions de fiabilité et d’équité dans les algorithmes, explique Hutter, organisateur de la conférence. Dans cette vision, les normes de fiabilité et d’équité s’apparenteraient à toute autre contrainte d’apprentissage automatique, comme la précision. Et autoML pourrait capturer et corriger automatiquement les biais trouvés dans ces algorithmes avant leur publication.
La recherche continue
Mais pour quelque chose comme l’apprentissage en profondeur, autoML a encore un long chemin à parcourir. Les données utilisées pour former des modèles d’apprentissage en profondeur, comme des images, des documents et des paroles enregistrées, sont généralement denses et compliquées. Il faut une immense puissance de calcul à gérer. Le coût et le temps de formation de ces modèles peuvent être prohibitifs pour quiconque autre que les chercheurs travaillant dans des entreprises privées aux poches profondes.
L’un des concours de la conférence demandait aux participants de développer des algorithmes alternatifs économes en énergie pour la recherche d’architecture neuronale. C’est un défi considérable car cette technique a des exigences de calcul infâmes. Il parcourt automatiquement d’innombrables modèles d’apprentissage en profondeur pour aider les chercheurs à choisir celui qui convient à leur application, mais le processus peut prendre des mois et coûter plus d’un million de dollars.
L’objectif de ces algorithmes alternatifs, appelés proxies de recherche d’architecture neuronale à coût zéro, est de rendre la recherche d’architecture neuronale plus accessible et plus respectueuse de l’environnement en réduisant considérablement son appétit pour le calcul. Le résultat ne prend que quelques secondes pour s’exécuter, au lieu de plusieurs mois. Ces techniques en sont encore aux premiers stades de développement et sont souvent peu fiables, mais les chercheurs en apprentissage automatique prédisent qu’elles ont le potentiel de rendre le processus de sélection de modèles beaucoup plus efficace.
