Imaginez que vous ayez un puzzle de 10 000 pièces mais pas d’image sur une boîte. En fait, vous n’avez même pas la boîte, elle a été détruite il y a près de 2 000 ans. Ces pièces de puzzle sont des fragments de fresques de l’ancienne ville romaine de Pompéi qui ont été rasées ou enterrées par l’éruption du Vésuve en 79 après JC. Certaines pièces manquent, d’autres sont brisées. Et au lieu d’être des formes découpées avec précision conçues pour s’emboîter parfaitement, ce sont des fragments irréguliers endommagés. Comment résoudriez-vous cette énigme ?
Les scientifiques de l’Institut italien de technologie (IIT) ont un plan : envoyer le robot. Leur projet, baptisé RePAIR (Reconstructing the Past : Artificial Intelligence and Robotics meet Cultural Heritage), associe la robotique, l’IA et l’archéologie dans le but de reconstruire des caractéristiques architecturales de Pompéi qui resteraient autrement incomplètes, car elles sont soit trop complexes, soit nécessiteraient des quantités impossibles de travail humain et de temps.
Au cours des prochains mois, les chercheurs de l’IIT et leurs collaborateurs dans une poignée d’universités internationales construiront, entraîneront, testeront et déploieront un robot pour reconstituer des fresques murales en ruine dans deux bâtiments. Dans le premier bâtiment, ils savent à quoi devraient ressembler les fresques car elles étaient intactes jusqu’à récemment. Les enquêteurs n’ont aucune idée de ce que représentent les fresques du deuxième bâtiment. Ses fragments sont restés dans une pièce de stockage pendant des décennies en attendant que quelqu’un – ou quelque chose – les reconstitue.
RePAIR est expérimental et pourrait échouer, admet Arianna Traviglia, directrice du Centre IIT pour le patrimoine culturel et la technologie basé à Venise et chercheuse principale du projet. Il est financé par une subvention de 3,5 millions d’euros d’un fonds de la Commission européenne qui soutient des projets risqués visant à « des technologies d’avenir radicalement nouvelles ». Si le projet réussit, la technologie peut être utilisée pour reconstruire une variété d’artefacts culturels fragmentés dont la restauration est restée « hors de portée humaine », explique le coordinateur du projet Marcello Pelillo, professeur d’informatique et d’intelligence artificielle à l’Université de Venise.
« Espérons que nous réussirons, car cela n’a jamais été essayé auparavant », s’amuse Traviglia. “C’est vraiment de la folie au plus haut niveau.”
LES CERVEAUX
Le robot encore sans nom de RePAIR doit avoir une combinaison de cerveau, de force et d’un toucher sensible. Le cerveau proviendra d’un mélange de vision par ordinateur de haute technologie pour numériser les pièces du puzzle de la fresque, d’algorithmes d’apprentissage automatique pour résoudre les énigmes et d’expertise humaine pour guider l’IA.
“Nous pensons que l’utilisation d’un système basé sur l’IA ne suffira pas”, déclare Pelillo, dont le groupe développe l’IA de résolution de casse-tête en collaboration avec une équipe de l’Université Ben Gourion du Néguev. C’est pourquoi ils recevront des conseils d’archéologues et d’historiens de l’art sur les différents styles de fresques trouvés à Pompéi.
À Pompéi, les chercheurs sont en train de numériser manuellement chaque fragment de fresque dans les deux sites de test pour créer une base de données numérique pour le robot RePAIR. Une fois que l’ensemble du système sera pleinement opérationnel, « nous aurons le robot qui effectuera le processus de numérisation lui-même », explique Pelillo.
Lorsque les robots peuvent gérer la numérisation de routine, les humains sont libres de gérer des tâches plus complexes. Les étudiants diplômés ne peuvent pas scanner 24h/24 et 7j/7 sans nourriture, eau ou sommeil, mais un robot le peut. “L’idée est de travailler à automatiser autant que possible cette activité assez longue et aussi ennuyeuse de numérisation du patrimoine culturel”, explique Traviglia.
Le robot humanoïde est composé d’un torse et de bras en cours de développement par Nikolaos Tsagarakis et ses collègues du laboratoire Humanoid & Human Centered Mechatronics de l’IIT de Gênes. Avec des bras de 80 à 100 centimètres de long et un poids de 25 à 30 kilogrammes, le robot aura à peu près la même taille que le haut du corps d’une personne moyenne. Sa conception est basée en partie sur des robots “humanoïdes conformes” antérieurs développés par le laboratoire de Tsargarakis pour être utilisés sur des sites sinistrés, notamment WALK-MAN, qui a exploré en 2016 un bâtiment endommagé dans le village italien d’Amatrice, où un tremblement de terre avait tué près de 300 personnes.
Les mains s’attacheront aux bras par des emboîtures au niveau du poignet. Ils sont conçus dans le laboratoire d’Antonio Bicchi, chercheur principal à l’IIT de Gênes et titulaire de la chaire de robotique de l’Université de Pise, qui a développé des mains robotiques à utiliser dans l’industrie et comme prothèses. À Pompéi, les mains robotiques molles devront saisir, déplacer et orienter des fragments de tailles et de poids variables avec un soin extrême et recueillir des informations à leur sujet au cours du processus. Ces mains sont comme des gants souples mais intelligents qui sont dotés de capteurs tactiles, kinesthésiques et de position. Idéalement, selon Bicchi, les gens pourront un jour les porter sur leurs propres mains pour collecter des données supplémentaires que les mains humaines ne peuvent pas obtenir elles-mêmes.
Les chercheurs travaillent toujours sur la conception finale du robot (une conception alternative renonce au torse et suspend simplement les bras à un cadre en métal), mais il sera probablement monté sur un curseur sur un établi afin qu’il puisse facilement se déplacer d’un bout de l’espace de travail à l’autre. Une fois installées, les mains douces saisiront les pièces, les numériseront en 3D et enverront les données à l’IA de résolution d’énigmes, qui tentera de trouver des correspondances virtuelles. Une fois qu’elle a une solution, l’IA envoie les données aux mains, qui assemblent les pièces.
LES SITES DE PUZZLES
La première fresque que les scientifiques de RePAIR tenteront de résoudre avec le nouveau robot fait partie de la Schola Armaturarum, le siège d’une association de style militaire située sur la Via dell’Abbondanza, la rue principale de Pompéi, où les membres ont planifié des activités militaires et des combats de gladiateurs. . Mis au jour en 1915, sa grande salle était décorée de représentations de trophées et d’armes et bordée d’armoires en bois pouvant contenir des armures et des trophées. Il a survécu à la fois à l’éruption volcanique et à un coup direct d’une bombe alliée en 1943, mais certaines parties se sont effondrées en 2010 après que de fortes pluies se soient abattues sur Pompéi, y compris les fresques murales que les chercheurs tenteront de reconstruire. Parce qu’ils savent à quoi ressemblaient les fresques à l’origine, c’est un bon endroit pour tester les capacités du robot.
Si le robot réussit avec les fresques de la Schola Armaturarum, l’équipe tentera ensuite de résoudre les énigmes des fresques trouvées dans deux pièces effondrées de la Maison des peintres au travail. Ce bâtiment est ainsi nommé parce que les artisans étaient en train d’y peindre des fresques lorsque le Vésuve est entré en éruption ; les archéologues ont déterré leurs seaux et leurs pinceaux, ainsi que les faibles contours des fresques en attente de couleurs, d’ombrages et de détails qui ne sont jamais venus. Certaines parties du bâtiment ont ensuite été détruites et il a également été gravement endommagé par les bombardements de la Seconde Guerre mondiale.
Parce que chaque mur émietté représente un puzzle de fresque et qu’il n’y a pas d’images de référence à partir desquelles travailler, ce site pose un défi bien plus important. « Imaginez que vous ayez cinq énigmes différentes, l’une avec la Tour Eiffel, l’autre avec le Colisée, etc. », dit Pelillo. « Vous ouvrez les boîtes et vous mélangez simplement tous les morceaux. Et puis on vous demande de résoudre les cinq énigmes. C’est en fait ce que nous allons faire. »
Les scientifiques de RePAIR ont pour objectif d’installer le robot à Pompéi (l’emplacement exact est encore en cours de décision) d’ici le printemps ou l’été 2022. Ils ont un peu de temps pour expérimenter ; leur subvention soutient le projet jusqu’en 2025.
Les chercheurs voient un monde de possibilités à venir pour le robot. Les musées et les universités du monde entier détiennent dans leurs collections des vestiges fragmentés, dont beaucoup sont ignorés pendant des décennies. “Nous espérons que si nous réussissons avec ce projet, nous serons en mesure d’offrir une technologie qui permettra à de nombreux musées du monde entier de reconstruire des fresques brisées à grande échelle ou des artefacts similaires”, a déclaré Pelillo. « Nous nous concentrons principalement sur les fresques, mais ce n’est qu’une étude de cas. Si nous réussissons, nous pensons pouvoir exporter cette technologie vers d’autres artefacts ou même, par exemple, vers des papyrus.
.
