L’observatoire Rubin passe à l’open source pour capturer des données galactiques

Confronté à un projet à long terme de collecte et de traitement de grandes quantités de données visuelles de l’univers, l’observatoire Vera C. Rubin dans les montagnes du Chili s’est tourné vers une base de données de séries chronologiques open source, InfluxDB, développée par InfluxData.

L’observatoire et son télescope optique de 8,4 mètres sont en cours de construction pour étudier la région de l’espace visible depuis l’hémisphère sud pendant 10 ans, capturer environ 1 000 images du ciel chaque nuit. Le projet, appelé Legacy Survey of Space and Time, devrait générer 500 pétaoctets de données visuelles que les astronomes devraient pouvoir utiliser pour mieux comprendre le cosmos.

L’observatoire Rubin, financé par la National Science Foundation et le Department of Energy, visera à recueillir des données sur quelque 37 milliards d’étoiles et de galaxies, et à mieux comprendre les phénomènes stellaires tels que la matière noire, l’énergie noire et le mouvement des astéroïdes.

L’exploitation de télescopes astronomiques complexes nécessite une bonne compréhension de l’instrumentation, explique Frossie Economou, chef de projet pour la plate-forme scientifique de l’observatoire Rubin. Bien que l’observatoire se trouve au Chili, les scientifiques du monde entier s’intéressent aux données, dit-elle.

Au fur et à mesure que le projet progressait, Economou a déclaré que l’équipe s’était rendu compte qu’elle devait se concentrer sur ce travail complexe plutôt que d’être obligée de stocker et de traiter un flot de lectures d’instruments. Lorsque l’appareil photo 3 gigapixels, le télescope et les autres équipements seront entièrement assemblés, l’observatoire devrait générer des données substantielles à haute fréquence, dit-elle. « La télémétrie est à volume élevé. Même sans le télescope en pleine construction, nous collectons déjà environ un téraoctet de télémétrie par jour. »

L’équipe utilise actuellement la version open source d’InfluxDB, explique Angelo Fausti, ingénieur logiciel à l’observatoire, bien qu’ils soient en train de passer à un autre niveau. « Nous planifions actuellement la migration vers InfluxDB 2.0 », dit-il. Cette migration comprendra une nouvelle interface utilisateur avec de nouvelles capacités de visualisation pour différents nuages ​​de points, cartes thermiques et histogrammes, explique Fausti. “C’est un outil fait pour les développeurs et nous, en tant que scientifiques et ingénieurs, sommes également des développeurs.”

L’observatoire a déjà tenté de créer une base de données relationnelle MySQL traditionnelle, dit Economou, pour stocker et analyser la télémétrie, mais c’était un défi. L’équipe utilisait déjà Apache Kafka et InfluxData pour un cas d’utilisation différent à l’époque, dit-elle, et a reconnu que ces ressources pouvaient être utilisées pour collecter des données à une fréquence, un volume et un débit élevés. « Nous avons réalisé que notre télémétrie était un très bon ajustement pour cela », dit-elle. L’équipe de l’observatoire a ensuite construit sa base de données d’installations d’ingénierie à l’aide d’InfluxData et de Kafka, une plate-forme open source pour la gestion des flux de données, à cette fin.

InfluxData a également été utile pour dépanner l’installation, dit Economou. « Vous essayez de comprendre l’origine d’un problème ou d’un comportement dans votre matériel », dit-elle. « Sinon, vous volez à l’aveugle. L’observatoire, situé dans les Andes chiliennes à une altitude de 9 000 pieds, nécessite une installation sur site d’InfluxData, explique Economou, en raison du potentiel d’instabilité des connexions au sommet de la montagne. « Il y a beaucoup de fibres entre nous et le télescope.

Economou dit que l’équipe utilise Kafka pour travailler avec la grande quantité de données de télémétrie capturées qui doivent être répliquées dans une installation de données au National Center for Supercomputing Applications dans l’Illinois. À partir de là, les données peuvent être agrégées et utilisées pour créer des représentations statistiques des données, dit-elle.

L’observatoire prévoit de commencer les opérations d’enquête en 2024, dit Economou, et prévoit de générer des chronographes via la visualisation via InfluxData, afin que les scientifiques et les ingénieurs des données puissent examiner et interagir avec les données. « Vous pourrez voir des changements à une échelle qui n’a jamais été atteinte auparavant en astronomie », dit-elle.

Contenu associé :

L’écosystème de l’IA : cartographier l’avenir de la science des données

Ce que les DSI doivent savoir sur la technologie des bases de données graphiques

Capella Space s’associe à AWS pour gérer les liaisons descendantes satellites

Joao-Pierre S. Ruth a passé sa carrière dans le journalisme commercial et technologique, couvrant d’abord les industries locales du New Jersey, puis en tant que rédacteur en chef new-yorkais de Xconomy, explorant la communauté des startups technologiques de la ville, puis en tant que pigiste pour des médias tels que . .. Voir la biographie complète

Plus d’informations