Publié le 17 janvier 2026 à 09h30. Cloudflare a dévoilé une nouvelle approche de la gestion de son infrastructure massive, basée sur une meilleure observabilité et l’automatisation de la détection des erreurs de configuration, afin de réduire les interruptions de service et d’accélérer les déploiements.
- Cloudflare utilise SaltStack pour gérer des milliers de serveurs répartis dans des centaines de centres de données.
- L’entreprise a développé un système interne, « Jetflow », pour corréler les événements Salt avec les modifications de code et les pannes de services externes.
- Cette nouvelle approche a permis de réduire les délais de publication de 5 % et de diminuer considérablement la charge de travail des équipes SRE.
La gestion d’une infrastructure à l’échelle de Cloudflare représente un défi considérable en matière de configuration. Même une petite erreur dans un fichier YAML ou une interruption réseau temporaire lors d’une mise à jour peut bloquer le déploiement de nouvelles fonctionnalités ou de correctifs de sécurité critiques. L’entreprise a identifié un problème récurrent : la « dérive », c’est-à-dire la divergence entre la configuration souhaitée et l’état réel des systèmes.
SaltStack, l’outil de gestion de configuration (CM) utilisé par Cloudflare, assure que des milliers de serveurs restent dans l’état défini. Cependant, son architecture maître/sbire, basée sur ZeroMQ, rend difficile l’identification des causes de défaillance lorsque les agents (sbires) ne signalent pas leur statut au maître. C’est un peu comme chercher une aiguille dans une botte de foin, selon les ingénieurs de Cloudflare.
Plusieurs types de défaillances ont été identifiés : des pannes silencieuses où un agent plante sans avertissement, des problèmes de ressources (processeur ou mémoire) sur le serveur maître lors de l’analyse de données complexes, et des erreurs dues à des dépendances externes inaccessibles, dont les messages d’erreur sont souvent difficiles à déchiffrer dans les journaux.
Auparavant, les ingénieurs en fiabilité des sites (SRE) devaient se connecter manuellement aux serveurs suspects via SSH, analyser les journaux (dont la rétention était limitée) et tenter de corréler les erreurs avec des changements de code ou des conditions environnementales. Ce processus, fastidieux et peu efficace, prenait beaucoup de temps et offrait peu de valeur à long terme.
Pour résoudre ces problèmes, les équipes Business Intelligence et SRE de Cloudflare ont collaboré pour créer un nouveau système interne, baptisé « Jetflow ». Ce système permet de corréler les événements Salt avec :
- Les commits Git : identifier précisément la modification de code qui a provoqué l’échec.
- Les pannes de services externes : déterminer si une défaillance Salt est due à une dépendance (par exemple, une panne DNS ou une API tierce).
- Les déploiements ponctuels : distinguer les mises à jour globales planifiées des modifications manuelles apportées par les développeurs.
Grâce à cette nouvelle approche, Cloudflare a pu automatiser la détection des erreurs et réduire les délais de publication de 5 %. Les équipes SRE peuvent désormais se concentrer sur des tâches plus stratégiques, telles que l’amélioration de l’architecture globale de l’infrastructure. De plus, chaque modification de configuration est désormais traçable, du commit Git au résultat final sur le serveur.
L’équipe d’ingénierie de Cloudflare souligne que, bien que SaltStack soit un outil puissant, sa gestion à grande échelle nécessite une observabilité accrue. En considérant la gestion de la configuration comme un problème de données nécessitant une analyse automatisée, l’entreprise donne l’exemple à d’autres fournisseurs d’infrastructures.
Il est important de noter que d’autres outils de gestion de configuration existent, tels que Ansible, Puppet et Chef, chacun présentant des compromis architecturaux différents. Ansible, par exemple, fonctionne sans agents via SSH, ce qui le rend plus simple à mettre en œuvre, mais peut être moins performant à grande échelle. Puppet utilise un modèle d’extraction, tandis que Chef se concentre sur une approche basée sur le code. Chacun de ces outils rencontrera ses propres défis à l’échelle de Cloudflare, mais la leçon principale reste la même : une observabilité robuste et une automatisation de la corrélation des erreurs sont essentielles pour gérer efficacement des milliers de serveurs.
Sur le même sujet
