Titre de position: ingénieur de données SR
Lieu: Charlotte, NC Hybrid (2-3 jours par semaine, candidats locaux uniquement)
Durée: 12 mois
Top compétences requises / Notes:
Compétences requises (3 premiers non négociables):
- Grange
- Google DataProc
- Google BigQuery
Ravi d’avoir:
- Flux d’air
- Scala
- Hadoop / Hive
Description:
- Convertissez les exigences du produit en conceptions techniques claires et exploitables.
- Concevoir, construire, tester et optimiser les pipelines de données (lot ou temps réel), tout en gérant les tâches d’ingestion, de traitement et de transformation des données.
- Implémentez les mécanismes de surveillance des données et de gouvernance intégrés et personnalisés.
- Identifier et résoudre les problèmes liés à l’ingestion, à la transformation, à la qualité ou aux performances des données.
- Écrivez l’infrastructure en tant que code (IAC) pour les déploiements et maintenez les pipelines CI / CD pour les workflows de données.
Test requis: Fort compréhension des structures de données et des algorithmes (tableaux, cartes de hachage, etc.), avec une capacité éprouvée dans l’analyse et la transformation des données. Amélié de développement de scripts de type ETL utilisant Python, Scala on Spark Environment et compétent dans la rédaction de requêtes SQL optimisées et hautes performances qui exploitent l’agrégation de données, les fonctions de fenêtre et les sous-requêtes.
Compétences logicielles requises:
Language – Python, Scala
Base de données – BigQuery, Hive, Trino, Postgresql, MongoDB etc.
Plateformes de données – Spark, Airflow, Kafka, Google Cloud Platform (BigQuery, DataFlow).
Modélisation et transformation – Framework ELT / ETL
Les employeurs ont accès à des outils de langage de l’intelligence artificielle («IA») qui aident à générer et à améliorer les descriptions de travail et l’IA peuvent avoir été utilisés pour créer cette description. La description du poste a été examinée pour l’exactitude et les dés estiment qu’il reflète correctement l’opportunité d’emploi.