Data Engineer Gcp Bigquery H/F - DGTL Performance
Data Engineer Gcp Bigquery H/F
DGTL Performance · Toulouse - 31 · CDI
Les missions du poste
Rejoignez une grande compagnie du secteur du transport aérien et intégrez une équipe BI spécialisée dans la valorisation des données clients. Vous participerez à une transformation cloud majeure, en migrant les infrastructures de données traditionnelles vers Google Cloud Platform, dans un environnement méthodologiquement structuré et innovant.
Au sein d'une équipe agile pluridisciplinaire dédiée aux données clients, vous contribuerez au développement et à l'optimisation de pipelines de données complexes alimentant des programmes de fidélité stratégiques. Votre rôle s'inscrit dans un contexte de modernisation technologique, où les solutions Big Data historiques cohabitent avec une montée en puissance du cloud. Vous travaillerez sur l'architecture, l'implémentation et la maintenance de solutions analytiques répondant à des enjeux métier critiques, en étroite collaboration avec des équipes de reporting et de business intelligence.
L'environnement technique mêle héritages stabiles (Teradata, Control-M, SAP BI4) et technologies cloud émergentes (GCP, BigQuery, Spark). L'organisation suit le framework SAFe, garantissant une structuration agile à l'échelle de l'entreprise et une cadence de livraison prévisible.
Responsabilités :
- Concevoir et développer des pipelines de données performants sur GCP BigQuery, en SQL et Java, en respectant les standards de qualité et de scalabilité
- Optimiser les requêtes SQL complexes pour garantir la performance des analyses BI et des reportings
- Contribuer à la migration progressive des données et des traitements depuis les technologies on-premise vers GCP
- Implémenter et maintenir les flux d'orchestration de données via les outils d'automation (Control-M)
- Collaborer avec les équipes de BI et de reporting pour définir les modèles de données et les transformations nécessaires
- Participer aux rituels agiles (standups, plannings, rétrospectives) et garantir la traçabilité des livrables dans un environnement SAFe
- Assurer la documentation technique et la montée en compétence de l'équipe sur les nouvelles technologies cloud
- Supporter les outils de reporting existants (Power BI, Spotfire, SAP BI4) et optimiser leurs sources de données
Télétravail : 2 jours par semaine
Localisation : Toulouse
Profil :
Indispensables :
- Maîtrise confirmée de SQL (Teradata et/ou GCP BigQuery) avec expérience de 3+ ans minimum sur des requêtes complexes et optimisées
- Solide expérience en Java pour le développement de traitements de données et l'intégration avec des frameworks Big Data
- Familiarité avec Google Cloud Platform (GCP) et BigQuery ; connaissance de l'écosystème cloud (Dataflow, Compute Engine, IAM)
- Expérience pratique avec Apache Spark pour le traitement de grandes volumétries de données
- Connaissances Linux/Unix (scripts shell, navigation système, droits d'accès, processus)
- Compréhension des architecture Big Data et des patterns d'ETL/ELT
- Capacité à travailler en équipe agile, respecter les rituels Scrum et communiquer efficacement
- Autonomie, rigueur et attention aux détails dans la documentation et la qualité du code
Fortement appréciés :
- Expérience d'au moins 2 ans en migration de données on-premise vers le cloud
- Connaissance de Control-M ou d'autres outils d'orchestration et de scheduling
- Expérience avec les outils de BI (Power BI, SAP BI4, Spotfire) pour comprendre les besoins des utilisateurs finaux
- Maîtrise du framework SAFe ou expérience en organisation Agile à grande échelle
- Familiarité avec JIRA et les outils de gestion de projet agile
- Expérience en versioning (Git) et intégration continue (CI/CD)
- Connaissances en data governance, qualité des données et métadonnées
- Certifications Google Cloud (Data Engineer, Cloud Architect) ou équivalent
Compétences requises
- Gestion des données
- Reporting
- Java
- Control-M
- Méthodes agiles
- Jira
- ETL
- Shell
- Gouvernance des données
- Autonomie
- UNIX
- Intégration continue
- Big data
- Création d'une base documentaire
- Logiciels de gestion de versions
- Git
- Power BI
- Google cloud platform
- Scrum
- Linux
- SQL
- Business Intelligence
- Apache spark