Ingénieur Big Data Senior - Femme - Homme H/F - 31

Candidate First recrute pour l'un de ses clients éditeurs de logiciels, 2 ingénieurs BIG DATA SENIOR femme/homme à Toulouse.Au sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et hydrologiques.
Rattaché(e) au Teamlead, vous vous concentrerez sur la garantie d'une livraison évolutive, reproductible et de qualité industrielle des entrées et sorties du modèle.

- Mettre en oeuvre l'ingestion (par batch/en continu), les étapes ELT/ETL et les workflows de publication des données.- Gérer les formats scientifiques (netCDF, GRIB2) et le stockage en colonnes (Parquet) ; optimiser les E/S et les algorithmes.- Concevoir un stockage avec des modèles de cohérence finale (publications atomiques, manifestes, chemins versionnés) et un catalogue de métadonnées.- Partitionner et paralléliser les charges de travail pour le calcul distribué ; compacter les petits fichiers et optimiser le rapport coût/performance.- Créer et exécuter des services conteneurisés et des workflows orchestrés ; garantir l'observabilité, les réessais, l'idempotence et les runbooks.- Collaborer avec des scientifiques pour définir des modèles de données et des règles de validation.