Industrialisation data : Fiabiliser la production massive de données avec Airflow et dbt

Murata souhaite s'assurer que l'industrialisation et la gestion des flux de données soient suffisamment robustes et évolutives pour soutenir la croissance de l'entreprise et offrir une vue claire et fiable pour appuyer les décisions opérationnelles.

Plusieurs besoins ont été identifiés :

• Industrialiser le pipeline de données avec Airflow et dbt : fiabilité, traçabilité, maintenance facilitée.
• Structurer les flux de bout en bout, de l’ingestion à la restitution.
• Tester la capacité des outils (Airflow, dbt) à gérer la montée en charge
• Définir une architecture technique cible, évolutive et adaptée à un déploiement on-premise ou hybride.
• Standardiser la restitution des données via Superset, avec un usage embarqué et une gestion versionnée des dashboards.