SBB Lakehouse — Data Engineering cloud sur AWS
Pipeline construit à partir de données publiques suisses de transport : ingestion quotidienne de 450 à 500 Mo de fichiers CSV depuis Open Transport Data Switzerland vers une couche bronze Amazon S3, avec AWS Lambda et transfert multipart en streaming.
- Infrastructure cloud déployée avec Terraform et Infrastructure as Code.
- CI/CD GitHub Actions avec OIDC : plan Terraform sur les pull requests, apply après merge.
- Sécurité : rôles IAM au moindre privilège, hooks pre-commit, TFLint et scan Trivy.
Architecture réalisée : Couches Bronze, Silver et Gold, complétées par une page interactive pour interroger les données.
