Apache luftstrøm

Apache Airflow  er open source-software til oprettelse, eksekvering, overvågning og orkestrering af databehandlingsarbejdsgange.

Oprindeligt udviklet af Airbnb i oktober 2014 [3] [4] . Blev et Apache Incubator - projekt i marts 2016 og blev et Apache Software Foundation -topniveauprojekt i januar 2019 i januar 2019.

Skrevet i Python , er arbejdsgangene og deres afhængigheder også kodet i Python på en konfiguration-som-kode måde (i modsætning til systemer som Oozie og Azkaban , der bruger konfigurationsfiler [5] ). Workflows orkestreres ved hjælp af en Directed Acyclic Graph (DAG) repræsentation; en gruppe af operationer, der er samlet i en graf, kan startes enten i henhold til en bestemt tidsplan (for eksempel hver time eller daglig) eller ved en begivenhed (for eksempel udseendet af en fil i Hive [6] ).

Airflow er en abonnementstjeneste leveret af mange offentlige cloud - udbydere, herunder Google Cloud Platform (Cloud Composer) [7] og Amazon Web Services (siden november 2020) [8] .

Noter

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Apache Airflow . Apache Airflow . Hentet 30. september 2019. Arkiveret 12. august 2019. (ubestemt)
4. ↑ Luftstrøm . Hentet 30. september 2019. Arkiveret fra originalen 6. juli 2019. (ubestemt)
5. ↑ AirflowProposal . Apache Software Foundation (28. marts 2019). Hentet 1. oktober 2019. Arkiveret fra originalen 7. april 2022. (ubestemt)
6. ↑ Trencseni, Marton Anmeldelse af luftstrøm . BytePawn (16. januar 2016). Dato for adgang: 1. oktober 2019. Arkiveret fra originalen den 28. februar 2019. (ubestemt)
7. ↑ -automation-tool-for-developers/ Google lancerer Cloud Composer, et nyt workflow-automatiseringsværktøj til udviklere  . TechCrunch . Dato for adgang: 18. september 2019.
8. ↑ -airflow-mwaa/ Introduktion til Amazon Managed Workflows for Apache Airflow (MWAA  ) . Amazon Web Services (24. november 2020). Dato for adgang: 17. december 2020.