DAGs. Аба агымында DAG – же багытталган циклдик график – бул сиз аткаргыңыз келген бардык тапшырмалардын жыйындысы, алардын мамилелерин жана көз карандылыгын чагылдыргандай уюштурулган.
Аба агымында DAGларды кантип жасайсыз?
Аба агымында DAG түзүү үчүн ар дайым DAG классын импорттооңуз керек DAG классынан кийин Операторлордун импорту келет. Негизинен, сиз колдоно турган ар бир Оператор үчүн тиешелүү импортту жасашыңыз керек. Мисалы, сиз Python функциясын аткаргыңыз келсе, PythonOperator импорттооңуз керек.
Airflow DAGларды кайдан издейт?
Airflow глобалдык аталыш мейкиндигинде DAG объекттерин камтыган модулдар үчүн сиздин DAGS_FOLDER файлыңызды карайт жана DagBag ичинде тапкан объекттерди кошот.
Airflow DAGларды кантип сактайт?
Apache Airflow метаберилиштер базасы:
Метаберилиштер базасы конфигурацияларды сактайт, өзгөрмөлөр жана байланыштар Ошондой эле колдонуучунун маалыматын, ролдорун жана саясаттарын сактайт. Акырында, График бардык DAGларды талдап, график аралыгы, ар бир иштетүүнүн статистикасы жана алардын тапшырмалары сыяктуу тиешелүү метадайындарды сактайт.
Airflow ETL куралыбы?
Аба агымы өзүнчө ETL куралы эмес. Бирок ал ETL түтүктөрүн Багытталган Ациклдик Графиктер (DAGs) деп аталган нерсени колдонуп башкарат, түзөт жана уюштурат. … Метадайындар базасы иш процесстерин/милдеттерин (DAG) сактайт.
