Apache Airflow: Data Pipelines का Orchestration

Apache Airflow से workflows को schedule और monitor करना सीखें: DAGs, TaskFlow, scheduling, XComs, branching, sensors, retries, idempotent डिज़ाइन और deployment।

कोर्स शुरू करें →

पाठ्यक्रम

Airflow की बुनियाद

1. Airflow क्या है और क्या नहीं
2. Architecture: Scheduler, Executor, Workers, Database
3. स्थानीय रूप से Install और Run
4. मूल अवधारणाएँ: DAG, Task, Run, Instance

DAGs लिखना

1. Operators और Providers
2. TaskFlow API
3. निर्भरताएँ तय करना
4. Scheduling: Cron, Intervals और Catchup

डेटा भेजना और Templating

1. XComs और उनकी सीमाएँ
2. Jinja Templating और Macros
3. Connections, Variables और Secrets

Control Flow

1. Branching
2. Trigger Rules
3. Sensors और Deferrable Operators
4. Dynamic Task Mapping

भरोसेमंद Pipelines डिज़ाइन करना

1. Idempotent, Partitioned Tasks
2. Backfills और Reprocessing
3. Airflow को हल्का रखें

Reliability और संचालन

1. Retries, Timeouts और Callbacks
2. Concurrency, Pools और Priorities
3. Monitoring, Logs और SLAs

Scaling और Deployment

1. Executors और Deployment विकल्प
2. Git और CI से DAGs Deploy करना

सब कुछ जोड़ना

1. केस स्टडी: दैनिक Sales Pipeline
2. Revision: Cheat Sheet और Self-Check