2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.
Программа курса
Введение в Data Flow
История появления,на чем написан (python)
Основной объект (DAG)
Операторы и таски
Worker
Scheduler, schedule interval и execution date
Pool’ы
Приоритезация
Метаданные
Airflow UI и Webserver
Мониторинг (средства Airflow и кастомные варианты)
Алерты Введение в AirFlow
Логирование
Разработка Data Flow с Apache AirFlow
Создание и основные параметры DAG
Operators и plugins
Hooks, connections, и variables
Работающие из коробки и уже написанные community операторы, хуки и т.п.
Создание тасков
Макросы (Jinja)
Управление зависимостями (внутри DAG, внешние зависимости, timedelta)
Визуализация в Web UI
Настройка расписания
Контекст (выполнения task)
Обмен сообщениями между tasks, DAGS (xcom)
Добавление настраиваемых операторов, сенсоров, хуков и т.п.
Развертывание и настройка Airflow
Установка Apache Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
Установка Redis, Celery
Настройка airflow.cfg (PostgreSQL, Celery, Redis, parallel degree…)
Запуск (service,н—рsystemctl, doker)
Кластеризация (масштабируемость, безотказность)
Особенности и проблемы в Airflow
Версии python(2 или 3)
Debug
Тестирование
Логирование
https://www.bigdataschool.ru/bigdata/data-flow-with-apache-airflow.html
Организатор: BigDataSchool
Наша компания «Школа Больших Данных» предлагаем уникальные практические курсы по Big Data (большие данные) а также материалы, новости, документы по следующим направлениям: Большие данные, Data Mining, Internet of Things, Industrial Internet of Things, цифровая трансформация, компоненты экосистемы Hadoop, Apache Spark,Kafka, NiFi, AirFlow,HBase, NoSQL, построение распределенных кластерных систем хранения больших данных и озер данных (Data Lakes) на платформах Cloudera Distributed Hadoop, Аренадата Hadoop, HortonWorks Data Platform и многое другое.
