Курс обучения "Apache AirFlow" | DevsDay.ru

Курс обучения "Apache AirFlow"

BigDataSchool

Зарегистрироваться на событие




2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.

Программа курса
Введение в Data Flow
История появления,на чем написан (python)
Основной объект (DAG)
Операторы и таски
Worker
Scheduler, schedule interval и execution date
Pool’ы
Приоритезация
Метаданные
Airflow UI и Webserver
Мониторинг (средства Airflow и кастомные варианты)
Алерты Введение в AirFlow
Логирование
Разработка Data Flow с Apache AirFlow
Создание и основные параметры DAG
Operators и plugins
Hooks, connections, и variables
Работающие из коробки и уже написанные community операторы, хуки и т.п.
Создание тасков
Макросы (Jinja)
Управление зависимостями (внутри DAG, внешние зависимости, timedelta)
Визуализация в Web UI
Настройка расписания
Контекст (выполнения task)
Обмен сообщениями между tasks, DAGS (xcom)
Добавление настраиваемых операторов, сенсоров, хуков и т.п.
Развертывание и настройка Airflow
Установка Apache Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
Установка Redis, Celery
Настройка airflow.cfg (PostgreSQL, Celery, Redis, parallel degree…)
Запуск (service,н—рsystemctl, doker)
Кластеризация (масштабируемость, безотказность)
Особенности и проблемы в Airflow
Версии python(2 или 3)
Debug
Тестирование
Логирование
https://www.bigdataschool.ru/bigdata/data-flow-with-apache-airflow.html


Организатор: BigDataSchool

Наша компания «Школа Больших Данных» предлагаем уникальные практические курсы по Big Data (большие данные) а также материалы, новости, документы по следующим направлениям: Большие данные, Data Mining, Internet of Things, Industrial Internet of Things, цифровая трансформация, компоненты экосистемы Hadoop, Apache Spark,Kafka, NiFi, AirFlow,HBase, NoSQL, построение распределенных кластерных систем хранения больших данных и озер данных (Data Lakes) на платформах Cloudera Distributed Hadoop, Аренадата Hadoop, HortonWorks Data Platform и многое другое.

Зарегистрироваться на событие


События в IT Москва

Тэги

курс тренинг обучение cource training itevents

Контактные данные

Сайт: https://www.meetup.com/BigDataSchool/


Адрес проведения: Москва и МО, г. Москва.


Регионы


Технологии


Категории


2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow. Программа курсаВведение в Data FlowИстория появления,на чем написан (python)Основной объект (DAG)Операторы и таскиWorkerScheduler, schedule interval и execution datePool’ыПриоритезацияМетаданныеAirflow UI и WebserverМониторинг (средства Airflow и кастомные варианты)Алерты Введение в AirFlowЛогированиеРазработка Data Flow с Apache AirFlowСоздание и основные параметры DAGOperators и pluginsHooks, connections, и variablesРаботающие из коробки и уже написанные community операторы, хуки и т.п.Создание тасковМакросы (Jinja)Управление зависимостями (внутри DAG, внешние зависимости, timedelta)Визуализация в Web UIНастройка расписанияКонтекст (выполнения task)Обмен сообщениями между tasks, DAGS (xcom)Добавление настраиваемых операторов, сенсоров, хуков и т.п.Развертывание и настройка AirflowУстановка Apache Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)Установка Redis, CeleryНастройка airflow.cfg (PostgreSQL, Celery, Redis, parallel degree…)Запуск (service,н—рsystemctl, doker)Кластеризация (масштабируемость, безотказность)Особенности и проблемы в AirflowВерсии python(2 или 3)DebugТестированиеЛогированиеhttps://www.bigdataschool.ru/bigdata/data-flow-with-apache-airflow.html Организатор: BigDataSchool Наша компания «Школа Больших Данных» предлагаем уникальные практические курсы по Big Data (большие данные) а также материалы, новости, документы по следующим направлениям: Большие данные, Data Mining, Internet of Things, Industrial Internet of Things, цифровая трансформация, компоненты экосистемы Hadoop, Apache Spark,Kafka, NiFi, AirFlow,HBase, NoSQL, построение распределенных кластерных систем хранения больших данных и озер данных (Data Lakes) на платформах Cloudera Distributed Hadoop, Аренадата Hadoop, HortonWorks Data Platform и многое другое.
2020-10-30T00:00:00.0000000
2020-10-30T00:00:00.0000000
Курс обучения "Apache AirFlow"
BigDataSchool
?.Trim()
Курс обучения "Apache AirFlow"
Москва и МО, г. Москва.