SPARK: Анализ данных с Apache Spark | DevsDay.ru

SPARK: Анализ данных с Apache Spark

ООО "Учебный центр "Коммерсант"

Зарегистрироваться на событие



3-дневный практический курс для разработчиков Apache Spark и специалистов Data Scientists , использующих Spark SQL, потоковую обработку Spark Streaming, построение графов Spark GraphX

Программа курса

  1.  Экосистема Apache Spark — Spark RDD
    • Архитектура Spark. Принципы работы Resilent Data Distribution
    • Обзор компонентов Spark и их назначения
    • Конфигурация Spark из Java. Запуск на одной или нескольких машинах. Запуск поверх hadoop
    • основные классы и базовый workflow — Spark RDD 
    • Spark core- работа с аккумуляторами и переменными среды
  2. Apache Spark SQL
    • Расширение базовой системы классов- DataSet и DataFrame
    • Получение данных из SQL-источников с помощью Spark SQL
    • Отправка данных в SQL СУБД и работа с Hive QL 
    • Spark SQL и Hadoop
    • Планы выполнения. Logical и physical планы. Настройки планов выполнения
  3. Spark Streaming
    • Разница работы в режимах OLAP и OLTP. Основной workflow
    • Виды Spark Stream-ов. Особенности исполнения streaming кода
    • Windows в Spark Streaming
    • Кеширование в Spark Streaming
    • Checkpoint-ы в Spark Streaming
  4. GraphX
    • Задачи графов в программировании. Место графов в модели распределенных вычислений
    • Представление графов в GraphX. Создание графов
    • Операции с графами в GraphX
    • Выбор модели распределения графа в GraphX

 

Зарегистрироваться на событие


События в IT


3-дневный практический курс для разработчиков Apache Spark и специалистов Data Scientists , использующих Spark SQL, потоковую обработку Spark Streaming, построение графов Spark GraphX Программа курса  Экосистема Apache Spark — Spark RDD Архитектура Spark. Принципы работы Resilent Data Distribution Обзор компонентов Spark и их назначения Конфигурация Spark из Java. Запуск на одной или нескольких машинах. Запуск поверх hadoop основные классы и базовый workflow — Spark RDD  Spark core- работа с аккумуляторами и переменными среды Apache Spark SQL Расширение базовой системы классов- DataSet и DataFrame Получение данных из SQL-источников с помощью Spark SQL Отправка данных в SQL СУБД и работа с Hive QL  Spark SQL и Hadoop Планы выполнения. Logical и physical планы. Настройки планов выполнения Spark Streaming Разница работы в режимах OLAP и OLTP. Основной workflow Виды Spark Stream-ов. Особенности исполнения streaming кода Windows в Spark Streaming Кеширование в Spark Streaming Checkpoint-ы в Spark Streaming GraphX Задачи графов в программировании. Место графов в модели распределенных вычислений Представление графов в GraphX. Создание графов Операции с графами в GraphX Выбор модели распределения графа в GraphX  
2020-03-31T07:00:00.0000000
2020-04-02T14:30:00.0000000
SPARK: Анализ данных с Apache Spark
ООО "Учебный центр "Коммерсант"
?.Trim()
SPARK: Анализ данных с Apache Spark
, .