Администрирование кластера Kafka

Программа курса Администрирование кластера Kafka Введение в Kafka Что такое Apache Kafka? Сценарии использования Kafka Компоненты Kafka и Kafka экосистемы Архитектура Kafka Кластер Zookeeper Потоковая Обработка Событий(Event Stream Processing): Терминология и основные концепции. Основные концепции Kafka Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных. Брокеры (Brokers):  Развертывание. Конфигурация Multibroker Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting). Установка кластера Apache Kafka Требования по установке кластера Kafka Установка и настройка кластера Zookeeper: Настройка  кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоустойчивость кластера Kafka. Kafka менеджер. Установка кластера Kafka на AWS Репликация кластера с использованием Mirror Maker (Confluent Replicator) Базовые операции в Apache Kafka Операции с Топиками (Topic) Публикация данных с консольного Producer Получение данных с консольного Consumer Пользовательские интерфейсы топика Kafka (Topics UI) Разбор примеров кода producer Разбор примеров кода consumer Оптимизация кластера Apache Kafka Оптимизация производительности компонент кластера Масштабирование кластера Балансировка разделов(partition) и использование Partition Reassignment Tools Балансировка с использованием ADB (Auto Data Balancing) Best Practices Kafka/Confluent Мониторинг кластера Kafka Настройка мониторинга кластера Kafka (Confluent) с использованием Prometheus + Grafana ( Telegraf/Influx + Grafana) Интеграция с Apache Kafka Использование Apache NiFi Интеграция Apache Flume с Kafka Сценарии интеграции с Apache Kafka Расширенная конфигурация кластера Kafka Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. Confluent REST Proxy Настройка Confluent Schema Registry Архитектура Kafka Connect  Безопасность в Kafka Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и  клиентов Аутентификация SSL/SASL Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka  и клиентов для поддержки Kerberos Авторизация в Kafka Управление списками управления доступом (ACL)

2020-09-09T00:00:00.0000000

2020-09-11T00:00:00.0000000