Курс Big Data

Якщо ти хочеш дізнатися або розширити свої знання в області технологій для роботи з великими обсягами даних, цей курс допоможе тобі це зробити, а також поглибити професійні знання, ефективно вибирати та аналізувати ці дані.

Програма курсу

Заняття 1. Основи Big Data

• Що таке Big Data?
• Які проблеми вирішуєs Big Data?
• Практичні аспекти Big Data
• Огляд посади Data Engineer та його обов'язки
• Вступ до стеку технологій Big Data
• Домашнє завдання: Перевірка навчальних матеріалів

Заняття 2. Огляд платформи даних

• Основні поняття та глосарій у сфері Data Platforms
• Вступ до моделювання конвеєрів даних
• Огляд рівнів обробки та пов'язаних з ними технологій:
  • Data storage
  • Data processing
  • Data ingestion
  • Data querying
  • Data visualization
• Вступ до хмарних концепцій та хмарних обчислень (з акцентом на AWS)
• Моделі послуг PaaS / IaaS / SaaS

Заняття 3. Отримання та інтеграція даних. Частина 1

• Типи обміну даними:
  • Ingestion
  • Export
  • Replication
• Огляд джерел даних
• Інтеграція та пріоритезація джерел даних
• Пакетна інтеграція даних

Заняття 4. Отримання та інтеграція даних. Частина 2

• Концепції проєктування Data Lakes
• Типи інтеграції Pull / Push
• Архітектурні підходи (Lambda, Kappa, Delta)
• Інтеграція даних у реальному часі
• Інструментарій для отримання потокових даних

Заняття 5. Основи зберігання даних. Частина 1

• Класифікації сховищ даних
• Вступ до OLTP, OLAP, DWH
• Ключові принципи HDFS / Object Stores
• Загальні поняття про СУБД
• Огляд баз даних NoSQL
• Хмарні сховища даних

Заняття 6. Основи зберігання даних. Частина 2

• Порівняльний аналіз Data Lakes та Data Warehouses
• Теорема CAP
• Огляд форматів даних
• Концепції розбиття на розділи / шардингу / реплікації
• Повна та остаточна узгодженість даних

Заняття 7. Основи моделювання даних. Частина 1

• Основні поняття моделювання даних
• Моделювання даних в рамках різних типів сховищ
• Вступ до схеми даних
• Огляд схем на читання/на запис

Заняття 8. Основи моделювання даних. Частина 2

• Стратегії пакетування/партиціонування
• Основи грануляції даних
• Сховища без схем
• Обробка запізнень

Заняття 9. Вступ до обробки даних

• Історичний контекст
• Вступ до роботи з ETL-конвеєрами
• Основи моделі Map-Reduce
• Модель розподіленої обробки та локальність даних
• Огляд стеку технологій обробки даних

Заняття 10. Основи обробки даних. Частина 1

• Основи управління ресурсами
• Огляд основних фреймворків для обробки даних
• Концепції пакетної обробки даних
  • Розробка робочих процесів
  • Планування
  • Оркестрування

Заняття 11. Основи обробки даних. Частина 2

• Семантика гарантії доставки / обробки
• Концепції обробки потокових даних
• Типи розвитку або синхронізації конвеєрів

Заняття 12. Хмарні обчислення. Частина 1

• Основні хмарні сервіси AWS
• Ресурси для побудови платформ даних
• AWS SDK в рамках реалізації конвеєрів даних
• Інструменти керування AWS CLI

Заняття 13. Хмарні обчислення. Частина 2

• Огляд конвеєрів даних у хмарі AWS
• Реєстрація в хмарних рішеннях AWS
• Моніторинг у хмарних рішеннях AWS
• Вступ до безперервної інтеграції / безперервного розгортання в AWS

Заняття 14. Запит та візуалізація даних

• Форми подання даних
• Вступ до візуалізації даних
• Поняття вітрин даних, звітів, подань
• Поняття DWH у сфері звітності
• Інструменти бізнес-аналітики
• Автоматизація звітів за допомогою Data Dashboards
• Дослідження даних за допомогою Notebooks

Заняття 15. Регулювання даних

• Цілі регулювання даних
• Процедури управління даними
• Поняття відстеження даних, лінії зв'язку, версійності
• Політика збереження даних
• Поняття безпеки даних/приватності/інформації з обмеженим доступом
• Інструменти та рішення для регулювання даних

Заняття 16. Підсумкове заняття

• Обговорення архітектурних ідей
• Фінальна сесія запитань та відповідей

По завершенню курсу Big Data ти:

• Розумітимеш основні концептуальні проблеми аналізу, обробки та зберігання великих даних
• Вмітимеш аналізувати та обробляти великі дані у різних форматах за допомогою різних інструментів
• Вмітимеш використовувати актуальне програмне забезпечення для зберігання, аналізу та обробки даних у практичній роботі

Вимоги до учасників:

• Знання одної з мов програмування на середньому рівні: Python, Scala, Java тощо
• Знання SQL
• Базові знання роботи операційних систем Linux/Bash
• Знання Docker

Особливості курсу

• Досвідчені викладачі
• Комплексний підхід
• Практичний підхід
• Сертифікат про проходження курсу

Викладачі курсу

• Сергій Холоднюк - Senior Big Data Engineer
• Владислав Чайковський - Data Engineer at Sigma Software