Курс Архітектура високих навантажень

На курсі навчитеся проєктувати системи на старті так, щоби вони могли масштабуватись у будь-який момент і водночас коректно працювати.

Програма курсу

Вступ до високопродуктивних систем і вимоги до архітектури

• Зрозумієте, що таке високопродуктивні системи
• Опануєте базові терміни архітектури
• Розберете ключові завдання архітектора високонавантажених систем
• Навчитеся збирати й документувати вимоги до програми/системи

Основи високопродуктивного дизайну

• Розберете основні проблеми високонавантажених систем
• Розглянете параметри систем: масштабованість, надійність, продуктивність, fault tolerance
• Розрізните функціональні та нефункціональні вимоги
• Навчитеся робити базові розрахунки ресурсів
• Вивчите принципи масштабування та балансування навантаження
• Створите базову архітектуру системи з ключових компонентів

Архітектурні стилі й типові архітектури

• Зрозумієте, чому архітектура базується на вимогах
• Розберете підходи до масштабування систем
• Ознайомитеся з основними архітектурними стилями
• Зрозумієте принципи event stream та event sourcing
• Визначите ситуації, де потрібен event sourcing

Моніторинг, метрики та алертинг

• Розберете важливість моніторингу та коректного алертингу
• Розрізните метрики та логи
• Навчитеся працювати з системами моніторингу
• Опануєте основи підходу SRE

Вертикальне масштабування

• Зрозумієте сутність вертикального масштабування
• Розглянете його переваги та недоліки
• Навчитеся визначати ситуації, коли вертикальне масштабування ефективне
• Розберете, як зробити систему вертикально масштабованою

Горизонтальне масштабування

• Зрозумієте, що таке горизонтальне масштабування
• Розглянете його сильні та слабкі сторони
• Навчитеся визначати сценарії, де воно необхідне
• Опануєте принципи побудови горизонтально масштабованих систем

Масштабування в глибину (in-depth scaling)

• Розберете специфіку масштабування в глибину
• Розглянете переваги та недоліки цього підходу
• Опануєте типові патерни масштабування в глибину

Способи доступу до даних

• Розберете різні моделі доступу до даних
• Оціните переваги та недоліки кожної
• Навчитесь обирати оптимальний підхід під бізнес-вимоги
• Зрозумієте принципи роботи messaging systems

Формати зберігання та передачі даних

• Розберете різні формати передачі та зберігання даних
• Порівняєте їхні сильні та слабкі сторони
• Навчитесь обирати формат під конкретні вимоги
• Ознайомитеся з JSON/XML/Binary, Thrift, Protobuf, Avro

Сховища даних

• Розберете різницю між relational і document-based моделями
• Зрозумієте відмінності declarative та imperative мов запитів
• Ознайомитеся з графовими моделями даних
• Навчитесь обирати відповідне сховище даних під вимоги системи

Спеціалізовані структури даних

• Розберете відмінності зберігання в пам'яті й на диску
• Зрозумієте принципи сучасних систем доступу до даних
• Навчитеся підвищувати ефективність через спеціалізовані структури
• Опануєте використання кешів для оптимізації
• Розберете, коли блум-фільтри доречні, а коли - ні

Аналітика та Big Data: зберігання даних

• Розберете особливості зберігання даних для аналітики
• Зрозумієте роль column-oriented storages
• Розрізните Data Warehouse і Data Lake
• Навчитесь обирати моделі Stars, Snowflakes і Data Marts
• Опануєте базові принципи Big Data сховищ

Пакетна обробка даних

• Зрозумієте сутність batch-процесингу
• Розберете, коли пакетна обробка найефективніша
• Опануєте принципи MapReduce
• Навчитеся застосовувати Spark
• Зрозумієте, як оптимізувати batch-процеси

Потокова обробка даних

• Розберете поняття state, stream та immutability
• Зрозумієте принцип stream/table duality
• Навчитеся визначати, коли потрібен стримінг
• Опануєте Apache Kafka для потокової обробки
• Порівняєте messaging systems
• Розберете принципи Lambda-архітектур

Distributed data: CAP-теорема

• Зрозумієте, навіщо розподіляють дані
• Опануєте CAP-теорему та її обмеження
• Навчитеся пояснювати компроміси між CA/P
• Застосуєте CAP у проєктуванні систем
• Розберете PACELC та її вплив на архітектуру

Distributed data: транзакції

• Розберете принципи ACID
• Вивчите різні рівні ізоляції та їхні наслідки
• Навчитесь обирати оптимальну ізоляцію під вимоги
• Розрізните single- та multi-object операції
• Зрозумієте принципи серіалізованості в розподілених системах

Distributed data: реплікація та сегментування

• Розберете основи секціонування даних
• Зрозумієте принципи реплікації та їхній вплив на систему
• Навчитесь обирати тип реплікації під бізнес-вимоги
• Опануєте стратегії ребалансування
• Розберете принципи parallel query execution

Distributed data: цілісність і консенсус

• Зрозумієте типи цілісності даних
• Розберете принципи консенсусу в розподілених системах
• Навчитесь обирати модель цілісності під бізнес-задачі
• Оціните проблеми одночасного запису та способи їхнього розв'язання
• Ознайомитеся з Paxos і Raft та їхнім застосуванням
• Розберете принципи розподілених транзакцій

Презентація курсового проєкту

• Розберете всі етапи створення архітектури високонавантажених систем
• Навчитеся презентувати архітектурне рішення
• Опануєте формування вимог і побудову High-level та Low-level дизайну
• Навчитесь описувати метрики та алертинг
• Розберете технічні вимоги до сховища (реплікація, транзакції, PACELC)
• Навчитесь аргументувати архітектурні рішення перед аудиторією

Особливості курсу

• Технології Highload
• Практика
• Кар'єра
• Фідбек від лектора та методиста
• Розробка власної архітектури
• Сертифікат про проходження курсу

Викладачі курсу

Артем Дорохін - former Solutions Architect at Luxoft