Курс Проєктування даних в Microsoft Azure

З курсу слухачі дізнаються про шаблони і методи проєктування даних, пов'язаних з роботою з пакетними аналітичними рішеннями і рішеннями в реальному часі з використанням технологій платформи даних Azure. Курс починається з основних технологій обчислень і зберігання, які використовуються для створення аналітичного рішення. Слухачі вивчать, як спроєктувати аналітичні рівні обслуговування, і зосередяться на питаннях проєктування даних для роботи з файлами. Слухачі дізнаються, як інтерактивно досліджувати дані, що зберігаються в файлах в Azure Data Lake.

Програма курсу

Вивчення варіантів обчислень і зберігання для робочих навантажень проєктування даних

• Вступ до Azure Synapse Analytics
• Опис Azure Databricks
• Вступ до сховища Azure Data Lake
• Опис архітектури Delta Lake
• Робота з потоками даних за допомогою Azure Stream Analytics

Розробка і впровадження рівнів обслуговування

• Розробка багатовимірної схеми для оптимізації аналітичних робочих навантажень
• Масштабоване перетворення без коду за допомогою Azure Data Factory
• Заповнення повільно мінливих вимірювань в конвеєрах Azure Synapse Analytics

Питання проєктування даних для вихідних файлів

• Розробка сучасного сховища даних за допомогою Azure Synapse Analytics
• Захист сховища даних в Azure Synapse Analytics

Виконання інтерактивних запитів з використанням безсерверних пулів SQL в Azure Synapse Analytics

• Вивчення можливостей безсерверних пулів SQL в Azure Synapse
• Запит даних в озері за допомогою безсерверних пулів SQL Azure Synapse
• Створення об'єктів метаданих в безсерверних пулах SQL Azure Synapse
• Захист даних і керування користувачами в безсерверних пулах SQL Azure Synapse

Дослідження, перетворення і завантаження даних в сховище даних за допомогою Apache Spark

• Розуміння проєктування великих даних за допомогою Apache Spark в Azure Synapse Analytics
• Отримання даних за допомогою записників Apache Spark в Azure Synapse Analytics
• Перетворення даних за допомогою DataFrames в пулах Apache Spark в Azure Synapse Analytics
• Інтеграція пулів SQL і Apache Spark в Azure Synapse Analytics

Дослідження і перетворення даних в Azure Databricks

• Опис Azure Databricks
• Читання і запис даних в Azure Databricks
• Робота з DataFrames в Azure Databricks
• Робота з розширеними методами DataFrames в Azure Databricks

Отримання і завантаження даних в сховище даних

• Використання кращих практик щодо завантаження даних в Azure Synapse Analytics
• Прийом петабайт за допомогою Azure Data Factory

Перетворення даних за допомогою Azure Data Factory або Azure Synapse Pipelines

• Інтеграція даних з Azure Data Factory або Azure Synapse Pipelines
• Масштабоване перетворення без коду за допомогою Azure Data Factory або Azure Synapse Pipelines

Управління переміщенням і перетворенням даних в Azure Synapse Pipelines

Управління переміщенням і перетворенням даних в Azure Data Factory.

Оптимізація продуктивності запитів за допомогою виділених пулів SQL в Azure Synapse

• Оптимізація продуктивності запитів до сховища даних в Azure Synapse Analytics
• Ознайомлення з функціями розробника сховища даних в Azure Synapse Analytics

Аналіз і оптимізація сховища даних

Аналіз і оптимізація сховища даних в Azure Synapse Analytics.

Підтримка гібридної транзакційної аналітичної обробки (HTAP) за допомогою Azure Synapse Link

• Розробка гібридної транзакційної і аналітичної обробки за допомогою Azure Synapse Analytics
• Налаштування Azure Synapse Link за допомогою Azure Cosmos DB
• Запити до Azure Cosmos DB з пулами Apache Spark
• Запити до Azure Cosmos DB з безсерверними пулами SQL

Комплексна безпека за допомогою Azure Synapse Analytics

• Захист сховища даних в Azure Synapse Analytics
• Налаштування та управління секретами в Azure Key Vault
• Впровадження контролю відповідності для конфіденційних даних

Обробка потоків в реальному часі за допомогою Stream Analytics

• Забезпечення надійного обміну повідомленнями для додатків Big Data за допомогою Azure Event Hubs
• Робота з потоками даних за допомогою Azure Stream Analytics
• Отримання потоків даних за допомогою Azure Stream Analytics

Створення рішення для потокової обробки за допомогою Event Hubs і Azure Databricks

Обробка потокових даних за допомогою структурованої потокової передачі Azure Databricks.

Створення звітів за допомогою інтеграції Power BI з Azure Synpase Analytics

Створення звітів за допомогою Power BI, використовуючи інтеграцію з Azure Synapse Analytics.

Виконання інтегрованих процесів машинного навчання в Azure Synapse Analytics

Використання інтегрованого процесу машинного навчання в Azure Synapse Analytics.

Після курсу слухачі зможуть:

• Вивчати варіанти обчислень і зберігання для проєктування даних робочих навантажень в Azure
• Розробляти і реалізовувати рівні обслуговування
• Розуміти особливості проєктування даних
• Виконувати інтерактивні запити з використанням безсерверних пулів SQL
• Вивчати, перетворювати і завантажувати дані в сховище даних за допомогою Apache Spark
• Виконувати дослідження і перетворення даних в Azure Databricks
• Отримувати і завантажувати дані в сховищі даних
• Перетворювати дані за допомогою Azure Data Factory або Azure Synapse Pipelines
• Інтегрувати дані із записників за допомогою Azure Data Factory або конвеєрів Azure Synapse
• Оптимізувати продуктивність запитів за допомогою виділених пулів SQL в Azure Synapse
• Аналізувати і оптимізувати сховище даних
• Підтримувати гібридну транзакційну аналітичну обробку (HTAP) за допомогою Azure Synapse Link
• Забезпечувати комплексну безпеку за допомогою Azure Synapse Analytics
• Виконувати потокову обробку в реальному часі за допомогою Stream Analytics
• Створювати рішення для потокової обробки за допомогою Event Hubs і Azure Databricks
• Створювати звіти за допомогою інтеграції Power BI з Azure Synpase Analytics
• Виконувати інтегровані процеси машинного навчання в Azure Synapse Analytics

Особливості курсу

• LIVE-навчання незалежно від формату участі в курсі (очно/віддалено)
• Електронні матеріали Microsoft
• Попередньо налаштоване середовище та навчання на сучасному обладнанні
• Електронний сертифікат Microsoft
• Обід та кава-брейки (очний курс)
• Консультації тренера протягом 6-ти місяців після закінчення курсу