Курси Data Science та Machine learning

Програма курсу

Модуль 1. Вступ до Машинного навчання

• Введення в машинне навчання: основні поняття та застосування
• Види машинного навчання
• Основні інструменти та бібліотеки для машинного навчання
• Основи Python в контексті аналізу даних
• Основи NumPy, SciPy та Pandas

Модуль 2. Приготування та очищення даних

• Збір, імпорт, очищення та підготовка даних для аналізу
• Обробка відсутніх даних та викидів
• Візуалізація даних для аналізу
• Основи роботи з географічними даними

Модуль 3. Лінійна регресія

• Лінійна регресія: теорія та застосування
• Види лінійних моделей
• Аналіз часових рядів та прогнозування

Модуль 4. Класифікація та ансамблеві методи

• Базові класифікаційні моделі, дерева рішень та їх створення
• Випадковий ліс (Random Forest), Градієнтний бустінг (Gradient Boosting), Адаптивний бустінг (AdaBoost) та власні ансамблі
• Оцінка та валідація моделей

Модуль 5. Кластеризація та аналіз даних

• Кластеризація даних: методи та застосування
• Аналіз головних компонент (PCA) та методи зменшення розмірності
• Відкриті дані та аналіз текстових даних
• Візуальний аналіз даних за допомогою Orange

Модуль 6. Нейронні мережі та глибинне навчання

• Вступ до нейронних мереж та штучних нейронів
• Пряме поширення сигналу та зворотне поширення помилок. Глибинні нейронні мережі (Deep Neural Networks)
• Конволюційні нейронні мережі (CNN)
• Рекурентні нейронні мережі (RNN)
• Автоенкодери та трансформери

Модуль 7. Аналіз та покращення результатів машинного навчання

• Налаштування набору даних та аналіз помилок навчання
• Аналіз кривих, що характеризують процес навчання. Порівняння результатів з точністю людини
• Різні розподіли тестового та навчального набору даних. Аналіз помилок конвеєрів ML

Модуль 8. Додаткові теми в машинному навчанні

• Введення до асоціативних правил. Алгоритми видобування асоціативних правил
• Клітинні автомати та мультиагентні системи
• Генетичні алгоритми, методи мурашиного рою, фрактали
• Нечітка логіка
• Навчання з підкріпленням та Q-навчання
• Інтелектуальні агенти

Лабораторні роботи з індивідуальними консультаціями

Упродовж курсу з ML практика буде невід'ємною частиною навчання. Лектор даватиме завдання та буде на своєму прикладі демонструвати варіанти вирішення. Теми лабораторних робіт, які чекають на тебе:

• Ознайомлення з інструментами машинного навчання
• Підготовка даних для аналізу
• Лінійна регресія та метод найменших квадратів
• Класифікація реальних даних
• Кластеризація даних та аналіз головних компонентів
• Глибинні нейронні мережі (Deep Neural Networks)
• Використання CNN для обробки зображень
• Рекурентні нейронні мережі (RNN)
• Симулятор мультиагентних систем
• Використання асоціативних правил для аналізу даних
• Навчання з підкріпленням та Q-навчання

Заняття з англійської

На цьому занятті ти зможеш протестити свій рівень англійської та покращити розуміння професійних технічних термінів, з якими обов’язково стикнешся під час роботи в ІТ.

Кар'єрна консультація з рекрутером

Навчання - це тільки перший етап на шляху до омріяної роботи. У тебе тепер є практичний досвід використання знань з машинного навчання на практиці. А отже - час складати резюме, доповнювати профіль в Лінкедині та шукати роботу. З цим тобі допоможе заняття з рекрутером.

Вимоги до студентів

• знати Python на середньому рівні
• розуміти основи статистики
• середній рівень знань Numpy SciPy
• знати основи Matplotlib, Seaborn
• знати Pandas на середньому рівні

Особливості курсу

• Лекції в зручний час
• Практичні заняття
• Невелика група
• Заняття з англійської
• Сертифікат про проходження курсу
• Можливість контракту з компанією

Викладачі курсу

Ярослав Виклюк - Професор, доктор технічних наук

Цей курс розрахований на спеціалістів, які мають досвід роботи з подібними технологіями, і хочуть вивчити сучасні методи машинного навчання з використанням технології BigData. Ці методи використовуються під час пошуку прихованих закономірностей, аналізу даних при вирішенні задач прогнозування та класифікації.

Програма курсу

Модуль 1

• Знайомство з машинним навчанням і Data Science
• Задачі машинного навчання і науки про дані
• Аналіз даних за допомогою Python
• Машинне навчання і його типи
• Модель машинного навчання і його компоненти
• Поняття машинного навчання і його цінність

Модуль 2

• Мова програмування Python і її основи
• Інтерпретація і запуск програм
• Особливості мови
• Типізація і структура даних
• Розгалуження і цикли операторів контролю виконання

Модуль 3

• Функціональне програмування
• Суть, генерація, ітерація
• Для чого потрібен Python. Інструментарій і функції

Модуль 4

• Об'єктно-орієнтований підхід до програмування в Python
• Простір імен і сфера їх використання
• Робота з системою імпорту, пакетами і модулями

Модуль 5

• Аналіз даних, їх дослідження та підготовка
• Програмні бібліотеки: Pandas, NumPy, SciPy, Matplotlib, Seaborn

Модуль 6

• Підготовка даних до аналізу: основні проблеми
• Факторні змінні і їх зміни
• Як боротися з проблемами в даних
• Інформативні змінні
• Мультиколлінеарність
• Скаляція даних

Модуль 7

• Основні регресійні моделі
• Види регресії
• Оцінка якості регресії
• Регресивні моделі та їх апгрейд

Модуль 8

• Класифікація
• Логістична регресія: що це таке
• Регресивний аналіз і його методи
• Наївний Байесовський класифікатор
• Функція оцінки якості класифікації

Модуль 9

• Основні моделі зниження розмірності й кластеризації
• Метод кластерного аналізу
• Алгоритм DBSCAN
• Аналіз співпадінь

Модуль 10

• Ансамблі й дерева рішень
• Основні деревоподібні моделі
• Алгоритм машинного навчання Random forest
• Алгоритм Lighthbm і XGBOOST
• Ансамблеві моделі й зміни гіперпараметрів у них

Модуль 11

• Покращення якості машинного навчання
• Аугментація даних
• Конструювання ознак
• Перехресна перевірка
• Як боротися з дисбалансом даних і перенавчанням

Модуль 12

• Нейронні мережі
• Нейромережева бібліотека Keras
• Бібліотека TensorFlow
• Рекурентна нейронна мережа і генеративно-змагальна мережа

Модуль 13

• Робота з Big Data
• Джерело даних
• Пакет pySpark - інструмент для миттєвих кластерних обчислень

Модуль 14

• Покращуємо якість моделей
• Курсовий проєкт і його обговорення
• Підсумки курсу

Результат після проходження курсу

Після закінчення курсу ви зможете будувати системи машинного навчання на основі великого обсягу даних. Для цього в навчальну програму входить і фреймворк Spark.

Особливості курсу

• Викладачі практики
• Корпоративне навчання
• Можливість навчатись у вихідні
• Можливість влаштуватись у провідні IT-компанії
• Індивідуальне навчання

Викладачі курсу

• Володимир - Програміст
• Ігор - Програміст
• Володимир - Програміст
• Олексій - Програміст

Програма курсу

Заняття 1. Вступ до Data спеціальностей

Ви розумієте, які дані є важливими для бізнесу та як їх аналіз може призвести до прийняття рішень з метою покращення бізнес-процесів.

Заняття 2. Data Analyst and Data Science

Ознайомлення з поняттями Дата Аналітик та Дата Саенс, в чому їх відмінність.

Заняття 3. Універсальний алгоритм роботи в проєкті

Алгорим по якому працює Дата Аналітик, щоб досягти результату (по крокам).

Заняття 4. Інструменти Data Analyst and Data Science

Ви навчитесь установлювати Power BI Desktop та зареєструєтесь в DatalLore.

Заняття 5. Практика в Data Analysis

Ви розробите аналітичний дашборд на основі файлу Flats в місті Києві і виведете ключові показники.

Заняття 6. Практика в Data Science

Ви розробите модель передбачення вартості оренди в Києві на основі історичних даних.

Особливості курсу

• Відеозаписи занять
• Презентації з матеріалом
• Домашні завдання
• Доступ до платформи

Викладачі курсу

Ігор Бетлей - Head of R&D in Platma & Agrosem

Програма курсу

Основи обчислень для Data Science

• Основи математичного аналізу для DS
• Основи лінійної алгебри для DS
• Методи оптимізації
• Основи теорії ймовірностей для DS
• Основи математичної статистики для DS

Машинне навчання та аналіз даних

Supervised Learning

Дерева прийняття рішень, наївний баєсів класифікатор, логістична регресія, андсамблеві методи.

Unsupervised Learning

Алгоритми кластеризації.

Специфічні види машинного навчання

Навчання з гарантованою точністю (conformal learning), причинно-наслідкове навчання (casual learning).

Інтелектуальний аналіз даних

Зниження розмірності, пошук асоціативних правил.

Нейронні мережі та глибоке навчання

• Нейронні мережі з прямим розповсюдженням сигналу
• Нейронні мережі, що навчаються шляхом безпосереднього запам'ятовування даних
• Застосування нейронних мереж для розпізнавання кібератак
• Нейронні мережі, що самонавчаються
• Глибокі нейронні мережі
• Згорткові нейронні мережі
• Рекурентні нейронні мережі
• Глибокі рекурентні нейронні мережі
• Нейромережеве розпізнавання диктора, та аналіз клавіатурного почерку
• Проблематика розвитку нейромережних рішень

Прогнозний аналіз і часові ряди

• Оцінювання і прогнозування поліномінального тренду
• Структурний аналіз часових рядів. Прогнозування циклічного тренду
• Дослідження методів згладжування і декомпозиції часових рядів
• Регресійні прогнозуючі моделі та авторегресійні прогнозуючі моделі
• Прогнозування на основі методу опорних векторів
• Нелінійні прогнозуючі моделі
• Розробка і дослідження прогнозуючих моделей, що навчаються
• Прогнозування коінтегрованих часових рядів
• Уточнення і розгортання прогнозних моделей

Основи програмування та інженерії

• Основи мови програмування Python
• Бібліотеки Python для аналізу даних (pandas, numpy, matplotlib, scipy, scikit-learn, seaborn, tensorflow тощо)
• Підготовка та попередня обробка даних
• Знайомство з API бібліотек для будування моделей

Зберігання даних, їх аналіз та візуалізація

• Основні положення
• Моделі даних
• Системи збору та зберігання даних
• SQL як мова управління даними
• Master Data Management
• Рух даних в компанії (data pipeline)
• Аналітика даних (business intelligence)
• Візуалізація даних та data stroytelling

Інфраструктура та технології великих даних для аналізу даних

• Основи хмарних обчислень
• Архітектура систем для великих даних
• Платформа Hadoop для аналізу великих даних
• Бази даних SQL i NoSQL
• Програмування на Hive i Pig Latin для великих даних на платформі Hadoop
• Потоки даних та потокова аналітика
• Управління даними підприємств, організаційні ролі
• Безпека великих даних та відповідність стандартам

Доменна предметна експертиза

• Пропонується на вимогу, специфічний для групи та залежно від наявності доменних експертів
• Можливі теми : Фінанси, CRM, Телекомунікації, Веб-реклама та маркетинг
• Детальна інформація найближчим часом

Фінальний проєкт

Студент вибирає фінальний проєкт із пула задач, запропонованих DS-фахівцями Vodafone, і повинен пройти весь шлях до його реалізації:

• Постановка задачі
• Отримання дата-сету знеособлених задач від Vodafone
• Додатковий збір даних (у разі потреби)
• Вивчення і візуалізація даних
• Препроцесинг
• Вибір моделі та її тренування. Оцінка якості моделі

На випускному іспиті потрібно буде захистити проєкт перед комісією:

• презентація
• код
• результат

Попередні вимоги

• Бажання розібратися у новій перспективній галузі Data Science
• Можливість виділяти протягом півроку та щотижня по 12 годин на аудиторні заняття і не менше часу на самостійну роботу
• Логічно-раціональне, алгоритмічне мислення
• Знання (можливо, забуте) основ лінійної алгебри та теорії ймовірності
• Вміння програмувати будь-якою мовою програмування
• Наявність ноутбука, щоб виконувати лабораторні роботи та працювати на практичних заняттях

Особливості курсу

• Унікальна доменна експертиза
• Практика на реальних великих даних
• Постійне вдосконалення програми
• Поступове входження у матеріал завдяки новим підготовчим курсам
• Команда викладачів світового рівня
• Можливість окремо пройти підготовчий курс і перейти до основного

Викладачі курсу

• Володимир Рибалко - Керівник департаменту Customer Value Management (Big Data) Vodafone Ukraine
• Володимир Кошель - Senior Data Scientist, Deep Learning Engineer. Vodafone Ukraine
• Вероніка Тамайо Флорес - Керівник проектів із запровадження технологій data science та business intelligence в Datascience.ua
• Вікторія Рубан - PR-директор компанії Vodafone Ukraine
• Сергій Курсон - Координатор проєкту
• Леонід Любчик - Професор, доктор технічних наук
• Олександр Романко - Ph.D, Head of Financial Risk Quantitative Research
• Олександр Проскурін - Founder and CIO at Machine Factor Technologies
• Олександра Богуславська - CEO & Founder Data Science UA
• Ганна Мельник
• Богдан Сохатюк
• Олег Чертов - Професор, доктор технічних наук
• Юрій Демченко - Старший науковий співробітник, викладач Амстердамського університету
• Андрій Ставицький - Доктор економічних наук

Програма курсу

Модуль 1. Основи Data Science - науки про дані

• Що таке наука про дані?
• Типи даних
• Життєвий цикл науки про дані

Модуль 2. Впровадження науки про дані

• Збір і підготовка даних
• Моделювання та візуалізація даних
• Ролі в галузі даних

Модуль 3. Вплив науки про дані

• Переваги науки про дані
• Проблеми науки про дані
• Бізнес-кейси з використанням науки про дані

Особливості курсу

• Офіційні навчальні матеріали в електронному вигляді
• Ваучер для складання іспиту
• Сертифікат про прохождення курсу

Протягом трьох місяців інтенсивного навчання ти будеш освоювати матеріали для самонавчання, виконувати завдання та спілкуватися з нашими менторами під час Q&A сесій.

Програма курсу

Ця навчальна програма навчання включає в себе два етапи підготовки.

Етап 1 - 3 місяці. Тобі потрібно виділяти ~ 15 годин щотижня, щоб опанувати такі теми:

• Basic Engineering
• Basic Statistics
• Exploratory Data Analysis
• Regression
• Classification
• Clustering
• Deep Learning Foundation
• Business + Advanced Data Science Overview
• Basic Maximum Likelihood Estimation (MLE)

Після завершення у тебе буде фінальний проект і тебе запросять на технічну співбесіду. Якщо ти успішно їх пройдеш і продемонструєш хороші результати на першому навчальному етапі, то можеш приєднатися до наступного.

Етап 2 - 3,5 місяці. Ти потрапиш на менторську програму, що вимагатиме ~ 30 годин щотижня, щоб опанувати такі теми:

• Computer Vision
• Natural Language Processing
• ML Engineering

По завершенню навчання на тебе чекає заключна технічна співбесіда та можливість продовжити свій кар’єрний шлях відповідно до твоїх здобутих та продемонстрованих навичок і доступних можливостей в EPAM.

Як долучитися до програми?

1. Зареєструйся. Заповни всі необхідні поля, прикріпи своє резюме та отримай підтвердження з детальною інформацією на свою електронну пошту або у розділі сповіщень
2. Опиши свою зацікавленість та мотивацію в блоці "Додаткова інформація" у своєму профілі
3. Пройди тести з англійської мови та технічний тест, які доступні у твоєму профілі. Тести потрібно завершити протягом 5 днів після реєстрації. Щоб пройти далі потрібно володіння англійською на рівні B2 та мінімум 60% в тех. тесті
4. Отримай сповіщення на співбесіду з рекрутером
5. Пройди онлайн-технічний іспит.
6. Отримай запрошення на програму.

Що необхідно для успішного навчання:

• Знання математичного аналізу (похідні, інтеграли, екстремуми функцій у багатовимірному реальному просторі)
• Навички лінійної алгебри (вектори, матриці, тензори, лінійні рівняння, власні значення та власні вектори, квадратичні форми)
• Знання теорії ймовірностей (визначення ймовірності, умовна ймовірність, теорема Байєса, очікування)
• Знання статистики (основні поняття, перевірка гіпотез, поняття ймовірності, оцінка параметра розподілу)
• Розуміння основних концепцій і методів оптимізації (стаціонарні точки, множники Лагранжа, градієнтний спуск)
• Знання структур даних і алгоритмів
• Знання Python (включаючи основи numpy та pandas)
• Рівень англійської: від B2 (Upper-Intermediate)

Участь у програмі дасть тобі можливість:

• Отримати міцний фундамент в розробці програмного забезпечення
• Глибоко зануритися в статистику та аналіз даних
• Вивчити методи регресії, класифікації та кластеризації
• Дослідити основи deep learning та нейронних мереж

Учасники, які покажуть високі результати під час навчання та успішно пройдуть технічну співбесіду, будуть запрошені на наступний етап та долучаться до однієї з менторських програм: Computer Vision, Natural Language Processing або ML Engineering.

Після завершення навчання ти розумітимеш основи машинного навчання, зможеш впроваджувати його алгоритми за допомогою Python-біблітек, а ще будувати й тренувати нейронні мережі для розв’язання реальних задач. Твоїм фінальним проєктом стане розгортання моделі машинного навчання для системи чи ідеї, яку обереш.

Програма курсу

Модуль 1. Основи машинного навчання

• Вступний урок. Знайомство з машинним навчанням і середовищем програмування
• Логістична регресія
• Лінійна регресія з декількома змінними
• Логістична регресія для двійкової класифікації
• Регуляризація та її різновиди
• Класифікація з декількома класами

Модуль 2. Класичні методи і нейронні мережі

• Деревовидні алгоритми з бібліотеками scikit-learn та xgboost
• Вступ до некерованого навчання:
  • кластеризація
  • виявлення аномалій
  • зменшення розмірності
• Рекомендаційні системи на Python
• Основи нейронних мереж

Модуль 3. Глибинні нейронні мережі

• Python-бібліотеки TensorFlow i Keras python libraries. Вступ до роботи з Google Colab
• Згорткові нейронні мережі для розпізнавання зображень
• Популярні мережі розпізнавання зображень. Застосовуємо фреймворки для виконання трансферного навчання
• Методи виявлення об'єктів на зображенні та у відеопотоці
• Вступ до обробки природної мови (NLP) і рекурентних нейронних мереж (RNN)
• Трансформери для обробки природної мови
• Огляд ML Ops. Розгортання моделі TensorFlow i Keras за допомогою тензорного потоку і програми Docker
• Фінальний проєкт і підсумки курсу

Бонус. Генеративний ШІ, просунуті методи та ШІ-етика

• Основи генеративного ШІ
• Просунуті методи машинного навчання
• Етичні проблеми використання ШІ

Вимоги до студентів

• Досвід програмування, бажано на Python але достатньо й основ будь-якої іншої мови програмування
• Впевнені зання математики рівня старшої школи адже курс міститиме похідні, матриці та операції з векторами
• Англійська рівня intermediate або вище для опрацювання матеріалів мовою оригіналу

Особливості курсу

• Живі заняття з викладачем
• Кар'єрне консультування з професійним рекрутером
• Програма створена senior-експертами
• Затишна спільнота на заняттях
• Підтримка координатора групи

Викладачі курсу

• Томас Бенгтссон - Software Developer at Skira
• Ігор Вустянюк - Data Scientist/Python Developer at Beetroot