Курси Data Science та Machine learning

Ви навчитеся проводити статистичний аналіз даних за допомогою Python та розвинете математичне мислення для розв'язання реальних завдань Data Science

Програма курсу

Python для аналізу даних: Part 1

• Запускаєте код у Jupyter Notebook
• Проводите базові операції над числами та простими структурами даних
• Застосовуєте цикли for та while
• Розумієте, як поєднання "математика + Python" допоможе вам у роботі

Python для аналізу даних: Part 2

• Під'єднуєте бібліотеки Python
• Оперуєте даними за допомогою бібліотек NumPy та Pandas
• Візуалізуєте дані та інтерпретуєте результати за допомогою бібліотек Matplotlib та Seaborn

Дескриптивна статистика

• Застосовуєте моду, медіану, середнє значення та середньоквадратичне відхилення для аналізу даних
• Візуалізуєте результати аналізу та описуєте дані
• Використовуєте бібліотеки Matplotlib, Seaborn та Plotly

Теорія множин

• Знаєте, що таке множини та навіщо вони потрібні
• Використовуєте матриці та вектори для аналізу даних за допомогою NumPy
• Застосовуєте операції над множинами в роботі з даними
• Вмієте читати математичні позначення інтегрального та диференціального числення
• Використовуєте діаграми Венна для аналізу проблем

Теорія ймовірності

• Знаєте, що таке ймовірність та умовна ймовірність
• Виконуєте прості завдання на ймовірність

Випадкові величини та розподіли

• Застосовуєте теорему Баєса в щоденному житті під час ухвалення рішень
• Знаєте, що таке розподіл та як він пов’язаний з імовірністю
• Розумієте, що таке математичне очікування та дисперсія
• Вмієте аналізувати проблеми та завдання в робочому контексті
• Описуєте завдання за допомогою математичного очікування, дисперсії та коефіцієнта ексцесу

Залежність між випадковими величинами

• Розумієте різницю між кореляцією та причинністю
• Вмієте аналізувати та використовувати в роботі діаграми розсіювання для аналізу кореляції
• Знаєте, що таке математичне очікування, дисперсія, коваріація та кореляція

Основні розподіли

• Знаєте основні розподіли, вмієте їх застосовувати
• Визначаєте, який розподіл описує вашу проблему
• Використовуєте бібліотеку stats

Дані. Статистика. Вибірка

• Знаєте, що таке статистика та які проблеми вона розвʼязує
• Вивчили методи вибірки
• Плануєте та виконуєте збірку даних

Точкова оцінка

• Розумієте, що таке точкова оцінка
• Знаєте, як працює метод максимальної вірогідності
• Використовуєте прості статистики для оцінювання пропорцій та середніх значень

Інтервальна оцінка

• Знаєте, що таке довірчий інтервал
• Інтерпретуєте довірчий інтервал
• Будуєте довірчі інтервали для простих проблем та розумієте, у яких випадках вони не працюють

Перевірка статистичних гіпотез

• Знаєте, що таке P-значення та як його інтерпретувати
• Розбираєтесь у типах помилок
• Формулюєте статистичні гіпотези
• Перевіряєте прості статистичні гіпотези різними методами

Аналіз якісних даних

• Аналізуєте якісні дані
• Будуєте та аналізуєте таблиці сполученості
• Перевіряєте адекватність моделі за допомогою chi-square та бібліотеки stats

Статистика на практиці

• Розпізнаєте можливу помилку в аналізі та коригуєте її
• Проводите поправку під час перевірки множин гіпотез

Регресійний аналіз

• Формулюєте проблему для лінійної регресії
• Використовуєте scikit-learn для регресійного аналізу даних
• Перевіряєте результат регресійного аналізу на адекватність
• Регулюєте свою модель різними методами в разі перенавчання

Логістична регресія. Вступ до машинного навчання

• Знаєте, що таке статистичне навчання
• Розв'язуєте проблеми класифікації за допомогою логістичної регресії
• Застосовуєте перехресну перевірку
• Використовуєте scikit-learn для класифікації даних за допомогою логістичної регресії та перехресної перевірки
• Вмієте робити перехресну перевірку вручну

Заключне заняття. Висновки

• Знаєте, як братися за розв'язання проблем
• Розумієте, як зменшити ймовірність помилок

Презентація курсового проєкту

Презентуєте свою роботу колегам.

Особливості курсу

• Сильний контент
• Інструменти для роботи
• Практика
• Кар'єра
• Аналітична практика
• Розробка проєкту
• Апгрейд скілів

Викладачі курсу

Наталія Кеес - Data Scientist at Airbus

Курс навчить розв'язувати основні задачі Data Science за допомогою поглибленої роботи з Python та його бібліотеками. В результаті ви зможете будувати просунуті візуалізації, знаходити взаємозв'язки в даних, робити прогнози та навчати моделі.

Програма курсу

Задачі Data Science. Interactive Python і знайомство з NumPy

• Дізнаєтеся, чим машинне навчання відрізняється від класичного програмування, та ознайомитеся з видами задач машинного навчання
• Опануєте інструменти для інтерактивної роботи з Python [IPython, Jupyter Notebook та Google Colaboratory]
• Познайомитеся з бібліотекою NumPy
• Навчитеся працювати з типом даних Array: ініціалізація, характеристики, копіювання, типи даних, reshape, фільтрація, сортування
• Вивчите базові математичні функції Array
• Навчитеся створювати масиви та виконувати базові операції над ними в бібліотеці NumPy

NumPy. Лінійна алгебра і статистика

• Отримаєте коротке введення до лінійної алгебри та розберете на прикладах, як ці математичні функції працюють у бібліотеці NumPy
• Навчитеся використовувати математичні та статистичні функції в NumPy
• Навчитеся вводити та виводити NumPy-матриці та масиви різної величини

Знайомство з Pandas

• Дізнаєтеся, навіщо потрібна бібліотека Pandas і що вона дозволяє робити з даними
• Ознайомитеся зі структурами даних у Pandas (Series та Dataframe) і навчитеся проводити базові операції над ними
• Навчитеся створювати, імпортувати та експортувати табличні дані в Pandas Dataframe
• Навчитеся маніпулювати табличними даними
• Дізнаєтесь, як швидко та зручно працювати з табличними даними за допомогою Pandas

Візуалізація даних

• Ознайомитеся з бібліотекою Matplotlib
• Навчитеся будувати базові візуалізації в Python за допомогою Matplotlib
• Дізнаєтеся про три способи візуалізувати дані в Pandas Data Frame
• Навчитеся будувати просунуті візуалізації: heatmap, box plot, pair plot, cumulative plot
• Навчитеся будувати базові інтерактивні візуалізації

Exploratory Data Analysis (EDA) та очистка даних

• Дізнаєтеся, що таке Exploratory Data Analysis (EDA) та його основні компоненти
• Навчитеся швидко розуміти структуру набору даних будь-якого розміру
• Дізнаєтеся, що робити з пропущеними даними та дублікатами
• Навчитеся проводити EDA за допомогою Pandas, SweetViz, Pandas Profiling

Пошук та видалення пропущених значень

• Дізнаєтеся, що таке пропущені значення та чому їх треба опрацьовувати
• Ознайомитеся з типами пропущених значень (випадкові, наслідки системної помилки тощо)
• Навчитеся виявляти пропущені значення у вибірці даних
• Ознайомитеся з різними способами заповнення пропущених значень і навчитеся використовувати кожен із них

Задача прогнозування. Лінійна регресія. Градієнтний спуск

• Розберете модель простої лінійної регресії та її математичну основу
• Ознайомитеся з методом найменших квадратів і методом градієнтного спуску
• Навчитеся тренувати модель лінійної регресії за допомогою бібліотеки scikit-learn
• Дізнаєтесь, як оцінювати якість моделі лінійної регресії, та навчитеся працювати з метриками MSE і RMSE

Інші типи регресій

• Розберете модель багатовимірної лінійної регресії та навчитеся будувати її за допомогою scikit-learn
• Навчитеся інтерпретувати коефіцієнти лінійної регресії
• Розберете модель поліноміальної регресії
• Дізнаєтесь, як оцінювати якість моделі за допомогою метрик MAE, MAPE, R-squared
• Розберете моделі гребінцевої регресії, регресії за методом LASSO та регресії "еластична мережа"

Вибір найкращої моделі. Техніки валідації. Пошук гіперпараметрів

• Дізнаєтеся, навіщо розбивати вибірку на train/validation/test-вибірки
• Зрозумієте, в чому відмінність validation- і test-вибірок
• Дізнаєтеся, що таке гіперпараметри моделі та в чому їхня відмінність від параметрів
• Ознайомитеся з методами підбору гіперпараметрів і навчитеся викликати їх у scikit-learn
• Дізнаєтеся, що таке перехресна валідація та як використовувати її в sklearn
• Зрозумієте, що таке overfit i underfit (і чому це проблема)
• Навчитеся застосовувати регуляризацію в моделях регресії

Задача класифікації. Логістична регресія

• Дізнаєтесь, як навчати модель логістичної регресії для класифікації даних і оцінювати її якість
• Отримаєте алгоритм дій у випадку мультикласової класифікації та зрозумієте, як оцінити якість таких моделей

Модель "дерева рішень"

• Ознайомитеся з моделлю "дерева рішень" і дізнаєтеся, в чому її відмінність від лінійних моделей
• Навчитеся будувати модель "дерева рішень" у scikit-learn

Ансамблі моделей

• Зрозумієте, як працюють ансамблі моделей і в чому їхні переваги
• Розберете базові (Max Voting, Averaging, Weighted Averaging) та просунуті (Stacking, Bagging, Boosting) техніки побудови ансамблів
• Навчитеся будувати різні типи ансамблів моделей
• Дізнаєтеся, який спосіб ансамблювання потрібно використати у випадку high bias, а який - у випадку high variance

Алгоритми бустингу: адаптивний та градієнтний бустинг. Бібліотеки XGBoost

• Вивчите принципи роботи адаптивного і градієнтного бустингів
• Ознайомитеся з функціями бібліотеки XGBoost, розберете її особливості та переваги

Кластерний аналіз даних

• Розберете модель кластеризації як приклад задачі навчання без учителя
• Розберете моделі кластеризації K-Means, DBSCAN, Agglomerative Clustering, а також їхні особливості побудови та принципи роботи на практиці
• Навчитеся виявляти групи схожих екземплярів даних за допомогою кластеризації

Вибір ознак. Зменшення розмірності даних

• Навчитеся зменшувати розмірність набору даних із великою кількістю ознак
• Навчитеся обирати фічі так, щоб залишити лише найбільш значущі для моделі
• Дізнаєтесь, як працюють і чим відрізняються методи зменшення розмірності SVD, PCA та LDA

Статистичний аналіз даних

• Ознайомитеся з бібліотекою SciPy
• Навчитеся генерувати випадкові величини різних імовірнісних розподілів, проводити тести нормальності та порівнювати розподіли двох випадкових величин
• Вивчите основи перевірки статистичних гіпотез: помилки I та II роду, p-value
• Дізнаєтесь, як проводити А/В-тестування та перевіряти гіпотези

Співбесіди й вимоги до них. Розповсюджені помилки у домашніх завданнях

Особливості курсу

• Заняття щопонеділка та щочетверга
• Інструменти для роботи
• Сильний контент
• Практика
• Кар'єра: розширення стеку навичок

Викладачі курсу

Олександра Кардаш - Senior Software Engineer at Google

За 14 онлайн-занять навчитеся працювати з класичними моделями, як-от ARIMA та SARIMA, а також із сучасними нейронними мережами, зокрема з LSTM, для розв’язання складних бізнес-завдань. Крім цього, опануєте техніки кросвалідації, обробки даних та створення ансамблевих моделей — щоб підвищити точність прогнозів та автоматизувати процеси в компаніях.

Програма курсу

Знайомство з машинним навчанням

• Дізнаєтеся, що таке машинне навчання
• Навчитеся будувати моделі лінійної регресії
• З’ясуєте, чому часові ряди виділяють як клас

Дерева та кросвалідація

• Зрозумієте, як будують дерево
• Розберетеся в метриках
• Дізнаєтесь, як правильно оцінити моделі

Ансамблі та валідація моделей для часових рядів

• Навчитеся генерувати ознаки (Feature Engineering) для часових рядів
• Зрозумієте, чому ансамблі потужніші за звичайні моделі
• Дізнаєтесь, як робити валідацію на часових рядах

Обробка, декомпозиція та візуалізація

• Розберете, з яких компонентів складаються часові ряди та як вони можуть поєднуватися
• Навчитеся робити детальні та інформативні візуалізації
• Зрозумієте, як правильно опрацьовувати часові ряди

Моделі типу ARIMA

Навчитеся будувати класичні моделі для часових рядів типу ARIMA.

Експотенційне згладжування

• Попрактикуєтеся будувати моделі експоненційного згладжування
• Розглянете їхні переваги та недоліки

Модель Prophet

Навчитеся будувати моделі Prophet.

Ієрархічні підходи в часових рядах та гібридні моделі

Навчитеся працювати з групою часових рядів та об’єднувати моделі для їхнього прогнозування між собою.

Вступ до нейромереж

• Розглянете, як будують нейромережі
• Дізнаєтесь, як їх тренують
• Зможете самостійно імплементувати просту нейромережу

Автоенкодери

• Зрозумієте архітектуру автоенкодерів
• Навчитеся самостійно будувати модель автоенкодера
• Зможете інтерпретувати результати й використовувати ці моделі для виявлення аномалій

RNN

• Зрозумієте архітектуру нейромереж
• Навчитесь будувати RNN для часових рядів

LSTM

Дізнаєтесь, які недоліки має RNN та як їхню роботу покращує LSTM.

CNN

• Розберетесь у базовій архітектурі CNN
• Дізнаєтесь, як їх можна застосувати для часових рядів

Моніторинг, аномалії та next steps

• Розглянете моніторинг та знаходження аномалій
• Дізнаєтеся, де можна ще застосувати нові знання

Особливості курсу

• 14 онлайн-занять
• Допомога ментора
• Сертифікат про проходження курсу
• Кейс у портфолоіо
• Курсовий проєкт

Викладачі курсу

Кристи Ісакова - former Data Scientist at CHECK24, Holidu and FlixBus

Курс Data Science для нетехнічних спеціалістів. Після закінчення навчання ви зможете самостійно написати прості SQL запити, скласти звіти у Power BI або ж зробити прототип DS-проєкту.

Програма курсу

Вступна лекція. Робота з даними

• Розберемося, які існують типи даних і чому вони важливі для проєкту
• Дізнаємося, де можна брати дані, як всередині вашого проєкту, так і за його межами
• Розглянемо, які види Data Science існують
• Порівняємо позиції Data Engineer та Data Analyst і дізнаємося їхні основні відмінності, а також де закінчується їх зона відповідальності і починається робота менеджера
• Проведемо воркшоп із підготовки даних для тренування моделі на прикладі e-commerce

Написання SQL запитів

• Вивчимо основні артефакти даних: бази даних, таблиці, атрибути
• Поговоримо про Big Data і яку користь від цього можна мати
• Розглянемо, коли використовувати SQL, а коли віддати перевагу NoSQL
• Попрактикуємось в написанні базових запитів:
  • Вчимося створювати вибірки даних (SELECT)
  • З'єднуємо таблиці (JOIN)
  • Збираємо дані (AGGREGATIONS)

Вибір правильного підходу в DS

Дізнаємося, які завдання можна вирішити за допомогою DS\ML і що потрібно для початку впровадження технології у своєму проєкті, розібравши:

• Як визначити проблему для вирішення
• Як сформувати гіпотезу зростання
• Як оцінити вплив гіпотези на продукт
• Які бізнес ресурси потрібні для початку роботи над гіпотезою

Побудова моделі

• Типова архітектуру DS\ML проєкту
• Будуємо модель власноруч, щоб зрозуміти, як створити MVP вашого Data Science проєкту
• Оцінюємо результат роботи моделі. Критерії якості моделі та підсумки роботи Machine Learning команди
• Визначаємо Machine Learning моделі для чотирьох типів завдань:
  • Ціноутворення
  • Класифікація відгуків
  • Розпізнавання зображення
  • Побудова чат-бота

Побудова Machine Learning команди всередині компанії

• Побудова Machine Learning команди і кого треба наймати для створення MVP вашого проєкту
• Зони відповідальності на етапі MVP і за повного циклу розробки. Визначимо, як впроваджувати Data Science в вашому проєкті або продукті
• Розглядаємо Agile практики з управління DS/ML проєктами і чим вони відрізняються від традиційної розробки

Data Science для розрахунку LTV

• Обговоримо поняття статистичної значущості. Робимо прогноз LTV за допомогою статистичних методів
• Зробимо аналогічний прогноз LTV за допомогою DS методів
• Проаналізуємо нюанси передбачення відтоку клієнтів (churn)
• Вчимося приймати рішення на основі прогнозів за допомогою churn моделей
• Як сегментування клієнтів разом із передбаченням LTV і відтоку клієнтів може допомогти в оптимізації бізнесу

NLP для оптимізації Support команди

• Обговоримо, як за допомогою методів обробки природної мови та active learning оптимізувати роботу відділу підтримки клієнтів
• Розберемося, як впровадити їх у себе в проєкті
• Застосуємо кілька алгоритмів, які допоможуть з визначенням тем і обробкою коментарів
• Розглянемо, коли краще використовувати алгоритми навчання без вчителя

Візуалізація даних

Основні інструменти для візуалізації:

• Excel
• Tableau
• PowerBI
• QlikView
• Pentaho
• Birst

Візуалізація даних за допомогою Power BI

• З'єднуємо джерела
• Створюємо діаграми
• Використовуємо фільтри і агрегацію
• Налаштовуємо dashboards
• Розбираємося з delivery і експортом

Впровадження NLP в компанію

• Стандартний NLP pipeline
• Поставлене бізнес завдання і процес впровадження конкретного рішення з вибором компонентів
• Розмітки даних для тренінгу, тренінг DNN, використані метрики
• Інтеграція технічного рішення з інфраструктурою бізнесу

Особливості курсу

• Курс розрахований на поглиблення навичок для Project Managers, Product Managers, Business Analysts, Business Owners
• Викладачі мають великий досвід роботи у різних компаніях
• Персональні консультації по розвитку кар'єри
• Рекомендації по покращенню резюме та портфоліо
• Допомога в пошуку релевантних вакансій
• Можливе повернення коштів після двох занять, якщо не сподобається

Викладачі курсу

• Сергій Брандіс - Co-founder AI в startup Aidrome
• Кирило Юрченко - DS Architect в GlobalLogic
• Сергій Пінігін - Director of Product в Adwiser

Опануйте повний стек інструментів і скілів дата-саєнтиста, а також навчіться будувати моделі прогнозування

Програма курсу

Вступ до професії Data Scientist і воркфлоу роботи на курсу

Теми:

• Що таке дані та для чого їх збирати
• Чим відрізняються професії Data Analyst, BI Analyst, Data Engineer, Software Engineer, Data Scientist i Machine Learning Engineer
• Стек навичок Data Scientist

Результати:

• Дізнаєтеся, що таке дані і які можливості є в бізнесу, якщо він правильно збирає та обробляє свої дані
• Зрозумієте різницю між професіями Data Scientist, Data Analyst, BI Analyst і Data Engineer. Розберете зони відповідальності кожної
• Дізнаєтеся про види та типи даних
• Розберете ключові задачі Data Scientist у компанії
• Розберете стек навичок Data Scientist, виокремите власні сильні та слабкі сторони для цієї професії

Інструменти Data Scientist

Теми:

• Python та Jupyter Notebook
• Принципи ООП та їхнє застосування в програмуванні на Python
• Базові концепти Python
• Функціональне програмування
• Особливості програмування на Python
• Основні бібліотеки та фреймворки Python
• Бібліотеки Python для Data Science

Результати:

• Знайомі з концептом і принципами програмування на Python
• Знаєте базовий синтаксис Python
• Вмієте користуватися Jupyter Notebook
• Знайомі з принципами ООП та застосовуєте їх на практиці
• Розумієте різницю між обʼєктно-орієнтованим і функціональним програмуванням
• Вмієте використовувати код на Python для пошуку та обробки даних
• Розумієте, для чого потрібні бібліотеки Python, та знайомі з основними з них
• Знаєте, які бібліотеки Python використовують у Data Science, та вмієте працювати з ними

Базова математика для Data Science

Теми:

• Основні концепти лінійної алгебри
• Поняття вектора та операції з векторами
• Поняття матриці та операції над матрицями
• Векторний, нормативний та математичний простір
• Події та ймовірність
• Розподіл імовірностей
• Дисперсія
• Види розподілів

Результати:

• Актуалізували забуті знання з лінійної алгебри та статистики
• Знайомі з поняттям просторів у математиці та розумієте, для чого вони потрібні
• Знайомі з концептами теорії ймовірностей
• Знаєте формули розрахунку ймовірностей та вмієте ними користуватися
• Розумієте, що таке розподіл, дисперсія, кореляція, коваріація
• Вмієте описувати задачі математичною мовою
• Застосовуєте математичні формули для розвʼязання задач Data Science

Бази даних для Data Science

Теми:

• Що таке дані та як їх зберігати
• SQL для роботи з даними

Результати:

• Розумієте, що таке дані та як правильно їх зберігати
• Розбираєтесь у видах баз даних
• Розумієте різницю між DB та DBMS
• Вмієте писати SQL-запити та користуватися операторами INSERT, DELETE, SELECT, WHERE та JOIN
• Знаєте, як "витягнути" потрібні дані з бази

Методи машинного навчання

Теми:

• Регресія
• Задачі класифікації
• Метод опорних векторів
• Дерева ухвалення рішень
• Задачі кластеризації
• Методи прогнозування
• Методи оцінки якості прогнозів
• Поняття нейронних мереж
• Бібліотеки та фреймворки для роботи з нейромережами
• Метрики оцінки якості моделей Machine Learning

Результати:

• Вмієте будувати лінійну та поліноміальну регресію
• Вмієте розв'язувати задачі класифікації та кластеризації
• Знаєте, як провести базовий Time Series Analysis
• Вмієте будувати прогнози на основі отриманих даних
• Вмієте працювати з пакетами PyTorch, TensorFlow, Keras для побудови моделей Machine Learning
• Знайомі з метриками оцінки якості моделей
• Розумієте, який алгоритм працює "під капотом" нейромереж
• Побудували першу нейронну мережу вручну
• Вмієте користуватися нейромережами для прогнозування

Аналіз даних та прогнозування

Теми:

• Зчитування та обробка даних перед побудовою моделі
• EDA, Feature Engineering, Feature Importance

Результати:

• Зчитуєте дані із CSV, JSON, XLSX, SQLite
• Знаєте, як працювати з Missing Data
• Будуєте зрозумілі візуалізації для даних
• Вмієте знаходити закономірності в даних
• Розумієте, чому так важливо правильно зібрати та обробити дані перед побудовою моделей прогнозування і чому не можна просто взяти всі дані та закинути в модель
• Знайомі з поняттям Feature та знаєте, що це таке в кожній моделі
• Розумієте, навіщо використовувати Feature Importance

Обробка Big Data та розвиток майндсету дата-саєнтиста

Теми:

• Обробка великих даних: парадигми, паралельне обчислення, розподілені системи
• Компоненти Spark: Core, SQL, MlLib, Streaming, GraphX
• Основи Spark: RDD, transformations та actions, lazy evaluations
• Популярні API для роботи зі Spark
• Базові операції в Databricks Notebook, синтаксис PySpark, візуалізація даних
• Що таке майндсет дата-саєнтиста
• Формулювання гіпотез та методи їх перевірки
• Розуміння потреб бізнесу, поєднання вимог і математичних побажань
• Вибір підходу та моделі, оцінка моделей
• Поділ задачі від ПО на таски, планування
• Презентація результатів та кінцевого рішення
• Побудова власного профілю Data Scientist

Результати:

• Розумієте, що таке великі дані та знаєте принципи їх обробки
• Знаєте основи технології Spark та типові ситуації для її застосування
• Володієте базовим синтаксисом PySpark для операцій в Spark
• Працюєте з даними в Databricks Notebooks
• Застосовуєте майндсет дата-саєнтиста на практиці

Презентація фінального проєкту

Результати:

• Отримаєте Tabular Data і застосуєте всі скіли, опановані протягом курсу, на практиці
• Опрацюєте дані, побудуєте візуалізації, зберете пайплайн, побудуєте та натренуєте модель для прогнозування
• Представите свою модель колегам

Особливості курсу

• Теорія
• Інструменти для роботи
• Практика
• Кар'єра

Викладачі курсу

Дмитро Безущак - Data Scientist / ML Engineer