Курс Data Science with Python

Курс навчить розв'язувати основні задачі Data Science за допомогою поглибленої роботи з Python та його бібліотеками. В результаті ви зможете будувати просунуті візуалізації, знаходити взаємозв'язки в даних, робити прогнози та навчати моделі.

Програма курсу

Задачі Data Science. Interactive Python і знайомство з NumPy

• Дізнаєтеся, чим машинне навчання відрізняється від класичного програмування, та ознайомитеся з видами задач машинного навчання
• Опануєте інструменти для інтерактивної роботи з Python [IPython, Jupyter Notebook та Google Colaboratory]
• Познайомитеся з бібліотекою NumPy
• Навчитеся працювати з типом даних Array: ініціалізація, характеристики, копіювання, типи даних, reshape, фільтрація, сортування
• Вивчите базові математичні функції Array
• Навчитеся створювати масиви та виконувати базові операції над ними в бібліотеці NumPy

NumPy. Лінійна алгебра і статистика

• Отримаєте коротке введення до лінійної алгебри та розберете на прикладах, як ці математичні функції працюють у бібліотеці NumPy
• Навчитеся використовувати математичні та статистичні функції в NumPy
• Навчитеся вводити та виводити NumPy-матриці та масиви різної величини

Знайомство з Pandas

• Дізнаєтеся, навіщо потрібна бібліотека Pandas і що вона дозволяє робити з даними
• Ознайомитеся зі структурами даних у Pandas (Series та Dataframe) і навчитеся проводити базові операції над ними
• Навчитеся створювати, імпортувати та експортувати табличні дані в Pandas Dataframe
• Навчитеся маніпулювати табличними даними
• Дізнаєтесь, як швидко та зручно працювати з табличними даними за допомогою Pandas

Візуалізація даних

• Ознайомитеся з бібліотекою Matplotlib
• Навчитеся будувати базові візуалізації в Python за допомогою Matplotlib
• Дізнаєтеся про три способи візуалізувати дані в Pandas Data Frame
• Навчитеся будувати просунуті візуалізації: heatmap, box plot, pair plot, cumulative plot
• Навчитеся будувати базові інтерактивні візуалізації

Exploratory Data Analysis (EDA) та очистка даних

• Дізнаєтеся, що таке Exploratory Data Analysis (EDA) та його основні компоненти
• Навчитеся швидко розуміти структуру набору даних будь-якого розміру
• Дізнаєтеся, що робити з пропущеними даними та дублікатами
• Навчитеся проводити EDA за допомогою Pandas, SweetViz, Pandas Profiling

Пошук та видалення пропущених значень

• Дізнаєтеся, що таке пропущені значення та чому їх треба опрацьовувати
• Ознайомитеся з типами пропущених значень (випадкові, наслідки системної помилки тощо)
• Навчитеся виявляти пропущені значення у вибірці даних
• Ознайомитеся з різними способами заповнення пропущених значень і навчитеся використовувати кожен із них

Задача прогнозування. Лінійна регресія. Градієнтний спуск

• Розберете модель простої лінійної регресії та її математичну основу
• Ознайомитеся з методом найменших квадратів і методом градієнтного спуску
• Навчитеся тренувати модель лінійної регресії за допомогою бібліотеки scikit-learn
• Дізнаєтесь, як оцінювати якість моделі лінійної регресії, та навчитеся працювати з метриками MSE і RMSE

Інші типи регресій

• Розберете модель багатовимірної лінійної регресії та навчитеся будувати її за допомогою scikit-learn
• Навчитеся інтерпретувати коефіцієнти лінійної регресії
• Розберете модель поліноміальної регресії
• Дізнаєтесь, як оцінювати якість моделі за допомогою метрик MAE, MAPE, R-squared
• Розберете моделі гребінцевої регресії, регресії за методом LASSO та регресії "еластична мережа"

Вибір найкращої моделі. Техніки валідації. Пошук гіперпараметрів

• Дізнаєтеся, навіщо розбивати вибірку на train/validation/test-вибірки
• Зрозумієте, в чому відмінність validation- і test-вибірок
• Дізнаєтеся, що таке гіперпараметри моделі та в чому їхня відмінність від параметрів
• Ознайомитеся з методами підбору гіперпараметрів і навчитеся викликати їх у scikit-learn
• Дізнаєтеся, що таке перехресна валідація та як використовувати її в sklearn
• Зрозумієте, що таке overfit i underfit (і чому це проблема)
• Навчитеся застосовувати регуляризацію в моделях регресії

Задача класифікації. Логістична регресія

• Дізнаєтесь, як навчати модель логістичної регресії для класифікації даних і оцінювати її якість
• Отримаєте алгоритм дій у випадку мультикласової класифікації та зрозумієте, як оцінити якість таких моделей

Модель "дерева рішень"

• Ознайомитеся з моделлю "дерева рішень" і дізнаєтеся, в чому її відмінність від лінійних моделей
• Навчитеся будувати модель "дерева рішень" у scikit-learn

Ансамблі моделей

• Зрозумієте, як працюють ансамблі моделей і в чому їхні переваги
• Розберете базові (Max Voting, Averaging, Weighted Averaging) та просунуті (Stacking, Bagging, Boosting) техніки побудови ансамблів
• Навчитеся будувати різні типи ансамблів моделей
• Дізнаєтеся, який спосіб ансамблювання потрібно використати у випадку high bias, а який - у випадку high variance

Алгоритми бустингу: адаптивний та градієнтний бустинг. Бібліотеки XGBoost

• Вивчите принципи роботи адаптивного і градієнтного бустингів
• Ознайомитеся з функціями бібліотеки XGBoost, розберете її особливості та переваги

Кластерний аналіз даних

• Розберете модель кластеризації як приклад задачі навчання без учителя
• Розберете моделі кластеризації K-Means, DBSCAN, Agglomerative Clustering, а також їхні особливості побудови та принципи роботи на практиці
• Навчитеся виявляти групи схожих екземплярів даних за допомогою кластеризації

Вибір ознак. Зменшення розмірності даних

• Навчитеся зменшувати розмірність набору даних із великою кількістю ознак
• Навчитеся обирати фічі так, щоб залишити лише найбільш значущі для моделі
• Дізнаєтесь, як працюють і чим відрізняються методи зменшення розмірності SVD, PCA та LDA

Статистичний аналіз даних

• Ознайомитеся з бібліотекою SciPy
• Навчитеся генерувати випадкові величини різних імовірнісних розподілів, проводити тести нормальності та порівнювати розподіли двох випадкових величин
• Вивчите основи перевірки статистичних гіпотез: помилки I та II роду, p-value
• Дізнаєтесь, як проводити А/В-тестування та перевіряти гіпотези

Співбесіди й вимоги до них. Розповсюджені помилки у домашніх завданнях

Особливості курсу

• Заняття щопонеділка та щочетверга
• Інструменти для роботи
• Сильний контент
• Практика
• Кар'єра: розширення стеку навичок

Викладачі курсу

• Олександра Кардаш - Senior Software Engineer at Google
• Ірина Безкровна - Technical Data Lead at Xometry