Курс Big Data

Програма курсу

Основи обчислень для Data Science

• Основи математичного аналізу для DS
• Основи лінійної алгебри для DS
• Методи оптимізації
• Основи теорії ймовірностей для DS
• Основи математичної статистики для DS

Машинне навчання та аналіз даних

Supervised Learning

Дерева прийняття рішень, наївний баєсів класифікатор, логістична регресія, андсамблеві методи.

Unsupervised Learning

Алгоритми кластеризації.

Специфічні види машинного навчання

Навчання з гарантованою точністю (conformal learning), причинно-наслідкове навчання (casual learning).

Інтелектуальний аналіз даних

Зниження розмірності, пошук асоціативних правил.

Нейронні мережі та глибоке навчання

• Нейронні мережі з прямим розповсюдженням сигналу
• Нейронні мережі, що навчаються шляхом безпосереднього запам'ятовування даних
• Застосування нейронних мереж для розпізнавання кібератак
• Нейронні мережі, що самонавчаються
• Глибокі нейронні мережі
• Згорткові нейронні мережі
• Рекурентні нейронні мережі
• Глибокі рекурентні нейронні мережі
• Нейромережеве розпізнавання диктора, та аналіз клавіатурного почерку
• Проблематика розвитку нейромережних рішень

Прогнозний аналіз і часові ряди

• Оцінювання і прогнозування поліномінального тренду
• Структурний аналіз часових рядів. Прогнозування циклічного тренду
• Дослідження методів згладжування і декомпозиції часових рядів
• Регресійні прогнозуючі моделі та авторегресійні прогнозуючі моделі
• Прогнозування на основі методу опорних векторів
• Нелінійні прогнозуючі моделі
• Розробка і дослідження прогнозуючих моделей, що навчаються
• Прогнозування коінтегрованих часових рядів
• Уточнення і розгортання прогнозних моделей

Основи програмування та інженерії

• Основи мови програмування Python
• Бібліотеки Python для аналізу даних (pandas, numpy, matplotlib, scipy, scikit-learn, seaborn, tensorflow тощо)
• Підготовка та попередня обробка даних
• Знайомство з API бібліотек для будування моделей

Зберігання даних, їх аналіз та візуалізація

• Основні положення
• Моделі даних
• Системи збору та зберігання даних
• SQL як мова управління даними
• Master Data Management
• Рух даних в компанії (data pipeline)
• Аналітика даних (business intelligence)
• Візуалізація даних та data stroytelling

Інфраструктура та технології великих даних для аналізу даних

• Основи хмарних обчислень
• Архітектура систем для великих даних
• Платформа Hadoop для аналізу великих даних
• Бази даних SQL i NoSQL
• Програмування на Hive i Pig Latin для великих даних на платформі Hadoop
• Потоки даних та потокова аналітика
• Управління даними підприємств, організаційні ролі
• Безпека великих даних та відповідність стандартам

Доменна предметна експертиза

• Пропонується на вимогу, специфічний для групи та залежно від наявності доменних експертів
• Можливі теми : Фінанси, CRM, Телекомунікації, Веб-реклама та маркетинг
• Детальна інформація найближчим часом

Фінальний проєкт

Студент вибирає фінальний проєкт із пула задач, запропонованих DS-фахівцями Vodafone, і повинен пройти весь шлях до його реалізації:

• Постановка задачі
• Отримання дата-сету знеособлених задач від Vodafone
• Додатковий збір даних (у разі потреби)
• Вивчення і візуалізація даних
• Препроцесинг
• Вибір моделі та її тренування. Оцінка якості моделі

На випускному іспиті потрібно буде захистити проєкт перед комісією:

• презентація
• код
• результат

Попередні вимоги

• Бажання розібратися у новій перспективній галузі Data Science
• Можливість виділяти протягом півроку та щотижня по 12 годин на аудиторні заняття і не менше часу на самостійну роботу
• Логічно-раціональне, алгоритмічне мислення
• Знання (можливо, забуте) основ лінійної алгебри та теорії ймовірності
• Вміння програмувати будь-якою мовою програмування
• Наявність ноутбука, щоб виконувати лабораторні роботи та працювати на практичних заняттях

Особливості курсу

• Унікальна доменна експертиза
• Практика на реальних великих даних
• Постійне вдосконалення програми
• Поступове входження у матеріал завдяки новим підготовчим курсам
• Команда викладачів світового рівня
• Можливість окремо пройти підготовчий курс і перейти до основного

Викладачі курсу

• Володимир Рибалко - Керівник департаменту Customer Value Management (Big Data) Vodafone Ukraine
• Володимир Кошель - Senior Data Scientist, Deep Learning Engineer. Vodafone Ukraine
• Вероніка Тамайо Флорес - Керівник проектів із запровадження технологій data science та business intelligence в Datascience.ua
• Вікторія Рубан - PR-директор компанії Vodafone Ukraine
• Сергій Курсон - Координатор проєкту
• Леонід Любчик - Професор, доктор технічних наук
• Олександр Романко - Ph.D, Head of Financial Risk Quantitative Research
• Олександр Проскурін - Founder and CIO at Machine Factor Technologies
• Олександра Богуславська - CEO & Founder Data Science UA
• Ганна Мельник
• Богдан Сохатюк
• Олег Чертов - Професор, доктор технічних наук
• Юрій Демченко - Старший науковий співробітник, викладач Амстердамського університету
• Андрій Ставицький - Доктор економічних наук