Курс Архітектури сучасних нейромереж

Навчіться підбирати правильну архітектуру під конкретну задачу, працювати з генеративним AI, recommendation systems і multimodal-підходами.

Програма курсу

Огляд AI-ландшафту й еволюція нейронних мереж

• Зрозумієте еволюцію нейронних мереж і чому кожна архітектура з'явилась
• Дізнаєтеся, де які архітектури використовуються (CV, NLP, RecSys, GenAI)
• Зрозумієте базові концепти: персептрон, функції активації, градієнти, backprop
• Навчитеся реалізовувати персептрони й тренувати їх на простих даних

MLP, CNN, RNN: обмеження і чому цього мало

• Зрозумієте архітектуру MLP, CNN, RNN: як вони працюють
• Дізнаєтесь обмеження кожної: MLP - локальність, CNN - послідовність, RNN - затухання
• Навчитеся реалізовувати CNN у PyTorch

RNN, LSTM, GRU: специфіка та застосування

• Зрозумієте архітектуру LSTM: три gates, cell state, чому це вирішує затухання
• Вивчите різницю LSTM vs GRU vs RNN
• Навчитеся реалізовувати LSTM у PyTorch
• Навчитесь обробляти послідовні дані (embedding, padding, packed sequences)

Attention-механізми та Self-Attention

• Зрозумієте механіку Attention: Q, K, V, softmax, масштабування
• Вивчите різницю self-attention vs cross-attention
• Навчитеся реалізовувати attention з нуля
• Навчитеся візуалізувати attention-ваги

Слабкі місця RNN & CNN для NLP та Self-Attention як основа Transformers

• Зрозумієте, чому RNN & CNN слабкі для NLP
• Вивчите, чому self-attention - універсальна архітектура
• Зрозумієте позиційне кодування (sinusoidal, learnable, RoPE)
• Навчитеся порівнювати архітектури кількісно (BLEU, час, пам'ять)

Transformers: повна архітектура та принципи

• Зрозумієте повну архітектуру Transformer: encoder, decoder, attention, FFN
• Вивчите роль Multi-Head, LayerNorm, Residual connections
• Навчитеся реалізовувати Transformer block з нуля
• Зрозумієте encoder vs decoder, causal masking

BERT: архітектура, pre-training, fine-tuning

• Зрозумієте MLM & NSP pre-training
• Вивчите різницю між fine-tuning і feature extraction
• Навчитеся fine-tune BERT для класифікації & NER
• Зможете обрати BERT vs RoBERTa vs DistilBERT під задачу

GPT та LLaMA: архітектурні відмінності та генерація

• Зрозумієте autoregressive архітектуру GPT
• Вивчите архітектурні інновації LLaMA (RoPE, GQA, SwiGLU)
• Навчитеся генерувати текст із контролем параметрів
• Зрозумієте in-context learning і чому GPT масштабується краще, ніж BERT

Vision Transformers (ViT): адаптація для CV

• Зрозумієте архітектуру ViT: як зображення → патчі → токени
• Вивчите, коли краще ViT, а коли CNN
• Навчитеся реалізовувати або використовувати ViT з HuggingFace
• Зрозумієте гібридні архітектури (CNN + ViT)

Graph Neural Networks: основи та архітектури

• Зрозумієте message passing як основу GNN
• Вивчите різницю GCN vs GraphSAGE vs GAT
• Навчитеся реалізовувати GCN у PyTorch Geometric
• Навчитеся вирішувати node classification з GNN

Застосування GNN у рекомендаційних системах, соціальних мережах, біоінформатиці

• Зрозумієте, як GNN використовуються в рекомендаціях, соціальних мережах, біоінформатиці
• Вивчите специфіку кожної задачі (граф топологія, задача типу)
• Навчитеся формулювати задачу як GNN (node/edge/graph classification)
• Зрозумієте обмеження (scalability на мільйонах вузлів)

Автоенкодери та VAE: архітектура і латентний простір

• Зрозумієте архітектуру VAE vs простого AE
• Вивчите латентний простір: як він організований, чому гауссівський
• Навчитеся реалізовувати VAE в PyTorch
• Зрозумієте застосування VAE

GANs, Diffusion Models: як працюють, чому витіснили GANs

• Зрозумієте архітектуру GAN: генератор, дискримінатор, мінімакс
• Вивчите проблеми (mode collapse, vanishing gradients, нестабільність)
• Зрозумієте дифузійний процес: forward & reverse
• Вивчите DDPM, DDIM, Stable Diffusion архітектури
• Навчитеся генерувати зображення зі Stable Diffusion
• Зрозумієте, чому Diffusion краще за GAN

Практичні кейси: Stable Diffusion, DALL·E, MidJourney

• Вивчите, як використовувати Stable Diffusion локально & через API
• Навчитеся писати ефективні промпти
• Зрозумієте різницю Stable Diffusion vs DALL·E vs MidJourney
• Навчитеся fine-tune для спеціального стилю (LoRA)

Transfer Learning, Fine-tuning, Prompt Tuning

• Зрозумієте відмінності transfer learning, fine-tuning, feature extraction
• Вивчите, коли який підхід використовувати
• Навчитеся fine-tune BERT/GPT для своєї задачі
• Зрозумієте prompt engineering & few-shot learning

Модульність моделей: LoRA, Adapters, Quantization, Pruning

• Зрозумієте LoRA, adapters, quantization, pruning
• Вивчите, коли та які техніки використовувати
• Навчитеся застосувати LoRA для fine-tuning
• Вивчите quantize-модель для мобільних/embedded

Best Practices у деплої: PyTorch Lightning, HuggingFace, інтеграція в продукти

• Вивчите PyTorch Lightning основи
• Навчитеся використовувати HuggingFace Trainer
• Зрозумієте production considerations (latency, monitoring, fallback)
• Навчитеся деплоїти як API або cloud-сервіс

Презентація курсових проєктів та підсумки

Один із 4 форматів проєкту на вибір:

• AI Chatbot - fine-tuned LLM з RAG, деплой як Telegram-бот або вебінтерфейс
• Recommendation System - GNN або Transformer-based RecSys
• Multimodal App - генерація контенту (текст + зображення) або image search
• Domain-specific model - fine-tuning під конкретну галузь (медицина, фінанси, код)

Обов'язкові вміння для навчання

• Python (змінні, функції, класи, списки, словники)
• NumPy & Pandas (базові операції з масивами)
• Лінійна алгебра (матриці, добутки, власні значення)
• Машинне навчання (train/test split, overfitting, метрики: accuracy, loss)
• Дуже бажано також мати базовий ML-досвід

Особливості курсу

• Допомога ментора
• Практика
• Курсовий проєкт
• Проєкт в портфоліо
• Сертифікат про проходження курсу

Викладачі курсу

Ярослав Корольчук - Tech Lead / Machine Learning Engineer at Shelf