Курс Тестування та валідація AI-моделей

Перетворіть АІ-перевірку на систему: фреймворки, метрики та інструменти, які дозволяють тестувати моделі так, щоб вони працювали стабільно не в теорії, а на практиці.

Програма курсу

Вступ до тестування AI-систем

• Зрозумієте, чому тестування AI суттєво відрізняється від класичного QA
• Знатимете основні типи оцінювання AI-систем і зможете обирати відповідний під конкретний сценарій
• Орієнтуватиметеся в піраміді якості AI та розумітимете, на яких рівнях виникають ключові ризики

Архітектура AI-систем: що тестувати

• Навчитеся декомпозувати AI-систему на компоненти й прив'язувати тести до кожного з них
• Чітко розрізнятимете ML-, LLM- і RAG-пайплайни та їхні зони відповідальності
• Зможете визначати критичні точки ризику в архітектурі та використовувати їх для побудови тестової стратегії

Таксономія AI-фейлів

• Навчитеся системно класифікувати AI-фейли
• Дізнаєтеся про реальні причини відмов моделей, LLM і систем загалом
• Зможете застосовувати таксономію для аналізу реальних інцидентів та запобігання повторним збоям

Метрики ML: коли вони брешуть

• Навчитесь обирати метрики, які реально відображають якість моделі
• Розумітимете обмеження accuracy та інших стандартних метрик
• Зможете аналізувати результати моделей в розрізі сегментів та бізнес-впливу

Регресійне тестування моделей

• Зможете побудувати процес контролю якості при кожному оновленні моделі
• Навчитеся коректно порівнювати версії моделей з урахуванням варіативності даних і статистичної значущості
• Розумітимете, як інтерпретувати результати A/B-тестів у продакшені

Якість даних та виявлення дрейфу

• Навчитеся виявляти проблеми з якістю даних ще до того, як вони вплинуть на модель
• Зможете розрізняти типи дрейфу та OOD-випадки й використовувати їх як сигнали ризику
• Освоїте практичні інструменти для моніторингу якості даних у часі

Специфіка тестування LLM

• Розберетеся з недетермінізмом LLM і навчитеся враховувати його під час тестування
• Зможете тестувати роботу моделей з довгим контекстом і streaming-відповідями
• Навчитеся налаштовувати локальне та API-середовище для відтворюваних тестів

Тестування промптів та генеративної поведінки LLM

• Навчитеся будувати тестовані та версіоновані промпти замість ручних експериментів
• Зможете створювати еталонні набори для генеративних задач
• Перевірятимете стабільність, коректність і структурованість відповідей LLM

Тестування багатокрокових діалогів

• Навчитеся проєктувати сценарії тестування складних multi-turn діалогів
• Зможете перевіряти збереження контексту, пам'яті й логічної послідовності відповідей
• Виявлятимете типові проблеми чат-ботів у довгих розмовах

Метрики та автоматизоване оцінювання LLM

• Навчитесь об'єктивно оцінювати якість LLM за допомогою різних типів метрик
• Зможете комбінувати еталонні та безеталонні підходи залежно від задачі
• Контролюватимете стабільність відповідей та коректність структурованих виходів

Багатомовне та українськомовне тестування

• Навчитеся тестувати LLM з урахуванням специфіки української мови
• Зможете виявляти суржик, русизми, помилки відмінювання та code-switching
• Побудуєте спеціалізовані eval-набори для українськомовних і багатомовних сценаріїв

Архітектура RAG і точки відмов

• Навчитеся знаходити, на якому етапі RAG-системи виникають помилки
• Розумітимете типові причини галюцинацій в RAG
• Зможете формувати тестові гіпотези для покращення retrieval і chunking

Метрики RAG та оцінювання

• Навчитеся вимірювати якість RAG-системи від пошуку до фінальної відповіді
• Зможете інтерпретувати метрики контексту, пошуку та генерації
• Проводитимете повноцінну end-to-end оцінку RAG

Виявлення та зменшення галюцинацій

• Навчитеся системно виявляти галюцинації, а не лише фіксувати їх постфактум
• Зможете перевіряти правдивість тверджень і коректність цитувань
• Проєктуватимете негативні сценарії та механізми безпечної відмови

Безпека LLM та Red-Teaming

• Навчитеся проводити red-teaming AI-систем за зрозумілою методологією
• Зможете виявляти prompt-інʼєкції, jailbreak-атаки та ризики витоку даних
• Формуватимете структуровані звіти з ризиками та рекомендаціями

Упередженість, справедливість і пояснюваність

• Навчитеся виявляти різні типи упередженості в AI-системах
• Зможете застосовувати інструменти пояснюваності для аналізу рішень моделей
• Балансуватимете між точністю, справедливістю і стабільністю

Модульне та інтеграційне тестування для AI

• Навчитеся писати unit- та integration-тести для AI-компонентів
• Зможете поєднувати детерміністичні та імовірнісні перевірки
• Використовуватимете snapshot testing і mocking для стабільних тестів

Огляд фреймворків оцінювання

• Навчитеся проєктувати масштабовані системи оцінювання AI
• Зрозумієте життєвий цикл еталонних датасетів
• Зможете застосовувати eval-driven підхід для контролю регресій

CI/CD та моніторинг AI-систем

• Навчитесь інтегрувати тести AI в CI/CD-пайплайни
• Зможете налаштовувати quality gates і блокувати ризикові деплої
• Контролюватимете деградацію якості в продакшені

Продуктивність і контроль витрат LLM у продакшені

• Навчитеся читати й інтерпретувати latency та cost-метрики
• Зможете виявляти регресійне зростання витрат
• Оцінюватимете вплив архітектурних рішень на продуктивність

Протоколи людської оцінки (Human Evaluation)

• Навчитеся проєктувати коректні процеси людської оцінки
• Зможете працювати з метриками узгодженості анотацій
• Інтегруватимете human-in-the-loop як частину AI-систем

Проєктування процесу AI QA

• Навчитеся будувати AI QA як частину продуктового процесу
• Зможете створювати test-плани та чек-листи з урахуванням ризиків
• Ефективно комунікуватимете результати оцінювання зі стейкхолдерами

Роль AI QA інженера і захист курсових робіт

• Презентуєте власну систему тестування AI (LLM чат-бот, RAG-система або ML-класифікатор) з автоматизованими eval-наборами та метриками
• Отримаєте фідбек від лектора та рекомендації щодо розвитку у сфері

Особливості курсу

• Допомога ментора
• Практика
• Курсовий проєкт
• Системне тестування АІ-рішень
• Сертифікат про проходження курсу

Викладачі курсу

Максим Кізіцький - Machine Learning Engineer at TemaBit, Fozzy Group