Курс Computer Vision для Defence Tech та автономних систем

Навчіться проєктувати CV-системи для реальних умов: 3D-навігація, Sensor Fusion, low-latency відеопайплайни, Edge AI та production deployment.

Програма курсу

Вступ до курсу та як підібрати камеру

• Зрозумієте архітектуру курсу та цілі фінального проєкту
• Зрозумієте, як апаратна частина та фізика світла впливають на роботу алгоритмів комп'ютерного зору і машинного навчання
• Навчитесь обґрунтовано добирати оптику та сенсори під конкретні технічні вимоги бізнесу

Калібрування камер і стереозір

• Зрозумієте математику побудови зображення камерою
• Навчитесь усувати оптичну дисторсію, зокрема ефект "риб'ячого ока"
• Навчитесь обчислювати глибину сцени за стереозображеннями

Оцінка руху та основи SLAM

• Зрозумієте архітектурні принципи SLAM-систем
• Навчитеся працювати з просторовими даними й тривимірними геометріями

Сучасна 3D-реконструкція: NeRF і 3D Gaussian Splatting

• Зрозумієте фундаментальну різницю між класичною реконструкцією та генеративними підходами
• Навчитеся перетворювати серію звичайних 2D-знімків з дрона або смартфона на високоточні, фотореалістичні інтерактивні 3D-сцени

Vision Transformers (ViT) і мультимодальні моделі

• Зрозумієте внутрішню логіку роботи Vision Transformers
• Навчитеся використовувати мультимодальні ембеддінги для семантичного пошуку

Zero-shot сегментація та Open-Vocabulary детекція

• Опануєте концепцію Zero-shot навчання
• Навчитеся застосовувати SOTA Foundation Models для швидкого розв'язання бізнес-завдань без збору нових датасетів

Генеративні моделі в комп'ютерному зорі - принципи

• Зрозумієте різницю між генеративними й дискримінативними підходами
• Орієнтуватиметеся в сімействі генеративних моделей
• Зрозумієте внутрішню механіку дифузії та призначення основних гіперпараметрів генерації

Адаптація, керування та синтез даних генеративними моделями

• Навчитесь адаптувати генеративні моделі під власний домен
• Зможете керувати генерацією за допомогою просторових і референсних умов
• Навчитеся застосовувати підхід sim-to-real
• Зрозумієте, як критично оцінювати користь синтетичних даних для downstream-завдань

Multi-Object Tracking (MOT) та Re-Identification

Навчитеся будувати складні системи наскрізної ідентифікації та супроводу об'єктів у реальних розподілених мережах спостереження.

Високопродуктивні відеопайплайни та Low-Latency стримінг

• Зрозумієте фізичні вузькі місця обробки відеоданих
• Навчитесь організовувати стримінг результатів Computer Vision аналітики на клієнтські пристрої з низькою затримкою, критично необхідною для телеметрії та керування дронами й роботами в реальному часі

Кроссенсорна інтеграція: RGB + LiDAR / Radar

• Зрозумієте фізичні принципи роботи активних далекомірів та специфіку їхніх апаратних обмежень
• Навчитеся математично вирівнювати й синхронізувати гетерогенні потоки даних - розріджені 3D-точки та щільні 2D-кадри - в єдиній узгодженій системі координат

Мультиспектральне злиття: RGB + тепловізори

• Зрозумієте фізику інфрачервоного випромінювання та особливості роботи тепловізорів
• Навчитеся програмно вирівнювати кадри з різних матриць
• Навчитеся модифікувати тензорні архітектури нейромереж для прямої обробки мультиспектральних даних (Early Fusion)

Active Learning, DVC та XAI

• Навчитесь автоматизувати життєвий цикл ML-проєктів та версіонувати великі масиви даних
• Зможуть налаштовувати пайплайн безперервного донавчання (Active Learning), де система автономно відбирає складні кадри з реального світу

Продакшн-сервінг моделей (Model Serving)

• Зрозумієте архітектуру високонавантажених ML-сервісів
• Навчитеся масштабувати інференс моделей в хмарній інфраструктурі

Компресія нейронних мереж

• Опануєте методи стиснення нейромереж
• Навчитеся проєктувати компактні архітектури для специфічних обчислювальних обмежень

Квантизація моделей

• Зрозумієте різницю між PTQ та QAT, а також методи уникнення втрати точності під час конвертації моделей
• Навчитеся використовувати апаратне прискорення цілочисельних ядер процесорів для суттєвого зниження часу інференсу

Інференс на Edge-девайсах

Отримаєте практичні навички низькорівневої компіляції алгоритмів під специфічні апаратні прискорювачі.

System Design: Проєктування архітектури CV-систем

• Навчитеся мислити категоріями цілісних систем
• Зрозумієте, як проєктувати масштабовані архітектури під конкретні бізнес-вимоги та бюджети

Захист курсових проєктів

• Додасте до портфоліо повністю функціональний end-to-end проєкт рівня Middle/Senior
• Навчитеся технічно та бізнесово аргументувати власні інженерні рішення перед стейкхолдерами

Особливості курсу

• Допомога ментора
• Практика
• Курсовий проєкт
• Кейс в портфоліо
• Сертифікат про проходження курсу

Викладачі курсу

Юрій Пащенко - Head of ML&CV department at NDA, former Ajax Systems, Depositphotos, SQUAD