Курс Sensor Engineering

Сенсорні дані - основа дронів, роботів і автопілотів. На курсі ви навчитеся працювати з шумами та drift, об'єднувати дані у єдину систему (sensor fusion) і проєктувати надійні сенсорні рішення через симуляцію та реальні датасети. У результаті - презентуєте власний end-to-end pipeline обробки даних із кількох сенсорів і кількісною оцінкою ground truth.

Програма курсу

Sensor Systems Engineering: від байтів до фізики

• Розберетесь у повному ланцюжку роботи сенсорної системи - від фізичного сигналу до рішення
• Зрозумієте, як кожен елемент системи може ставати точкою відмови
• Ознайомитесь із ринковими трендами IoT та Edge AI та їхнім впливом на індустрію
• Орієнтуватиметесь у кар'єрних ролях у sensor systems engineering та суміжних напрямах
• Знатимете інструментальний стек курсу та сфери його застосування
• Розумітимете структуру курсу та логіку розвитку компетенцій
• Усвідомите межі simulation-based підходу і реальні інженерні обмеження

Метрологія та analog front-end: мова, якою говорить datasheet

• Розберетесь у ключових метрологічних параметрах сенсорів та їхньому фізичному змісті
• Навчитеся читати datasheet у контексті реальних інженерних задач
• Зрозумієте принципи роботи analog front-end і типів ADC
• Розберетесь у природі шумів та їхньому впливі на точність вимірювань
• Зрозумієте роль калібрування та його обмеження в реальних умовах
• Навчитеся застосовувати Allan variance для аналізу IMU

Embedded-симуляція: I2C, SPI, регістри та firmware без плати

• Розберетесь у роботі I2C, SPI та UART на рівні протоколів
• Навчитесь читати й писати дані з сенсорів через регістри
• Зрозумієте типові архітектурні помилки інтеграції сенсорів
• Отримаєте практику роботи з Wokwi для симуляції embedded-систем
• Навчитесь конвертувати raw-дані сенсорів у фізичні величини
• Зрозумієте різницю між polling, interrupt та DMA підходами

Акселерометр та гіроскоп: фізика MEMS, drift і проблеми raw-даних

• Розберетесь у фізиці MEMS акселерометрів та гіроскопів
• Зрозумієте причини drift і накопичення похибок при інтегруванні
• Навчитесь працювати з системами координат і кватерніонами
• Побачите обмеження raw IMU даних у реальних сценаріях
• Навчитесь оцінювати bias на основі стаціонарних даних
• Порівняєте синтетичні та реальні шумові характеристики

Complementary та Madgwick фільтри: перша стабілізація орієнтації

• Зрозумієте інтуїцію sensor fusion між гіроскопом та акселерометром
• Навчитесь налаштовувати complementary filter та параметр α
• Розберетесь у принципах Madgwick і Mahony фільтрів
• Порівняєте різні підходи до оцінки орієнтації
• Навчитесь оцінювати точність фільтрів у Python-експериментах

GPS, NMEA, dead reckoning та барометрична висота

• Розберетесь у принципах роботи GPS і джерелах похибок
• Навчитесь парсити NMEA-повідомлення
• Зрозумієте концепцію dead reckoning між GPS-фіксами
• Навчитесь оцінювати висоту за барометричними даними
• Побачите обмеження кожного типу навігаційних даних
• Розберетесь у базових підходах sensor fusion для навігації

Магнетометр, heading estimation та battery/power monitoring

• Розберетесь у роботі магнетометра та впливі спотворень поля
• Навчитесь виконувати калібрування hard-iron і soft-iron
• Зрозумієте принципи heading estimation і tilt compensation
• Ознайомитесь із моделями оцінки стану батареї
• Навчитесь відрізняти voltage-based і Coulomb-based SoC
• Побачите обмеження реальних power measurement систем

LiDAR: принципи, point clouds, обробка в Open3D

• Розберетесь у принципах роботи різних типів LiDAR
• Зрозумієте структуру point cloud і формати даних
• Навчитесь обробляти LiDAR-дані в Open3D
• Розберетесь у методах сегментації та кластеризації
• Навчитесь використовувати RANSAC і DBSCAN для обробки сцен
• Зрозумієте обмеження LiDAR у реальних умовах

Radar: Doppler, FMCW, range-Doppler map

• Розберетесь у фізиці радарних систем і Doppler-ефекті
• Зрозумієте принцип FMCW та range estimation
• Навчитесь інтерпретувати radar-дані в automotive-контексті
• Порівняєте radar і LiDAR за ключовими характеристиками
• Побачите обмеження та переваги radar у складних умовах
• Ознайомитесь із базовою обробкою range-Doppler maps

Порівняння сенсорів, синхронізація та multi-modal perception

• Систематизуєте характеристики різних типів сенсорів
• Розберетесь у проблемі синхронізації multi-sensor систем
• Навчитесь працювати з різними частотами дискретизації сенсорів
• Зрозумієте принципи coordinate frame transformations
• Ознайомитесь із camera-LiDAR projection
• Побачите практичну реалізацію sensor fusion на рівні систем

Kalman Filter: теорія та реалізація з нуля

• Зрозумієте баєсівську природу Kalman filter
• Навчитесь будувати state-space моделі
• Розберетесь у prediction та update кроках
• Навчитесь налаштовувати Q- та R-матриці
• Реалізуєте 1D і 2D Kalman filter з нуля
• Побачите зв’язок між теорією та бібліотекою FilterPy

Extended Kalman Filter: нелінійність та IMU+GPS fusion

• Зрозумієте необхідність EKF для нелінійних систем
• Навчитесь працювати з Jacobian і лінеаризацією
• Розберетесь в IMU+GPS fusion архітектурі
• Побачите поведінку системи при GPS outage
• Навчитесь оцінювати drift при dead reckoning
• Порівняєте власну реалізацію з FilterPy

UKF, particle filter та multi-sensor fusion

• Розберетесь у принципах Unscented Kalman Filter
• Зрозумієте коли EKF недостатній
• Навчитесь інтерпретувати particle filter підхід
• Розберетесь у multi-rate sensor fusion
• Зрозумієте різницю loose і tight coupling
• Побачите практичну multi-sensor fusion систему

ICP, scan matching та LiDAR odometry

• Зрозумієте принцип ICP для alignment point clouds
• Навчитесь оцінювати рух через LiDAR odometry
• Розберетесь у point-to-plane та point-to-point ICP
• Ознайомитесь із NDT як альтернативою ICP
• Навчитесь будувати trajectory з LiDAR-даних
• Побачите проблему drift у LiDAR-only системах

Anomaly detection, fault tolerance, architectural redundancy

• Розберетесь у типах сенсорних відмов та аномалій
• Навчитесь використовувати innovation-based detection
• Зрозумієте принципи redundancy в системах
• Побачите cross-sensor consistency checks
• Навчитесь детектувати fault у Kalman filter
• Ознайомитесь із реальними кейсами відмов систем

GPS spoofing, acoustic attacks, environmental degradation

• Розберетесь у механіці GPS spoofing атак
• Зрозумієте акустичні атаки на MEMS-гіроскопи
• Навчитесь аналізувати environmental degradation сенсорів
• Ознайомитесь із методами захисту сенсорних систем
• Побачите роль Edge AI в захисті
• Навчитесь виявляти spoofing через cross-check

Методологія проєктування сенсорної системи

• Розберетесь у системному підході до sensor system design
• Навчитесь формувати requirements і trade-offs
• Зрозумієте power budget і обмеження embedded-систем
• Ознайомитесь з архітектурними патернами
• Навчитесь створювати sensor allocation table
• Побачите реальні industrial-кейси

Від design до implementation: складання курсових проєктів

• Зрозумієте перехід від Python до embedded-реалізації
• Навчитесь портувати алгоритми в C/C++
• Ознайомитесь з інтеграцією в симулятори
• Побачите повний end-to-end pipeline системи
• Навчитесь працювати з dataset-based та sim-based підходами
• Розпочнете реалізацію курсового проєкту

Курсові проєкти: інтеграція та тестування

• Завершите інтеграцію курсового проєкту
• Навчитесь проводити code review
• Зрозумієте вимоги до production-like deliverable
• Навчитесь оцінювати якість системи через метрики
• Підготуєте демонстрацію результатів
• Відпрацюєте захист проєкту

Захист курсових проєктів

• Презентуєте фінальний sensor systems проєкт
• Продемонструєте working pipeline з оцінкою результатів
• Обґрунтуєте архітектурні рішення системи
• Покажете метрики якості (RMSE, ATE тощо)
• Отримаєте фідбек і рекомендації для розвитку
• Узагальните весь шлях побудови системи

Після курсу ви зможете:

• Перейти від "читання регістрів" до розуміння поведінки сенсора
• Працювати з embedded-симуляцією та сенсорними інтерфейсами
• Обробляти й синхронізувати дані IMU, GPS та інших сенсорів
• Будувати multi-sensor fusion (KF/EKF/UKF)
• Аналізувати похибки, noise та якість даних на ground truth
• Реалізувати власний sensor-processing pipeline

Особливості курсу

• Допомога ментора
• Практика
• Capstone-проєкт
• Simulation-first
• Реальні датасети
• Курсовий проєкт
• Сертифікат про проходження курсу

Викладачі курсу

Кирило Мірошниченко - Embedded Software Engineer