Об этом проекте

MOSAIC представляет собой специализированный комплекс для записи в исследовательских средах, построенный преимущественно на базе камер Basler GigE. Он обеспечивает синхронизированный захват видео и аудио, предлагая покадровую синхронизацию между камерами и интеграцию с внешними источниками триггеров, такими как последовательные и параллельные порты (например, для синхронизации с усилителем ЭЭГ). Ключевые возможности включают: - Интеграция с оборудованием: поддержка Basler Pylon SDK, многомикрофонная запись аудио и входы аппаратных триггеров. - Анализ в реальном времени: предварительный просмотр позы и взгляда на базе MediaPipe. - Пост-хок анализ: пакетный анализ позы и движения с использованием YOLOv8-pose, отслеживание центроидов и тепловые карты. - Калибровка и управление: калибровка камер по шахматной доске и изолированные профили входа для пользователей и лабораторных групп. - Воспроизведение: браузер сессий с синхронизированным многокамерным воспроизведением. Система разработана на C++23 и Qt 6.4+ с использованием FFmpeg для кодирования и OpenCV для калибровки. Она имеет модульную архитектуру с опциональными флагами функций для поддержки оборудования и раздельные среды Python для анализа в реальном времени и пакетного анализа.