Об этом проекте

Video Analyzer — это инструмент командной строки для создания описаний видеоконтента на основе как визуальной, так и аудиоинформации. Его конвейер состоит из трех основных этапов: извлечение ключевых кадров и обработка аудио, покадровый визуальный анализ и финальная реконструкция видео. Анализатор использует OpenCV для выбора ключевых кадров и OpenAI Whisper для транскрипции доступного аудио, включая проверку на низкое качество звука. Каждый извлеченный кадр отправляется в языковую модель с поддержкой зрения, при этом контекст предыдущих кадров используется для сохранения хронологической последовательности. Затем покадровые анализы и транскрипция объединяются в комплексное описание. По умолчанию локальный вывод использует Ollama с моделью Llama 3.2 Vision; пользователи также могут настроить любую OpenAI-совместимую конечную точку, например OpenAI или OpenRouter, через параметры командной строки или JSON-файл конфигурации. Заявленные функции включают полностью локальную работу без облачных сервисов и API-ключей, опциональные облачные API, настраиваемые модели Whisper и vision, пользовательские промпты, подробный JSON-вывод, содержащий метаданные, транскрипцию, покадровые анализы и итоговое описание, а также каскадную систему конфигурации, где аргументы командной строки переопределяют пользовательскую конфигурацию и значения по умолчанию. Требования включают Python 3.11 или новее и FFmpeg. В README рекомендуется значительный объем оперативной памяти и GPU/Apple Silicon для локального выполнения LLM, в то время как использование API позволяет избежать этих требований к локальной модели. Установка выполняется клонированием репозитория и установкой с помощью pip. Опциональный пакет video-analyzer-tune может оптимизировать шаблоны промптов на основе репрезентативных отредактированных выходных данных с использованием DSPy MIPROv2, записывая настроенные промпты в отдельные файлы. Проект выпущен под лицензией Apache и включает документацию по использованию, дизайну и вкладу.