Sobre o projeto

Ask-Anything é um projeto open-source focado em compreensão e diálogo de vídeo, desenvolvido pelo Shanghai Artificial Intelligence Laboratory. Ele oferece vários modelos de diálogo em vídeo, incluindo VideoChat, VideoChat2 e suas variantes, com suporte à integração com modelos de linguagem como ChatGPT, StableLM, MOSS e MiniGPT-4. O projeto inclui diálogo de ponta a ponta, processamento de vídeos longos, compreensão de vídeo em alta resolução e publicou o benchmark MVBench e 2M de dados de instrução. A versão mais recente, VideoChat3, apresenta melhorias significativas na compreensão de vídeo geral, longo e em streaming. O projeto oferece demonstrações online, espaços no Hugging Face e documentação detalhada, sendo adequado para pesquisadores e desenvolvedores.