프로젝트 소개

Ask-Anything는 비디오 이해와 대화에 중점을 둔 오픈소스 프로젝트로, 상하이 인공지능 연구소에서 개발되었습니다. 이 프로젝트는 VideoChat, VideoChat2 및 그 변형을 포함한 여러 비디오 대화 모델을 제공하며, ChatGPT, StableLM, MOSS 및 MiniGPT-4와 같은 언어 모델과의 통합을 지원합니다. 엔드투엔드 대화, 장시간 비디오 처리, 고해상도 비디오 이해 등의 기능을 포함하며, MVBench 벤치마크와 2M 개의 명령 데이터를 공개했습니다. 최신 버전인 VideoChat3는 일반, 장시간 및 스트리밍 비디오 이해에서 상당한 개선을 이루었습니다. 이 프로젝트는 온라인 데모, Hugging Face 스페이스 및 상세 문서를 제공하여 연구자와 개발자에게 적합합니다.