openclip

OpenClip은 Python, FFmpeg 및 uv를 기반으로 하는 자동화된 비디오 처리 도구로, 주로 구술, 라이브 방송 다시보기, 인터뷰, 팟캐스트 등 긴 영상에서 인상적인 클립을 식별하고 내보내는 데 사용됩니다. 사용자가 비디오 URL 또는 로컬 파일을 입력하면, 다운로드 또는 비디오 검증, 플랫폼 자막 또는 로컬 음성 전사 획득, 긴 영상 분할, AI 분석 및 후보 클립 집계, 클립 생성, 자막 파일 생성, 썸네일 이미지 생성, 그리고 선택적으로 제목 추가 및 자막 하드코딩을 포함한 프로세스가 진행됩니다. 핵심 기능은 다음과 같습니다: - Bilibili, YouTube 비디오 링크 및 로컬 비디오 파일을 지원하며, Streamlit은 브라우저 파일 업로드도 지원합니다. - 전사 시 플랫폼 자막을 우선 사용하며, 로컬 ASR은 언어별로 라우팅되어 영어는 Whisper, 중국어는 Paraformer를 선택적으로 사용하고, 사용 불가 시 Whisper로 대체됩니다. - AI는 콘텐츠, 상호작용성 및 엔터테인먼트 가치 등의 차원에 따라 하이라이트를 선별하며, --user-intent를 통해 자연어로 관심 주제를 지정할 수 있습니다. 또한 앵커 배경 정보와 사용자 정의 프롬프트 템플릿을 추가할 수 있습니다. - 클립 수, 길이 사전 설정, 제목 스타일, 글꼴 크기, 썸네일 텍스트 위치 및 색상 등의 매개변수를 지원합니다. - 독립적인 비디오 클립, SRT 자막, 요약 Markdown 및 썸네일 이미지를 자동으로 출력합니다. - 선택적 심층 최적화 모드는 후보 클립 집계 후 AI 재검토, 경계 수정 및 재검토를 추가하여 클립이 독립적으로 더 잘 구성되도록 합니다. - 선택적 자막 하드코딩은 libass가 포함된 FFmpeg가 필요하며, 선택한 LLM을 통해 번역 및 이중 언어 자막 하드코딩도 가능합니다. - 미리보기 버전의 화자 식별은 참조 오디오를 기반으로 화자 이름을 주석 처리할 수 있어 다중 대화 시나리오에 적합하며, 추가로 speakers 종속성을 설치하고 HuggingFace Token을 구성해야 합니다. - 후처리 Clip Editor는 개별 클립 경계, 자막, 썸네일 제목을 조정하고 배속 재렌더링을 지원합니다. 도구는 세 가지 인터페이스를 제공합니다: Streamlit 웹 인터페이스는 백그라운드 작업, 다중 작업 동시 실행, 작업 지속성, 진행 상황 추적, 쿠키 모드 구성 및 LAN 액세스를 지원합니다. CLI는 스크립트 기반 처리에 적합합니다. Agent Skills는 Claude Code, TRAE, Cursor 등 스킬을 지원하는 에이전트가 호출하여 자연어로 비디오 처리 작업을 시작할 수 있습니다. AI 인터페이스는 Qwen, OpenRouter, Zhipu GLM, MiniMax 및 사용자 정의 OpenAI 호환 인터페이스를 지원하며, LM Studio, vLLM, One API, New API 등의 서비스와 연결할 수 있습니다. 원격 다운로드는 쿠키 미사용, 브라우저 쿠키 및 Netscape 형식 cookies.txt의 세 가지 모드를 지원합니다. YouTube의 일부 시나리오에서는 Deno 또는 Node 설치를 권장합니다. 처리 결과는 기본적으로 processed_videos 디렉토리에 저장되며, downloads, splits, clips, clips_post_processed 등의 하위 디렉토리로 구성됩니다. 프로젝트는 MIT 라이선스를 사용합니다.