llm_wiki

# LLM Wiki LLM Wiki는 문서를 자동으로 체계적이고 상호 연결된 지식 베이스로 변환하는 크로스 플랫폼 데스크톱 애플리케이션입니다. 전통적인 RAG(매번 처음부터 검색 및 응답) 대신, LLM이 소스에서 지속적인 위키를 점진적으로 구축하고 유지합니다. 지식은 한 번 컴파일되어 최신 상태로 유지되며, 모든 쿼리에서 다시 파생되지 않습니다. 이 프로젝트는 [Karpathy의 LLM Wiki 패턴](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f)을 기반으로 합니다 — LLM을 사용하여 개인 지식 베이스를 구축하는 방법론입니다. ## 주요 기능 ### 2단계 사고 사슬 입력 - LLM이 먼저 분석한 후 소스 추적성과 증분 캐시를 포함한 위키 페이지를 생성합니다. - SHA256 증분 캐시 — 변경되지 않은 파일은 자동으로 건너뛰어 토큰과 시간을 절약합니다. - 실패한 작업은 최대 3회 자동 재시도됩니다. - 언어 인식 생성(영어 또는 중국어) ### 멀티모달 이미지 입력 - PDF에서 포함된 이미지 추출 - 비전 LLM으로 사실적 캡션 생성 - 라이트박스 미리보기 및 소스 이동 기능이 있는 이미지 인식 검색 결과에 이미지 표시 ### 다중 형식 문서 파싱 - PDF, Office 문서, EPUB/MOBI, Org 모드, 이미지, 미디어, 웹 클립, URL 배치 - 내장, 클라우드 또는 로컬 MinerU PDF 처리 - docx-rs를 통한 DOCX — 제목, 굵게/기울임, 목록, 표 → 구조화된 Markdown - Readability.js + Turndown.js를 통한 웹 클립 → 깨끗한 Markdown ### 유연한 모델 구성 - 프로젝트별 모델 구성 - 채팅 및 입력 라우팅 독립 설정 - 사용자 정의 공급자, 헤더, 스트리밍 출력 관리 - 다중 공급자 지원: OpenAI, Anthropic, Google, Ollama, 사용자 정의 ### 소스 기반 검색 - 원본 가져온 자료에서만 답변하는 '소스만 읽기' 모드 - 4-신호 지식 그래프: 직접 링크, 소스 중복, Adamic-Adar, 유형 유사성을 포함한 관련성 모델 - Louvain 커뮤니티 탐지 — 응집 점수로 자동 지식 클러스터 발견 - 그래프 인사이트 — 놀라운 연결과 지식 격차, 원클릭 딥 리서치 ### 벡터 의미 검색(선택 사항) - LanceDB를 통한 임베딩 기반 검색 - 모든 OpenAI 호환 엔드포인트 지원 - 기본 비활성화; 설정에서 독립 엔드포인트, API 키, 모델 구성으로 활성화 - 벤치마크: 벡터 검색 활성화 시 전체 재현율이 58.2%에서 71.4%로 향상 ### Rust 백엔드 채팅 에이전트 - 위키/소스/그래프/웹 검색을 위한 도구 사용 에이전트 런타임 - 작업 공간 파일 생성, 셸 승인, 취소, 스트리밍 도구 이벤트 - 에이전트 스킬 — 로컬 SKILL.md 폴더 스캔 및 활성화, /skill로 스킬 선택 - 생성된 작업 공간 출력이 빠른 폴더 접근과 함께 미리보기로 표시 - 더 안전한 실행 모델 — 프로젝트 작업 공간 명령은 원활히 계속되지만, 외부 셸 명령은 명시적 승인 필요 ### 딥 리서치 - Tavily, SerpApi 또는 SearXNG를 통한 웹 검색 및 전체 콘텐츠 추출 - 주제당 여러 검색 쿼리, 입력 시 LLM 생성 - 사용자 확인 대화상자 — 편집 가능한 주제와 검색 쿼리 표시 - 동적 높이와 실시간 스트리밍 진행 상황을 갖춘 리서치 패널 ### 프로젝트 관리 - 장치 간 전체 프로젝트 아카이브 내보내기 및 가져오기 - 기존 페이지에서 위키 인덱스 재구축 - 디렉터리 구조를 보존하는 폴더 가져오기 - 소스 파일 삭제 시 해당 위키 요약 페이지 제거 - 3-방법 매칭으로 관련 위키 페이지 찾기 ### Obsidian 호환성 - 위키 디렉터리가 Obsidian 볼트로 작동 - 권장 설정이 포함된 자동 생성 .obsidian/ 디렉터리 ### 추가 기능 - 3열 레이아웃: 지식 트리 / 파일 트리(왼쪽) + 채팅(중앙) + 미리보기(오른쪽) - 실시간 처리 상태를 표시하는 활동 패널 - 시나리오 템플릿: 연구, 읽기, 개인 성장, 비즈니스, 일반 - 대화별 지속성을 갖춘 독립 채팅 세션 - 접을 수 있는 섹션이 있는 인용 참조 패널 - KaTeX 수학 및 Mermaid 다이어그램을 지원하는 Markdown 렌더링 - 4K에서 1M 토큰까지 컨텍스트 크기 슬라이더 - 오프라인 미리보기가 있는 Chrome Web Clipper 확장 프로그램 - 로컬 HTTP API + MCP 서버 + AI 에이전트 스킬 - i18n — 영어 + 중국어 인터페이스 - macOS, Windows, Linux용 GitHub Actions CI/CD ## 아키텍처 애플리케이션은 채팅 에이전트와 벡터 검색을 위해 Rust 백엔드를 사용하고, Tauri 기반 프론트엔드를 사용합니다. 위키 디렉터리 구조는 purpose.md, schema.md, index.md, log.md, overview.md 파일을 포함한 Karpathy의 설계를 따릅니다. ## 시작하기 1. 플랫폼용 애플리케이션 설치(macOS ARM/Intel, Windows .msi, Linux .deb/.AppImage) 2. LLM 공급자 구성(OpenAI, Anthropic, Google, Ollama 또는 사용자 정의) 3. 문서 또는 폴더 가져오기 4. LLM이 자동으로 위키를 구축하도록 허용 5. 지식 그래프 탐색, 데이터와 채팅, 딥 리서치 실행 ## 라이선스 MIT 라이선스에 따라 배포되는 오픈소스 소프트웨어입니다.