프로젝트 소개

컨텍스트 엔지니어링은 오픈소스 교육용 저장소로, 대규모 언어 모델(LLM)에 추론 시 제공되는 전체 정보 페이로드를 설계, 조정, 최적화하는 학문인 컨텍스트 엔지니어링을 이해하고 실천하기 위한 종합 핸드북 역할을 한다. Andrej Karpathy의 정의와 Grant Sanderson(3Blue1Brown)의 첫 원리 접근 방식에서 영감을 받아, 이 저장소는 프롬프트 엔지니어링을 넘어 단일 프롬프트를 둘러싼 예시, 메모리, 검색, 도구, 상태, 제어 흐름의 광범위한 생태계를 다룬다. 이 저장소는 여러 디렉토리로 구성된 점진적 학습 경로로 구조화되어 있다: 1. **00_foundations/** — 수학적 기초, 컨텍스트 구성 요소, 처리 모델을 다루는 이론 및 핵심 개념. 이 섹션은 토큰 예산 최적화, 퓨삿 러닝, 메모리 시스템, 검색 증강, 제어 흐름, 컨텍스트 정리, 메트릭 평가를 포함한 컨텍스트 엔지니어링의 이론적 토대를 확립한다. 2. **10_guides_zero_to_hero/** — 최소 프롬프트에서 고급 컨텍스트 관리 시스템까지 개념을 시연하는 실행 가능한 Python 코드(Jupyter Notebook 스타일)가 포함된 실습 워크스루. 3. **20_templates/** — 최소 컨텍스트 구성 및 구조화된 프롬프트 템플릿을 포함하여 프로젝트에 직접 통합할 수 있는 복사-붙여넣기 YAML 및 구성 템플릿. 4. **30_examples/** — 장난감 챗봇에서 시작하여 컨텍스트 관리가 있는 멀티에이전트 시스템으로 확장되는 점진적으로 복잡성이 증가하는 실제 프로젝트 구현. 5. **40_reference/** — 고급 실무자를 위한 심층 분석, 평가 쿡북, 참고 자료. 6. **50_contrib/** — 커뮤니티 기여 및 확장. 이 저장소는 ICML, IBM Zurich, NeurIPS 및 기타 학회의 최근 연구를 활용한다: - **MEM1 (Singapore-MIT, 2025년 6월)**: 추론 기반 메모리 통합이 상호작용을 무한정 컨텍스트를 축적하는 대신 컴팩트한 내부 상태로 압축하여 효율적인 장기 지평 에이전트를 가능하게 하는 방법을 시연한다. - **인지 도구 (IBM Zurich, 2025년 6월)**: 구조화된 프롬프트 템플릿을 "도구 호출"로 사용하면 추가 훈련 없이도 AIME2024에서 GPT-4.1의 성능을 26.7%에서 43.3%로 향상시켜 o1-preview 성능에 근접할 수 있음을 보여준다. - **창발적 상징 메커니즘 (ICML Princeton, 2025년 6월)**: LLM의 추상적 추론을 지원하는 3단계 아키텍처(상징 추상화 헤드, 상징적 귀납 헤드, 검색 헤드)를 식별하여 Markdown 및 JSON과 같은 구조화된 형식이 더 파싱 가능한 이유를 설명한다. - **컨텍스트 엔지니어링 서베이 (2025년 7월)**: 컨텍스트 엔지니어링을 추론 시 LLM에 제공되는 전체 정보 페이로드로 정의하는 1,400개 이상의 연구 논문에 대한 체계적 검토. 이 저장소는 에이전트 명령을 통해 Claude Code, OpenCode, Amp, Kiro, Codex, Gemini CLI를 포함한 여러 AI 코딩 도구를 지원한다. 또한 ASCII 다이어그램, Mermaid 그래프, 상징적 표현을 사용한 시각화를 포함하여 생물학적 은유(원자 → 분자 → 세포 → 기관 → 신경계 → 신경 및 의미장 이론)와 4단계 숙련 프레임워크(기본 컨텍스트 엔지니어링 → 장 이론 → 프로토콜 시스템 → 메타 재귀)와 같은 개념을 설명한다. 다루는 핵심 개념에는 토큰 예산 최적화, 퓨삿 러닝, 메모리 시스템, 검색 증강, 제어 흐름, 컨텍스트 정리, 메트릭 및 평가, 인지 도구 및 프롬프트 프로그래밍, 신경장 이론, 상징적 메커니즘, 양자 의미론이 포함된다. 이 저장소는 모든 개념에 실행 가능한 코드 셀과 시각화가 있는 "모든 것을 측정하고, 무자비하게 삭제하라"는 철학을 강조한다. 이 프로젝트는 MIT 라이선스로 배포되며 커뮤니티 기여를 환영한다. 또한 건설 중인 종합 강좌, DeepWiki 통합, DeepGraph 시각화, 토론을 위한 Discord 커뮤니티를 포함한 보충 자료를 연결한다.