civitas

Civitas는 미국 정부 공식 소스의 데이터를 통합하여 상원의원, 하원의원, 대통령, 대법관을 위한 통합 투명성 스코어카드를 생성하는 오픈데이터 AI/ML 플랫폼입니다. 또한 뉴스 분석에서 떠오르는 시민 이슈를 표면화하고, 지속적인 국가적 관심사를 추적 가능한 모니터로 자동 감지하며, 연간 리뷰 타임라인을 구축하는 액션 센터를 갖추고 있습니다. 투표 기록, 캠페인 자금, 본회의 연설, 사법 의견, 공개 플랫폼은 임베딩 기반 분류, 콘텐츠 기반 정당 일치, 결정적 점수화를 통해 분석되며, 이 모든 것은 클라우드 AI 서비스에 대한 외부 API 호출 없이 라즈베리 파이 5에서 로컬로 실행됩니다. ## 아키텍처 시스템은 야간 배치 파이프라인을 중심으로 구축되며, 여러 정부 API(Congress.gov, FEC, GovInfo, Senate.gov, Oyez, BLS/BEA 등)에서 데이터를 가져와 변환하고, 임베딩 및 결정적 점수화를 사용해 분석한 후 SQLite 데이터베이스에 결과를 저장합니다. FastAPI 백엔드는 Next.js 프론트엔드에 데이터를 제공합니다. LLM(LFM2.5-1.2B-Instruct)은 액션 센터 이슈 생성 및 판사 프로필 요약과 같은 자연어 합성이 필요한 작업을 위해 llama.cpp를 통해 로컬로 실행됩니다. ## 주요 기능 - **투명성 스코어카드**: 투표 기록, 캠페인 자금, 본회의 연설 및 기타 데이터를 기반으로 상원의원, 하원의원, 대통령, 대법관에 대한 점수를 제공합니다. - **액션 센터**: 뉴스 분석에서 떠오르는 시민 이슈를 표면화하고, 국가적 관심사를 추적 가능한 모니터로 자동 감지하며, 연간 리뷰 타임라인을 구축합니다. - **하이브리드 검색**: 탐색 인덱스는 임베딩 기반 의미 검색과 FTS5 키워드 검색 및 인용 그래프 PageRank를 결합합니다. - **완전 로컬**: 모든 모델, 데이터베이스 및 서비스는 온디바이스(라즈베리 파이 5, 16GB RAM)에서 실행됩니다. 클라우드 GPU나 타사 AI API가 없습니다. - **결정적 점수화**: 3단계 분석은 LLM 호출 없이 완전히 결정적이며, 임베딩 기반 분류와 kNN을 사용합니다. - **캐싱 아키텍처**: 재생, 성능 및 감사 추적을 위한 세 가지 독립적인 캐싱 시스템(ApiCache, AnalysisCache, LearnedClassification)이 있습니다. ## 파이프라인 단계 야간 파이프라인은 모든 상원의원과 하원의원을 FETCH, TRANSFORM, ANALYZE, EXPLORE, JUSTICES, PRESIDENTS, FINALIZE의 7단계로 처리합니다. 이는 5개의 파이프라인(상원, 보조, 하원, 주식 거래, 선거) 체인으로 실행되며, 각 링크는 이전 링크가 완료된 경우에만 시작됩니다. ## 분류 전략 분류 결정은 계층적 전략을 사용하여 이루어집니다: 정확한 일치, sentence-transformer 임베딩, kNN, 마지막으로 자연어 합성이 필요한 작업에는 LLM을 사용합니다. 시스템은 모든 모델 가중치를 고정하여 설명 가능성과 재현성을 강조합니다. ## 하드웨어 라즈베리 파이 5(16GB RAM), NVMe SSD. 모든 모델, 데이터베이스 및 서비스는 온디바이스에서 실행됩니다.