오픈 소스. 새로운 가능성.

적용 AI 아키텍트이자 엔지니어인 Sachin의 GitHub 프로필 README입니다. 에이전트, 검색(RAG), 평가 및 신뢰성 도구를 포함한 주요 오픈소스 프로젝트와 기술 스택, 작업 방식 및 연락처 정보를 제공합니다.

AgentLeak은 AI 에이전트 전용의 오픈소스 프라이버시 테스트 도구입니다. 로컬 Python SDK, CLI 및 MCP 도구를 활용하여 툴 호출, 메모리, 로그 전반에 걸친 데이터 유출을 감지하며, 클라우드 의존성 없이 마스킹된 보고서와 CI 게이트를 제공합니다.

MLflow는 에이전트, LLM 및 전통적인 ML 모델의 라이프사이클 관리를 위해 설계된 오픈 소스 AI 엔지니어링 플랫폼으로, 관측 가능성, 평가 및 배포에 중점을 둡니다.

SUM은 암호화 영수증으로 AI 텍스트 변환을 검증하는 오픈소스 도구입니다. AI가 텍스트를 다시 쓸 때 무엇이 변경되고, 보존되고, 손실되었는지 확인하며, 교차 런타임 Ed25519 서명과 오프라인 검증을 지원합니다.

garak은 NVIDIA가 만든 오픈소스 LLM 취약점 스캐너로, 생성형 AI 모델의 환각, 데이터 유출, 프롬프트 인젝션, 독성, 탈옥 등의 약점을 탐지한다. LLM용 nmap이나 Metasploit에 비유된다.

iFixAi는 AI 에이전트의 독립적 감사를 위한 프레임워크로, 운영 보장과 적대적 테스트에 중점을 둡니다. 전염, 조종, 기만, 예측 불가능성, 불투명성 등 5개 핵심 기둥을 평가하여 A~F 등급을 부여합니다.

DeepEval은 RAG 파이프라인, 에이전트, 챗봇을 포함한 AI 애플리케이션의 단위 테스트를 위해 설계된 오픈 소스 LLM 평가 프레임워크입니다.

브라질 국가 común 교육 과정 기준(BNCC)에 대한 LLM 알루시네이션 벤치마크. 개방된 방법론과 공개 데이터로 모델이 공식 코드와 텍스트를 얼마나 허구적으로 생성하는지 측정하며, bncc.dev를 통한 grounding으로 문제가如何解决되는지 분석한다.