ltm100

LTM100은 장기 기억(LTM) 시스템을 위해 설계된 종단 간 다중 사용자 부하 벤치마크입니다. 가상 사용자를 현실적인 메모리 워크로드로 구동하고 클라이언트가 관찰할 수 있는 처리량, 지연 시간, 거부, 오류 지표를 보고합니다. 이 도구는 검색이나 답변 품질이 아니라 부하, 동시성, 확장성 동작을 명시적으로 측정합니다. 즉, 정밀도, 재현율, MRR을 계산하지 않습니다. 주요 기능은 다음과 같습니다. - 고정 동시성 및 도착 기반 테스트를 위한 폐쇄형 및 개방형 부하 모델. - 네 가지 시나리오: chat-replay(챗봇 회상 및 대화 수집 재생), add-load(순수 메모리 수집 처리량), search-load(검색 처리량 및 지연 시간), mixed(구성 가능한 add/search 혼합). - 그룹별 회상, 타이밍, 폐쇄형/개방형 세션 제어를 갖춘 가중치 기반 채팅 워크로드 프로필. - 과부하 실험을 위한 제한된 수용 및 거부 회계. - 단일 이벤트 루프 코어를 넘어 확장하기 위한 다중 프로세스 부하 생성. - 선택적 사전 수집, 램프업, 원시 요청 기록, 고정 간격 E2E 시계열, 서버 측 지연 시간 지표. - 고정 쿼리 워크로드와 격리된 코퍼스 지점을 사용한 반복적 메모리 증가 스윕. - 플러그 가능한 데이터셋 및 백엔드 어댑터. 지원되는 데이터셋에는 LongMemEval(chat-replay를 위한 구조화된 사용자/어시스턴트 턴이 있는 로컬 JSON 또는 Hugging Face 로딩)과 번들 합성 데이터셋(결정적, 다운로드 불필요)이 있습니다. 지원되는 백엔드에는 MemMachine REST, REST 수명 주기 관리를 사용하는 MemMachine MCP, Mem0 OSS REST가 있습니다. 보고서는 JSON 및 CSV로 출력되며, 성공적인 처리량과 지연 시간은 백엔드 오류 및 대기열 거부와 별도로 보고되어 과부하가 QPS를 부풀리거나 서비스 지연 시간 백분위수를 낮추는 것을 방지합니다. 추가 출력 옵션에는 요청별 원시 NDJSON 로그, 고정 간격 E2E 시계열, 어댑터가 지원하는 경우 서버 측 지연 시간 분석이 포함됩니다. LTM100은 Python 3.10 이상이 필요하며 pip를 통해 설치됩니다. 이 프로젝트는 Apache License 2.0에 따라 라이선스가 부여되며, 현재 릴리스는 v0.4.3입니다.