Об этом проекте

Atomic Chat — это локальное ИИ-приложение и движок инференса, предназначенный для запуска открытых больших языковых моделей на вашем собственном компьютере, с акцентом на конфиденциальность и автономную работу. Оно выпускается в виде настольных сборок для macOS, Windows и Linux, а также приложений для iOS и Android. Основные возможности, описанные в README: - Локальный запуск моделей: запуск открытых моделей с Hugging Face, включая семейства Llama, Gemma, Qwen, Mistral и Phi. - Локальный API, совместимый с OpenAI: сервер по адресу http://localhost:1337/v1 выступает как полноценная замена OpenAI SDK, поэтому существующие агенты, CLI и плагины IDE могут обращаться к нему, изменив только базовый URL. По умолчанию он привязан к 127.0.0.1, а для доступа по локальной сети можно задать host равным 0.0.0.0. - Несколько бэкендов инференса: форк llama.cpp с опциями KV-кэша TurboQuant, оригинальный llama.cpp и MLX-VLM для визуально-языковых моделей на Apple Silicon. В README указано, что клиентам не нужно знать, какой бэкенд активен. - Параметры декодирования и производительности: спекулятивное декодирование Multi-Token Prediction, блочно-диффузионное декодирование DFlash, переключатели Flash Attention, отслеживание контекста рассуждений и автоматическое расширение контекстного окна. - Поддержка облачных моделей: встроенные провайдеры, такие как OpenAI, Anthropic, Mistral, Groq, MiniMax, Qwen и Moonshot, с возможностью использования собственного ключа и переключением моделей в каждом чате. - Инструменты и интеграции: запуск внешних агентов в один клик (например, Claude Code, Codex CLI, Cline, OpenCode, Goose, OpenHands, Copilot CLI, Kilo Code, Zed), панель предпросмотра Artifacts для HTML/CSS/JS, подключения MCP-серверов, пользовательские ассистенты с системными промптами и проекты с деревом бесед. В README также описана сборка из исходного кода с использованием Node.js 20+, Yarn, Make и Rust, системные требования для каждой платформы, использование Linux AppImage и устранение неполадок через issues на GitHub или Discord. Приведённые в README показатели производительности (такие как увеличение пропускной способности или уменьшение размера KV-кэша) являются собственными заявлениями проекта и здесь независимо не проверялись.