PowerInfer — это локальный движок вывода LLM, использующий локальность активации: часто используемые «горячие» нейроны остаются на GPU, а зависимые от входа «холодные» вычисляются на CPU. Поддерживает гибридный или только CPU-вывод, обслуживание, пакетную обработку, оценку перплексии, INT4-квантование и модели PowerInfer GGUF.
Открытый код. Новые возможности.
Находите качественные проекты с открытым исходным кодом, отправляйте проекты анонимно, заявляйте права на свои проекты и редактируйте их.
Немного любопытства. Мир открытого кода.
THE FIRST COLLECTIONПроект с открытым исходным кодом для китайских больших языковых моделей LLaMA и Alpaca: расширение китайского словаря на основе оригинальной LLaMA, повторное предобучение, модели с инструктивной настройкой, веса LoRA, скрипты обучения и квантования, поддержка локального запуска на CPU/GPU.
Текстовая 5e-совместимая RPG, где ИИ-мастер подземелий использует игровой движок MCP/SQLite для настоящих бросков кубиков, постоянных характеристик, ячеек заклинаний и боя.
SupaNexus — это открытый AI-шлюз, объединяющий доступ к нескольким провайдерам LLM через единый API, упрощающий разработку с помощью совместимых с OpenAI интерфейсов и централизованного управления моделями.
LightRAG — это легковесный графовый фреймворк для retrieval-augmented generation от HKUDS, предлагающий двухуровневый поиск, индексацию графа знаний, мультимодальный парсинг, несколько бэкендов хранилищ и API-сервер с WebUI.
GPT Academic — open-source проект для удобного взаимодействия с LLM-моделями, оптимизированный для работы с научными статьями. Поддерживает модульные плагины, пользовательские сочетания клавиш, параллельные запросы к нескольким моделям, а также перевод и суммаризацию PDF/LaTeX.
txtai — это универсальная ИИ-платформа для семантического поиска, оркестрации LLM и построения сложных конвейеров языковых моделей.
Практическое руководство по обучению LLM с нуля на PyTorch: подготовка данных, создание Transformer, предобучение и пост-обучение с SFT, DPO, PPO и GRPO.
Haystack — это open-source фреймворк для оркестрации ИИ, предназначенный для создания готовых к промышленной эксплуатации LLM-приложений, RAG-систем и автономных агентов на Python.
LlamaFactory — это Python-фреймворк для эффективного дообучения более 100 больших языковых и мультимодальных моделей с zero-code CLI, Gradio Web UI, LoRA/QLoRA и множеством алгоритмов обучения.
Deep Lake — это бессерверная мультимодальная база данных для ИИ, объединяющая векторный поиск с хранением эмбеддингов, изображений, видео, аудио и документов. Она передает данные напрямую из облачного хранилища в PyTorch/TensorFlow, поддерживает версионирование и интегрируется с LangChain, LlamaIndex и Weights & Biases.
Бесплатный курс по большим языковым моделям:Roadmap и ноутбуки Google Colab. Охватывает основы LLM, архитектуру, предобучение, дообучение, квантование и создание приложений на основе LLM.
Ray — это унифицированный фреймворк для масштабирования AI и Python-приложений: от одного ноутбука до распределенного кластера.
Flowise — это визуальный инструмент для создания ИИ-агентов, позволяющий пользователям проектировать и развертывать агентные рабочие процессы через графический интерфейс.
Langflow — платформа для визуального создания и развёртывания ИИ-агентов и рабочих процессов с поддержкой drag-and-drop, интерактивного песочника, мультиагентной оркестрации и деплоя как API или MCP-сервер.
LangExtract — библиотека Google на Python для извлечения структурированной информации из неструктурированного текста с помощью LLM, с привязкой к источнику и генерацией HTML-визуализации.
DeepTutor — это открытая платформа от HKUDS для непрерывного персонализированного обучения, объединяющая агентный чат, базы знаний с несколькими RAG-движками, управляемое обучение, генерацию книг, викторины и многоканальных IM-партнёров.
Официальный репозиторий кода книги «Build a Large Language Model (From Scratch)»: пошаговая реализация GPT-подобных моделей на PyTorch, включая предобучение и дообучение, с ноутбуками и упражнениями.