pytorch-lightning

PyTorch Lightning — это фреймворк глубокого обучения, предназначенный для предварительного обучения и тонкой настройки моделей ИИ любого размера, масштабируемый от одного CPU до тысяч GPU с минимальными изменениями кода. Он организует код PyTorch, разделяя научную логику модели и инженерную инфраструктуру, автоматизируя обратное распространение, смешанную точность, много-GPU и распределённое обучение. Проект предлагает два основных пакета: PyTorch Lightning, который предоставляет высокоуровневые абстракции Trainer и LightningModule, и Lightning Fabric, который даёт экспертный контроль над циклом обучения и стратегией масштабирования для сложных моделей, таких как LLM, диффузионные модели и трансформеры. Пользователи могут выбрать необходимый уровень абстракции. Ключевые возможности включают аппаратно-независимое обучение на CPU, GPU, TPU и многоузловых конфигурациях; поддержку распределённых стратегий, таких как DDP, FSDP и DeepSpeed; смешанную точность; интеграции для логирования экспериментов; раннюю остановку; чекпоинтинг; и экспорт в TorchScript или ONNX. В README отмечается минимальные накладные расходы на скорость выполнения по сравнению с чистым PyTorch. Установка осуществляется через pip или conda. Репозиторий включает множество примеров, охватывающих классификацию изображений, сегментацию, обнаружение объектов, классификацию текста, суммаризацию, генерацию аудио, тонкую настройку LLM, генерацию изображений, рекомендательные системы и прогнозирование временных рядов. Проект лицензирован под Apache 2.0 и тщательно тестируется на различных версиях Python и PyTorch, операционных системах и аппаратных ускорителях.