paddleseg

PaddleSeg — это сквозной комплект разработки для сегментации изображений на базе фреймворка PaddlePaddle, ориентированный на полный процесс применения сегментации — от обучения до развертывания. Проект распространяется под лицензией Apache 2.0, поддерживает Linux, Windows и macOS, требует Python 3.6 и выше. Ключевые возможности В комплект встроено более 45 алгоритмов и 140+ предобученных моделей, обеспечивающих четыре основные возможности сегментации: семантическую, интерактивную, маттинг (вырезание объектов) и панорамную. Также реализованы специализированные направления, такие как сегментация людей, 3D-медицинская сегментация и доменная адаптация. Разработка поддерживается как через конфигурационные файлы, так и через API, охватывая весь процесс: разметку данных, разработку моделей, обучение, сжатие и развертывание. Модели и компоненты Библиотека моделей семантической сегментации включает PP-LiteSeg, PP-MobileSeg, DeepLabV3P, OCRNet, BiSeNetV1/V2, DDRNet, SegFormer, серию U-Net, MaskFormer, K-Net, SegNeXt и другие. Сети-основы охватывают HRNet, ResNet, STDCNet, MobileNetV2/V3, ShuffleNetV2, GhostNet, LiteHRNet, ViT, Swin Transformer, MSCAN и др. Функции потерь включают кросс-энтропию, Dice, Focal, Lovasz, OHEM, краевое внимание и другие. Метрики оценки: mIoU, Accuracy, Kappa, Dice, AUC_ROC. Поддержка данных и обучения Встроена поддержка чтения наборов данных ADE20K, Cityscapes, COCO Stuff, Pascal VOC, PP-HumanSeg14K и нескольких медицинских наборов (DRIVE, STARE, CHASE_DB1, HRF и др.). Предусмотрены стратегии аугментации: отражение, масштабирование, кадрирование, шум, размытие, вращение, аффинные преобразования. Для ускорения обучения используются многопроцессный асинхронный ввод-вывод, многокарточное параллельное обучение и оценка, а также оптимизация памяти фреймворка для снижения затрат. Развертывание и сжатие Модели можно экспортировать в формат предсказания или ONNX. Пути развертывания включают FastDeploy, Paddle Inference (Python/C++), Paddle Lite, Paddle Serving и Paddle JS, охватывая серверные GPU, X86 CPU, мобильные ARM CPU и веб-сценарии. Для сжатия доступны квантование, дистилляция, обрезка, а также комбинированное обучение с квантованием и дистилляцией. Низкокодовые инструменты В ноябре 2024 года добавлена низкокодовая сквозная разработка на базе PaddleX, объединяющая модели общей семантической сегментации и обнаружения аномалий изображений в конвейеры. Поддерживаются единый командный интерфейс и графический интерфейс. Также добавлен алгоритм обнаружения аномалий SFTPM. Дополнительно предоставляются инструменты выбора моделей PaddleSMRT, интерактивная разметка EISeg и легковесная визуальная модель MobileSAM. Сценарии применения В README перечислены примеры промышленного использования: сегментация людей, сегментация дорог по спутниковым снимкам, сегментация дорожной разметки, сегментация частей лица, 3D-сегментация позвонков, предпросмотр маникюра, мониторинг длины арматуры. Это подтверждает применимость в медицине, промышленности, дистанционном зондировании и развлекательной сфере.