À propos du projet

jetson-inference est un projet pédagogique et une bibliothèque pour déployer des modèles de vision profonde sur les appareils NVIDIA Jetson. Il utilise TensorRT pour exécuter des réseaux optimisés depuis C++ ou Python, tandis que PyTorch est utilisé pour l'entraînement des modèles et l'apprentissage par transfert. La bibliothèque fournit des interfaces pour la classification d'images, la détection d'objets, la segmentation sémantique, l'estimation de pose, la reconnaissance d'actions, la suppression d'arrière-plan et l'estimation de profondeur monoculaire. Le README inclut des exemples en C++ et Python pour traiter des images et des flux de caméra en direct, ainsi que des tutoriels pour le streaming de caméra, les applications web WebRTC, les services REST Flask et les tableaux de bord Plotly. L'intégration ROS et ROS2 est fournie via le projet connexe ros_deep_learning. Le matériel Hello AI World couvre l'exécution d'inférence entièrement sur Jetson, la collecte de jeux de données, le réentraînement de modèles et le déploiement des modèles résultants avec TensorRT. Le même code d'entraînement PyTorch peut également être utilisé sur un PC, un serveur ou une instance cloud avec un GPU discret NVIDIA. Le projet inclut des modèles pré-entraînés pour la reconnaissance de type ImageNet, la détection d'objets COCO, les scénarios de trafic et de dash-cam, la détection de visages, la segmentation Cityscapes et Pascal VOC, l'estimation de pose du corps et des mains, et la reconnaissance d'actions Kinetics. Des builds source, des conteneurs Docker et des instructions de configuration JetPack sont fournis, avec le support JetPack 6 noté pour les appareils Orin. Les API C++ et Python peuvent être liées à des projets externes via libjetson-inference et libjetson-utils.