dive-into-llms

Le projet «Dive into LLMs» (《动手学大模型》) est une série de tutoriels pratiques issus des notes de cours des enseignements «Technologies avancées en traitement du langage naturel» (NIS8021) et «Technologies de sécurité en intelligence artificielle» (NIS3353) de l'Université Jiao Tong de Shanghai. Développé par l'équipe du professeur Zhang Zhuosheng, il est à but non lucratif et entièrement gratuit. Le projet vise à aider les apprenants à entrer rapidement dans le monde des grands modèles de langage grâce à des exercices simples, afin de mieux mener des travaux de cours ou des recherches académiques. Le tutoriel comprend 11 chapitres, chacun offrant des supports de cours (PDF), des explications pédagogiques (README) et des scripts Jupyter Notebook exécutables : 1. Micro-tuning et déploiement : guide de micro-tuning et de déploiement des modèles pré-entraînés, couvrant la sélection des modèles, le micro-tuning sur des tâches spécifiques et le déploiement de démonstrations. 2. Apprentissage par prompts et chaînes de pensée : guide d'appel API et d'inférence des grands modèles, explorant l'ingénierie des prompts et les techniques de chaîne de pensée. 3. Édition de connaissances : méthodes et outils d'édition des modèles de langage, permettant d'éditer et de vérifier des connaissances spécifiques. 4. Raisonnement mathématique : grâce à la distillation d'un mini modèle R1, apprendre aux grands modèles à raisonner en mathématiques. 5. Filigrane de modèles : techniques d'insertion de filigranes invisibles à l'œil humain dans les contenus générés par les modèles de langage. 6. Attaques de jailbreak : comprendre comment les attaques de jailbreak parviennent à contourner les garde-fous de sécurité des grands modèles, et appréhender la sécurité du point de vue de l'attaque. 7. Stéganographie des grands modèles : faire en sorte que le grand modèle réponde de manière fluide tout en transportant des informations cachées reconnaissables uniquement par un destinataire spécifique. 8. Modèles multimodaux : explorer comment les grands modèles de langage multimodaux réalisent des capacités de compréhension et de génération multimodales plus puissantes. 9. Agents GUI : permettre à l'agent IA de réaliser des tâches GUI comme commander à manger, répondre aux messages, comparer les prix pour acheter, etc. 10. Sécurité des agents : examiner les menaces et la conscience de sécurité des grands modèles dans les scénarios d'agents ouverts. 11. Alignement de sécurité RLHF : guide expérimental RLHF basé sur PPO, couvrant des pratiques d'alignement de sécurité via l'apprentissage par renforcement à partir de rétroactions humaines. De plus, le projet s'associe à la communauté Ascend de Huawei pour proposer un tutoriel public «Développement complet des grands modèles» (大模型开发全流程), adapté aux besoins nationaux, conçu à partir des logiciels et matériels de base Ascend, disponible sous forme de PPT, manuels d'expérimentation et vidéos. Organisé en séries débutant, intermédiaire et avancé, il répond à différents besoins pratiques et offre un guide de développement progressif allant de la prise en main rapide, à l'utilisation des modèles déjà pris en charge par Ascend, jusqu'à la migration et l'optimisation de nouveaux modèles. Le projet est le fruit des contributions de plusieurs équipes de l'Université Jiao Tong de Shanghai, de l'Université nationale de Singapour et de la communauté Ascend de Huawei. Les discussions et améliorations via Issues et PR sont les bienvenues.