dive-into-llms

«动手学大模型 Dive into LLMs» es una serie de tutoriales prácticos de programación derivada de los apuntes de los cursos «Tecnologías de vanguardia en procesamiento de lenguaje natural» (NIS8021) y «Tecnologías de seguridad en inteligencia artificial» (NIS3353) de la Universidad Jiao Tong de Shanghái. El proyecto está liderado por el equipo del profesor Zhang Zhuosheng, es de carácter benéfico y completamente gratuito. Su objetivo es ayudar a los estudiantes a iniciarse rápidamente en los grandes modelos mediante prácticas sencillas, facilitando el diseño de cursos o la investigación académica. El tutorial consta de 11 capítulos, y cada uno incluye diapositivas (PDF), documentación (README) y cuadernos Jupyter Notebook ejecutables: 1. Ajuste fino y despliegue: guía para el ajuste fino y el despliegue de modelos preentrenados; cubre selección de modelos, ajuste fino para tareas específicas y despliegue de demos. 2. Aprendizaje por indicaciones y cadena de pensamiento: guía de invocación de API y razonamiento con grandes modelos; explora la ingeniería de indicaciones y la técnica de cadena de pensamiento. 3. Edición de conocimiento: métodos y herramientas para editar modelos de lenguaje, permitiendo editar y verificar conocimientos específicos. 4. Razonamiento matemático: mediante la destilación del modelo mini R1, los grandes modelos aprenden habilidades de razonamiento matemático. 5. Marcas de agua en modelos: técnicas para incrustar marcas de agua invisibles para los humanos en el contenido generado por el modelo de lenguaje. 6. Ataques de jailbreak: comprender cómo los ataques de jailbreak rompen las defensas de seguridad de los grandes modelos y entender la seguridad desde la perspectiva del atacante. 7. Esteganografía en grandes modelos: permitir que el gran modelo, mientras responde con fluidez, porte información oculta que solo un receptor específico pueda reconocer. 8. Modelos multimodales: explorar cómo los grandes modelos de lenguaje multimodales logran capacidades más potentes de comprensión y generación multimodal. 9. Agentes GUI: hacer que el agente de IA realice en lugar del usuario tareas de operación GUI, como pedir comida, responder mensajes, comparar precios al comprar, etc. 10. Seguridad de agentes: analizar las amenazas y la conciencia de seguridad de los grandes modelos en escenarios de agentes abiertos. 11. Alineación segura con RLHF: guía de experimentos RLHF basada en PPO; cubre prácticas de alineación segura mediante aprendizaje por refuerzo con retroalimentación humana. Además, el proyecto, junto con la comunidad Ascend de Huawei, ha lanzado el tutorial público y localizado «Proceso completo de desarrollo de grandes modelos», basado en el software y hardware básico de Ascend. Incluye formatos como PPT, manuales de laboratorio y videos, y se divide en niveles principiante, intermedio y avanzado. Atiende distintas necesidades prácticas, ofreciendo una guía de desarrollo de todo el proceso que va de lo simple a lo profundo: inicio rápido, uso de modelos ya admitidos por Ascend y migración y ajuste de nuevos modelos. El proyecto cuenta con contribuciones de múltiples equipos de la Universidad Jiao Tong de Shanghái, la Universidad Nacional de Singapur y la comunidad Ascend de Huawei. Son bienvenidas la participación en discusiones y mejoras a través de Issues y PRs.