À propos du projet

TEN est un framework open source pour l'IA conversationnelle multimodale en temps réel. Son écosystème comprend le TEN Framework, des exemples d'agents, TEN VAD (détection d'activité vocale), TEN Turn Detection et un site Portal. Le README présente plusieurs exemples d'agents : - Assistant vocal polyvalent : un assistant en temps réel à faible latence prenant en charge les connexions RTC et WebSocket, extensible avec Memory, VAD et Turn Detection. - Doodler : transforme des invites vocales ou textuelles en croquis dessinés à la main, avec dessin en temps réel. - Speaker Diarization : détection et étiquetage des locuteurs en temps réel, illustré par un cas d'usage de jeu. - Avatars Lip Sync : fonctionne avec plusieurs fournisseurs d'avatars, dont un personnage d'anime avec synchronisation labiale MotionSync et des avatars réalistes de Trulience, HeyGen et Tavus. - SIP Call : une extension permettant des appels téléphoniques propulsés par TEN. - Transcription : transcrit l'audio en texte. - ESP32-S3 Korvo V3 : exécute un exemple d'agent sur la carte Espressif ESP32-S3 Korvo V3. Le démarrage rapide (localhost) nécessite des clés API pour Agora (App ID et Certificate), OpenAI, Deepgram ASR et ElevenLabs TTS, ainsi que Docker/Docker Compose et Node.js LTS v18, avec un minimum de 2 cœurs CPU et 4 Go de RAM. Les étapes incluent le clonage du dépôt, la configuration d'un fichier .env, le démarrage des conteneurs Docker, la compilation de l'agent, l'exécution du serveur web via task install et task run, puis l'accès à TMAN Designer (localhost:49483) et à l'interface des exemples d'agents (localhost:3000). Les agents peuvent être personnalisés en modifiant les propriétés des extensions dans TMAN Designer. Codespaces offre une alternative sans Docker. Les options d'auto-hébergement incluent la compilation et l'exécution d'une image Docker de release, ou un déploiement scindé : exécuter le backend TEN sur une plateforme compatible avec les conteneurs exposant le port 8080, et déployer uniquement le frontend sur Vercel ou Netlify avec AGENT_SERVER_URL configuré. Le framework est publié sous Apache License 2.0 avec des restrictions supplémentaires ; les paquets du répertoire packages utilisent Apache 2.0, et les bibliothèques tierces sont documentées séparément.