aifred-intelligence

AIfred Intelligence est un assistant IA autonome auto-hébergé conçu pour fonctionner localement sur votre propre matériel. Il combine l'inférence de grands modèles de langage avec un système d'outils basé sur des plugins, des flux de travail multi-agents, des interfaces vocales, le traitement visuel et une mémoire persistante. Les capacités clés incluent l'appel de fonctions à travers de nombreux outils intégrés tels que l'e-mail (IMAP/SMTP), Google Calendar et Contacts, le CRUD de base de données EssentialPIM, un espace de travail documentaire avec recherche vectorielle ChromaDB, l'exécution Python en bac à sable, la recherche web via SearXNG/Tavily/Brave, la planification, la surveillance système, la traduction et la narration par synthèse vocale. Un système de plugins permet d'ajouter des plugins de canaux ou d'outils sous forme de fichiers Python sans modification du code. Le système multi-agents prend en charge les agents personnalisés, la délégation de sous-agents et les modes de débat, notamment Tribunal et Symposion. Les agents peuvent être interpellés par leur nom via l'interface web ou les canaux externes. Un système de niveaux de permission, un courtier d'identifiants, la désinfection des entrées, la limitation de débit et la journalisation d'audit fournissent des contrôles de sécurité. L'infrastructure LLM prend en charge plusieurs backends : llama.cpp via llama-swap, Ollama, vLLM, TabbyAPI et les API cloud. Elle inclut l'étalonnage automatique du contexte, la sélection de profils tenant compte de la VRAM, le mode de réflexion et la compression de l'historique. Les fonctionnalités vocales incluent la reconnaissance vocale basée sur Whisper avec routage CPU/GPU, plusieurs moteurs de synthèse vocale avec configuration par agent, et un terminal vocal dédié FreeEcho.2 pour le matériel Echo Dot 2. Les fonctionnalités de vision incluent des sources de webcam et de caméra RTSP, un modal d'aperçu en direct, des briefings par caméra et un mode de surveillance appelé Vigilantia avec détection de mouvement, masques de zones, reconnaissance faciale, regroupement d'événements et analyse VLM en masse. Les pièces jointes d'images dans le chat sont prises en charge avec des modèles multimodaux et un LLM de vision dédié. Le projet comprend une interface web pour la configuration et la surveillance, tandis que le Message Hub peut traiter les messages entrants sans interface graphique. La documentation est fournie en anglais et en allemand.