À propos du projet

Live Smith est une extension d'agent IA en version bêta pour Ableton Live qui permet aux utilisateurs d'interagir avec leur environnement de production musicale via une conversation en langage naturel. En sélectionnant une piste, un Clip, un appareil ou un autre objet Live pris en charge et en choisissant « Ask Live Smith », les utilisateurs peuvent inspecter, créer et éditer des parties MIDI, organiser des pistes et des Scènes, ajuster les paramètres du mixeur, et travailler avec des échantillons et des appareils natifs Live—le tout via une interface conversationnelle. L'outil prend en charge plusieurs connexions de modèles IA, notamment des intégrations API directes avec OpenAI, Anthropic et Google Gemini (via son endpoint compatible OpenAI), ainsi que des connexions expérimentales par abonnement pour ChatGPT, Claude et Google Antigravity. Les utilisateurs peuvent enregistrer plusieurs modèles dans un seul Profil de connexion et basculer entre eux et les niveaux de raisonnement directement depuis le compositeur. La recherche Web hébergée est disponible via les connexions API directes compatibles. Pour la génération audio, Live Smith s'intègre à ElevenLabs pour la génération de musique et d'effets sonores, Mureka pour la génération instrumentale et de chansons basée sur des invites, l'API officielle de la plateforme Suno, et une connexion expérimentale au compte Suno.com qui utilise les crédits d'abonnement existants de l'utilisateur. La connexion Suno.com prend en charge l'importation de chansons, leur extension et l'audition via un lecteur intégré. Pour la séparation audio, une connexion LALAL.AI permet d'extraire les voix, la batterie, la basse, le piano ou les guitares à partir de pièces jointes audio ou de plages isolées de Clips Audio d'Arrangement. L'outil propose des contrôles granulaires de portée d'édition (MIDI, Audio, Appareils, Mixeur, Structure) et trois modes d'approbation (Manuel, Risque faible, Tout accepter) pour donner aux utilisateurs un contrôle précis sur les modifications que l'IA peut effectuer. Les sessions conservent l'historique des conversations et des actions avec leur contexte Live, et les Compétences intégrées fournissent des conseils de flux de travail musical pour l'énergie des sections, la variation et les rôles des instruments. Les pièces jointes prennent en charge les images, les documents et les fichiers audio, avec vérification des capacités spécifiques au modèle. La confidentialité est maintenue grâce au stockage local des profils, sessions, pièces jointes et identifiants. L'outil n'exécute pas de code généré arbitrairement par le modèle et n'inspecte ni n'édite l'Automation, ne parcourt pas les préréglages installés, ni ne charge de VST par identifiant de plugin. La prise en charge du proxy réseau inclut les modes Sans proxy, Proxy système et Proxy manuel avec des comportements de routage précis.