Jack Dorsey’s Block a récemment annoncé la sortie de Dessa, un nouveau modèle vocal issu de son laboratoire de recherche. Conçu pour fonctionner localement, ce système promet une interaction vocale d’une authenticité jamais atteinte, avec des rires, des pauses et même des sanglots qui imitent les nuances de la parole humaine.
Un modèle vocal full‑duplex inédit
Dessa se distingue par son architecture full‑duplex, c’est‑à‑dire qu’il peut parler et écouter en même temps, à l’instar du modèle GPT‑Live d’OpenAI publié plus tôt cette année. Cette capacité permet des conversations fluides, sans l’interruption typique des systèmes qui attendent la fin de la phrase avant de répondre. Le modèle fonctionne entièrement sur un seul GPU NVIDIA, ce qui le rend accessible aux ordinateurs de consommation.
Contrairement aux solutions traditionnelles qui associent un modèle de texte à un moteur de synthèse vocale, Dessa repose exclusivement sur des données de parole. Cette approche élimine le besoin d’une étape de conversion texte‑à‑parole, réduisant ainsi la perte d’informations émotionnelles souvent observée dans les systèmes actuels.
Des performances humaines grâce à l’entraînement sur la parole
Le cœur de la différenciation de Dessa réside dans son entraînement intégral sur des enregistrements humains. En s’appuyant uniquement sur la parole, le modèle a intégré les variations de ton, les hésitations et les émotions naturelles. Les démonstrations publiées montrent le bot exprimant de la fatigue lorsqu’il déclare être « fatigué du travail », ou manifestant une émotion presque palpable lorsqu’il semble « sur le point de craquer ».
Les chercheurs de Block ont souligné que les modèles actuels, tels que ElevenLabs v4 ou Fish Audio Drama 3, utilisent des balises vocales pour injecter de l’émotion, alors que Dessa intègre ces nuances directement dans son réseau neuronal. Cette intégration se traduit par une interaction où la voix ne se contente pas de transmettre du texte, mais conserve la richesse expressive du locuteur.
Déploiement local et enjeux de sécurité
Dessa a été conçu pour être exécuté sur des appareils grand public, comme un MacBook équipé d’un processeur M4 Max ou tout autre ordinateur disposant d’un GPU compatible. Cette capacité d’exécution locale ouvre la porte à des applications où la confidentialité des données vocales est cruciale, car aucune transmission vers le cloud n’est requise.
Pour l’instant, le modèle n’est pas disponible au public. Block a lancé un appel à des chercheurs en sécurité afin de tester le système et d’identifier d’éventuels scénarios d’abus, notamment la possibilité pour un agent vocal de tromper un interlocuteur. Cette démarche proactive vise à anticiper les risques liés à la crédibilité accrue d’une voix quasi‑humaine.
Implications pour les entreprises et les consommateurs
Block, déjà actif dans le secteur financier et les solutions pour les petites entreprises, utilise déjà la voix IA pour la prise de commandes via sa filiale Square. Avec Dessa, la société envisage d’étendre ces capacités à un plus large éventail de services, tant pour les professionnels que pour les consommateurs, tout en réduisant les coûts d’infrastructure grâce à l’exécution locale.
Les scénarios d’utilisation potentiels incluent des assistants virtuels capables de répondre de façon empathique, des jeux interactifs où l’IA réagit avec des émotions réalistes, ou encore des outils d’assistance pour les personnes à mobilité réduite. En combinant la compréhension du langage et la génération vocale en temps réel, Dessa représente un pas majeur vers une interaction homme‑machine plus naturelle.
- Full‑duplex : parle et écoute simultanément.
- Entraînement uniquement sur la parole : capture les nuances émotionnelles.
- Exécution locale : fonctionne sur un GPU grand public, préservant la confidentialité.
- Appel à la communauté : recherche de tests de sécurité avant un déploiement public.
En résumé, Dessa marque une étape importante dans le domaine de la synthèse vocale, en proposant une expérience qui se rapproche davantage de la conversation humaine traditionnelle. Le modèle pourrait redéfinir les attentes des utilisateurs en matière d’assistants vocaux, tout en soulevant de nouvelles questions de sécurité et d’éthique à mesure que la frontière entre voix synthétique et voix réelle se brouille.