L’infrastructure IA est en pleine expansion, et les entreprises sont sous pression pour optimiser au maximum les performances de leurs processeurs graphiques (GPUs). C’est dans ce contexte que Tensormesh émerge de la clandestinité avec un financement de 4,5 millions de dollars pour développer une version commerciale de l’utilitaire open-source LMCache. Cette technologie révolutionnaire a le potentiel de réduire les coûts d’inference de jusqu’à dix fois, ce qui en fait un atout précieux pour les entreprises qui cherchent à améliorer leurs capacités IA.
##
L’Origine de Tensormesh
Tensormesh a été fondée par Yihua Cheng, qui a également créé l’utilitaire open-source LMCache. Cette technologie a été adoptée par des géants de l’industrie tels que Google et Nvidia, qui l’ont intégrée dans leurs systèmes pour améliorer les performances de leurs modèles IA. Maintenant, Tensormesh cherche à transformer cette réputation académique en un business viable. L’entreprise compte utiliser les fonds levés pour développer une version commerciale de LMCache, qui sera conçue pour aider les entreprises à optimiser leurs capacités IA.
##
La Technologie de Tensormesh
La clé de la technologie de Tensormesh réside dans son approche innovante du cache à clés-valeurs (ou KV cache), un système de mémoire utilisé pour traiter des entrées complexes de manière plus efficace en les condensant à leurs valeurs clés. Dans les architectures traditionnelles, le KV cache est supprimé à la fin de chaque requête, ce qui peut entraîner des pertes d’efficacité importantes. Tensormesh propose une approche différente, en conservant le cache et en le réutilisant lorsqu’un processus similaire est exécuté dans une requête distincte. Cette approche peut nécessiter de répartir les données sur plusieurs couches de stockage, mais elle peut également entraîner une augmentation significative de la puissance d’inference pour une charge de serveur identique.
##
Les Défis et les Opportunités
La mise en œuvre de cette technologie peut être complexe et exiger des ressources importantes. Cependant, Tensormesh est convaincue que son approche innovante et son expertise dans le domaine pourront répondre aux besoins des entreprises qui cherchent à améliorer leurs capacités IA. Le CEO de Tensormesh, Juchen Jiang, souligne que « garder le KV cache dans un système de stockage secondaire et le réutiliser de manière efficace sans ralentir le système entier est un problème très difficile ». C’est pourquoi Tensormesh propose une solution clé en main qui permet aux entreprises de bénéficier de cette technologie sans avoir à investir des ressources importantes dans la recherche et le développement. Avec son financement de 4,5 millions de dollars, Tensormesh est prête à relever le défi et à proposer une solution innovante aux entreprises qui cherchent à optimiser leurs capacités IA.