NVIDIA IA Décodée - Débloquer les performances de l'IA générative : TensorRT accélère l'IA sur les PC et stations de travail RTX !

Le blog "IA Décodée" de cette semaine est consacré aux optimisations de l'IA que NVIDIA TensorRT apporte aux plus de 100 millions de PC et stations de travail RTX sous Windows en local.

Le nouveau benchmark Procyon AI Image Generation d'UL Solutions est désormais disponible. Il mesure les performances réelles du matériel pour la génération d'images IA. Nos tests internes ont démontré une accélération de 50 % sur un GPU GeForce RTX 4080 SUPER par rapport à l'implémentation non-TensorRT la plus rapide.

Avant de nous plonger dans les actualités, voici un bref rappel :

• - Les Tensor Cores sont les accélérateurs d'IA dédiés sur les GPU RTX qui fournissent efficacement une IA locale de haute performance.
• - NVIDIA TensorRT est un ensemble d'outils - c'est-à-dire un kit de développement logiciel (SDK) - qui permet aux développeurs d'accéder au matériel pour fournir des expériences d'IA entièrement optimisées.
• - NVIDIA TensorRT-LLM est une bibliothèque open-source qui permet aux LLM de comprendre et de répondre aux demandes plus rapidement et plus efficacement. ChatRTX s'appuie sur TensorRT-LLM pour optimiser les performances sur les GPU RTX, et tout le monde peut expérimenter des modèles optimisés par TensorRT-LLM dans les modèles de la NVIDIA AI Foundation.

Pour les LLM, TensorRT accélère certains des modèles d'IA générative les plus populaires, y compris Stable Diffusion et SDXL. Nouveauté cette semaine, l'optimisation TensorRT qui accélère le populaire WebUI Stable Diffusion d'Automatic 1111 s'étend maintenant aux ControlNets, un ensemble de modèles IA qui agissent comme des assistants spéciaux pour donner aux utilisateurs plus de contrôle sur leurs images générées - offrant un gain de 40%. L'extension peut être téléchargée dès aujourd'hui sur GitHub.

Consultez le blog complet pour en savoir plus sur les autres accélérations de TensorRT, y compris les optimisations pour les créateurs.

Posté le 27 Mars 2024 à 16:58 par Jonathan Riemain