Les grands modèles de langage (MLM) sont un type d'intelligence artificielle capable de comprendre et de générer du texte de type humain. Nombreux sont ceux qui souhaitent exécuter ces modèles sur leur propre ordinateur pour une meilleure confidentialité et un meilleur contrôle. Auparavant, l'exécution locale des LLM impliquait des résultats de moindre qualité, mais de nouveaux modèles open source comme gpt-oss d'OpenAI et Qwen 3 d'Alibaba permettent désormais d'obtenir facilement des résultats de haute qualité directement sur son propre PC.
Ce changement offre de nouvelles possibilités aux étudiants, amateurs et développeurs de créer et d'utiliser des outils d'IA sans recourir à des services cloud. Les PC NVIDIA RTX sont particulièrement adaptés à cette situation, car leurs cartes graphiques accélèrent les tâches d'IA, pour un fonctionnement rapide et fluide.
Pour simplifier les choses, NVIDIA a collaboré avec plusieurs logiciels LLM populaires afin de tirer le meilleur parti des cartes graphiques RTX. Ollama est l'un des outils les plus simples à utiliser. Il vous permet d'exécuter des LLM, de discuter avec eux et même d'insérer vos documents PDF dans des messages de chat. Vous pouvez l'utiliser pour créer des assistants d'étude, des chatbots ou des assistants IA qui fonctionnent uniquement avec du texte, voire des images. Grâce à NVIDIA, Ollama est désormais plus rapide et plus intelligent sur les PC RTX, et fonctionne particulièrement bien avec les modèles plus grands comme le gpt-oss-20B et les modèles Gemma de Google. Les configurations multi-GPU sont également mieux prises en charge.
Ollama peut également se connecter à d'autres applications. Par exemple, vous pouvez utiliser AnythingLLM pour créer votre propre assistant personnel IA bénéficiant de tous les avantages d'Ollama. AnythingLLM vous permet de télécharger des documents, de créer des bases de connaissances personnalisées et de discuter naturellement avec votre IA, ce qui en fait un outil idéal pour la gestion de supports d'étude ou de projets de recherche d'envergure.
LM Studio est une autre application simple pour exécuter des LLM en local. Elle utilise le framework llama cpp. Son interface conviviale vous permet de charger différents modèles d'IA, de discuter avec eux en temps réel ou même de les utiliser pour vos propres projets de codage. NVIDIA a optimisé llama cpp pour les GPU RTX, le rendant plus rapide et consommant moins de mémoire. LM Studio est désormais compatible avec le dernier modèle NVIDIA Nemotron Nano v2 9B, et la technologie Flash Attention est activée par défaut pour des réponses encore plus rapides.
Les LLM exécutés localement sur des PC RTX sont une véritable révolution pour les étudiants. Dans AnythingLLM, créez votre propre partenaire d'étude, optimisé par l'IA, en chargeant vos diapositives de cours, vos devoirs ou vos manuels. L'IA peut ensuite créer des fiches, répondre à des questions à partir de vos notes, rédiger et corriger des quiz, et expliquer des problèmes complexes étape par étape. Cet outil flexible permet aux étudiants d'apprendre de la manière qui leur convient le mieux et peut également aider les professionnels et les amateurs à se préparer aux examens ou aux certifications.
Project G-Assist est un autre outil intéressant : un assistant IA expérimental qui vous aide à contrôler et optimiser votre PC par de simples commandes vocales ou textuelles. La dernière mise à jour permet désormais de modifier les paramètres de l'ordinateur portable, comme changer de mode d'application pour économiser la batterie, activer BatteryBoost pour prolonger l'autonomie de la batterie ou utiliser WhisperMode pour diviser par deux le bruit du ventilateur. G-Assist est personnalisable, vous pouvez même ajouter vos propres commandes ou connecter facilement d'autres applications. NVIDIA propose des guides et des exemples de plug-ins pour vous aider à démarrer.
Les récentes mises à jour de NVIDIA ont amélioré tous ces outils. Ollama et llama cpp sont désormais plus rapides et utilisent la mémoire de votre GPU plus efficacement. Windows ML avec NVIDIA TensorRT est désormais disponible pour les PC Windows 11, offrant des performances d'IA jusqu'à 50 % plus rapides. La collection NVIDIA Nemotron propose des modèles et des ressources d'IA ouverts aux développeurs qui souhaitent créer de nouveaux outils ou applications.
Si vous souhaitez en savoir plus, suivez NVIDIA et son équipe AI PC sur les réseaux sociaux tels que Facebook, Instagram, TikTok et X. Vous pouvez également vous inscrire à leur newsletter pour rester informé des dernières actualités et astuces AI PC.
Article et image originaux : https://blogs.nvidia.com/blog/rtx-ai-garage-how-to-get-started-with-llms/
