Comment les grilles d'IA de NVIDIA transforment les réseaux de télécom

Les réseaux de télécommunications se transforment en gigantesques ordinateurs dotés d'intelligence artificielle.

À mesure que les applications basées sur l'IA deviennent plus exigeantes et que le nombre d'utilisateurs en ligne augmente, la manière dont nous fournissons les ressources de calcul évolue. Au lieu de tout centraliser dans quelques immenses centres de données, NVIDIA et les principaux opérateurs télécoms déploient l'IA en périphérie du réseau grâce à ce qu'ils appellent des grilles d'IA.

Imaginez une grille d'IA comme un immense cluster de GPU géographiquement distribué, construit sur les réseaux de télécommunications existants. Ces grilles utilisent des milliers de centres de données périphériques et de puissants GPU NVIDIA pour exécuter l'inférence IA au plus près des utilisateurs, des appareils et des données. Il en résulte une latence réduite, une meilleure réactivité et un coût par jeton plus avantageux pour les charges de travail d'IA.

Les opérateurs télécoms et les fournisseurs de cloud distribué exploitent déjà une infrastructure considérable. À l'échelle mondiale, ils gèrent environ 100 000 centres de données en réseau distribué, allant des hubs régionaux aux sièges sociaux. NVIDIA estime que cette infrastructure dispose d'une capacité de puissance excédentaire suffisante pour supporter à terme plus de 100 gigawatts de nouvelle capacité d'IA. Les grilles d'IA consistent à convertir cet espace, cette énergie et cette connectivité en une véritable plateforme de calcul distribué.

Pour les joueurs et les passionnés de matériel PC, c'est important car cela affecte directement le cloud gaming, les médias interactifs et les expériences d'IA à faible latence qui offrent une réactivité comparable à celle du matériel local.

Les principaux opérateurs construisent des grilles d'IA avec des GPU NVIDIA

Plusieurs grands opérateurs aux États-Unis et en Asie passent déjà du concept au déploiement, chacun utilisant le matériel et les logiciels accélérés par NVIDIA de différentes manières.

AT&T construit une infrastructure d'IA pour l'IoT à l'aide d'un cœur IoT dédié. En rapprochant l'inférence IA du lieu de création des données des capteurs et des caméras, AT&T peut alimenter des applications critiques en temps réel, telles que des solutions de sécurité publique, en partenariat avec des acteurs comme Linker Vision. L'objectif est de fournir une IA sécurisée à faible latence, qui conserve les données sensibles en périphérie du réseau au lieu de les transférer intégralement vers le cloud.
Comcast transforme l'un des plus grands réseaux haut débit à faible latence des États-Unis en une infrastructure d'intelligence artificielle pour des expériences hyper-personnalisées en temps réel. En collaboration avec NVIDIA, Decart, Personal AI et HPE, Comcast a testé la capacité de son infrastructure à gérer les agents conversationnels, les médias interactifs et le cloud gaming NVIDIA GeForce NOW. Les résultats montrent un débit accru et un coût par jeton réduit, même en cas de pics de demande, garantissant ainsi une expérience de cloud gaming et des sessions d'IA intensives fluides et abordables.
Spectrum déploie une infrastructure d'IA sur plus de 1 000 centres de données périphériques. Le premier cas d'usage concerne le rendu GPU à distance de graphismes haute résolution pour la production multimédia, grâce au réseau fibre optique et à la faible latence de Spectrum. Concrètement, cela équivaut à disposer d'un parc de GPU distribué auquel les équipes créatives peuvent accéder depuis quasiment n'importe où.
Akamai construit une grille d'IA mondiale en étendant son Inference Cloud sur plus de 4 400 points de présence, équipés de milliers de GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Sa plateforme d'orchestration achemine chaque requête vers le niveau de calcul approprié, optimisant ainsi les coûts et la latence. Cette solution est conçue pour les cas d'usage en temps réel, notamment dans les secteurs du jeu vidéo, des médias, de la finance et du commerce de détail, où gagner quelques millisecondes peut transformer l'expérience utilisateur.
Indosat Ooredoo Hutchison, en Indonésie, connecte un centre de données d'IA souverain à des sites de périphérie et de réseau d'accès radio (RAN) d'IA distribués à travers le pays. Sa plateforme d'IA Sahabat, dédiée à l'indonésien, fonctionne sur ce réseau à l'intérieur des frontières nationales. Cela offre aux développeurs locaux une plateforme à faible latence et conforme à la législation pour créer des services d'IA localisés, adaptés à la langue et à la culture locales.
T-Mobile expérimente des applications d'IA en périphérie sur une infrastructure équipée de GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Les développeurs testent déjà des cas d'usage pour les villes intelligentes, l'industrie et le commerce de détail. L'objectif est de démontrer comment les sites cellulaires et les centraux téléphoniques mobiles peuvent exécuter des charges de travail d'IA distribuées en périphérie tout en assurant une connectivité 5G avancée.

Dans tous ces exemples, les GPU NVIDIA sont au cœur de la couche de calcul. Au lieu de se limiter aux centres de données cloud, ils se déploient sur des milliers de petits sites périphériques, transformant ainsi le réseau de télécommunications en une immense plateforme virtualisée de graphisme et d'IA.

Nouveaux services d'IA et matériel sous-jacent

Les grilles d'IA sont conçues pour les applications natives d'IA fonctionnant en temps réel, hyper-personnalisées et très gourmandes en jetons. Quelques services préliminaires illustrent ce que cela donne en pratique.

Personal AI utilise des modèles de langage légers, basés sur la technologie NVIDIA Riva et déployés sur la grille d'IA, pour créer des agents conversationnels à l'interface quasi humaine. En rapprochant ces modèles des utilisateurs finaux, la latence de bout en bout est réduite à moins de 500 millisecondes, et le coût par jeton est diminué de plus de 50 %. C'est un atout majeur pour les interfaces vocales qui doivent offrir une expérience instantanée tout en restant abordables à grande échelle.
Linker Vision utilise des grilles d'IA pour le raisonnement vidéo en temps réel sur des milliers de flux de caméras. L'exécution de la vision par ordinateur en périphérie permet des applications à l'échelle de la ville, telles que la détection rapide des accidents de la route, une intervention plus rapide en cas de catastrophe et des alertes instantanées en cas de comportements dangereux des foules. Une latence faible et prévisible est essentielle dans ce contexte.
Decart intègre la génération vidéo en temps réel aux grilles d'IA grâce à ses modèles Lucy. Fonctionnant en périphérie du réseau, cette technologie atteint des latences inférieures à 12 millisecondes et prend en charge les superpositions vidéo interactives qui réagissent instantanément à chaque spectateur. C'est le type de technologie qui pourrait alimenter les flux et événements interactifs de nouvelle génération sans décalage.

En coulisses, NVIDIA a créé une architecture de référence pour la grille d'IA qui décrit les éléments constitutifs du déploiement et de l'orchestration de l'IA sur ces sites distribués. Elle combine :

Matériel informatique accéléré NVIDIA, notamment les GPU RTX PRO 6000 Blackwell Server Edition
Réseaux haute performance
Plateformes logicielles d'orchestration et d'inférence

Un écosystème de partenaires aide les opérateurs à concrétiser ces concepts en produits. Cisco et HPE proposent des solutions complètes basées sur les GPU NVIDIA. Des entreprises comme Armada, Rafay et Spectro Cloud développent des plateformes de contrôle d'IA qui planifient et répartissent intelligemment les charges de travail sur des milliers de nœuds périphériques.

Cisco décrit cette évolution comme un passage d'une intelligence centralisée à une prise de décision distribuée en périphérie du réseau. Grâce aux GPU NVIDIA intégrés en profondeur aux réseaux de télécommunications, les opérateurs ne se contentent plus de transporter du trafic. Ils deviennent des acteurs clés de la chaîne de valeur de l'IA et du cloud gaming, en exécutant, en faisant évoluer et en monétisant les charges de travail d'IA comme une composante essentielle de leur activité.

Pour les passionnés de PC et de jeux vidéo, cette tendance se traduit par des performances accrues dans le cloud gaming, des outils d'IA plus rapides et des expériences interactives plus fluides, offrant une expérience quasi locale même lorsque la puissance de calcul est répartie sur le réseau. La frontière entre votre propre GPU et les immenses serveurs situés en périphérie s'amenuise d'année en année.

Article et image originaux : https://blogs.nvidia.com/blog/telecom-ai-grids-inference/