L'intelligenza artificiale sta attraversando una transizione significativa: dai modelli conversazionali e dagli assistenti integrati nei flussi di lavoro digitali, verso sistemi capaci di operare direttamente nell'ambiente fisico. In questo scenario, NVIDIA ha annunciato XR AI, una libreria per sviluppatori progettata per la costruzione di agenti IA in grado di percepire, ragionare e agire in tempo reale attraverso dispositivi di realtà aumentata (AR) e realtà estesa (XR).
La piattaforma si articola attorno a quattro aree funzionali principali. La prima riguarda l'acquisizione di segnali dal mondo reale provenienti da occhiali AR e dispositivi XR: video, audio, dati di profondità, informazioni di posa e letture sensoriali varie vengono inglobati nel sistema per consentire una comprensione contestuale dell'ambiente circostante.
La seconda area riguarda la connessione degli agenti a strumenti e servizi specializzati. In questo ambito, XR AI si integra con NVIDIA Metropolis e il modulo per la ricerca e sintesi video (VSS) per l'analisi visiva, e con NVIDIA NeMo Retriever per il recupero di informazioni da sistemi enterprise tramite tecniche di retrieval-augmented generation (RAG).
Sul fronte dei modelli linguistici e di ragionamento, la piattaforma supporta un ecosistema ampio che comprende i modelli Nemotron di NVIDIA, Cosmos Reason e altri foundation model compatibili. Infine, per quanto riguarda l'orchestrazione e il runtime, NVIDIA NeMo Agent Toolkit gestisce l'uso degli strumenti, i flussi di ragionamento e il coordinamento tra più agenti, mentre l'infrastruttura computazionale è garantita da sistemi come DGX Spark, DGX Station e le piattaforme RTX PRO, con supporto a deployment cloud, datacenter ed edge.
