Perché guardare la realtà quando puoi modificare ciò che vedi in tempo reale?

L’adozione della realtà aumentata sta avvenendo lentamente ma inesorabilmente, ed è facile intravedere un potenziale futuro per questa tecnologia: dispositivi che ti consentono di modificare ciò che vedi in tempo reale, sostituendo gli oggetti intorno a te con sovrapposizioni virtuali. Chiamala una realtà mista, per essere più precisi.

Una recente ricerca del team AI di Porsche (sì, le case automobilistiche – ci arriveremo tra un po’) mostra come potrebbe funzionare. Il team ha creato un file Sistema di intelligenza artificiale chiamato TransforMR Rileva cose come automobili e persone, le rimuove e quindi le sostituisce con alternative CGI in tempo reale. I risultati finali sono impeccabili (le modifiche sono casuali e i modelli CGI sembrano presi in prestito da loro Creatore di filmati 3D) Ma il concetto è notevole. Non è difficile immaginare che app come questa diventino popolari nei prossimi decenni.

Ha detto il team dietro il lavoro il bordo che sebbene i singoli elementi del loro lavoro siano stati realizzati in precedenza, il nostro sistema composito è nuovo. TansforMR può essere eseguito su normali smartphone e tablet, ma richiede una connessione 4G per inviare dati al cloud. Le immagini vengono elaborate in modo che non solo gli oggetti siano coperti, come con gli obiettivi Snapchat AR o Memoji di Apple, ma completamente modificati. Gli oggetti vengono rilevati, divisi, quindi “dipinti” (sostituiti con uno sfondo generato dall’intelligenza artificiale) e il modello CGI viene sostituito con l’originale.

È chiaro che ci sono molte aree che necessitano di miglioramenti. Il frame rate è di soli 15 fps quando si dipinge di bassa qualità; La differenza va da 50 a 100 millisecondi; Alternative CGI di bassa qualità. Ma il team dietro il sistema afferma che questi aspetti sono relativamente facili da migliorare.

“Il limite principale è che le immagini di grandi dimensioni richiedono un’elevata intensità di calcolo”, ha affermato Muhammad Carey, ricercatore di machine learning presso Porsche. il bordo. “Quindi, per il disegno interno, lo stiamo facendo con immagini molto piccole attualmente, lavorando su un’immagine 512 × 512. Ma la larghezza di banda [usage] È trascurabile. Se puoi fare FaceTime, puoi fare TransforMR.”

Un componente chiave del sistema, afferma Carey, è l’uso del rilevamento situazionale. Ciò significa che quando il sistema rileva una persona, ad esempio, identifica 18 articolazioni separate del corpo. Ciò significa che la sostituzione CGI può essere collegata al movimento del bersaglio in tempo reale. Carey lo confronta con altri sistemi AR che contrassegnano semplicemente le superfici geometriche.

Guardando le clip TransforMR in azione, non è difficile immaginare di incorporare tale software in occhiali per realtà aumentata. Gli utenti possono scegliere un “tema” per la loro giornata, sostituendo automobili, edifici e persone con alternative alla fantascienza o oggetti presi dalla natura. Ma, sottolinea Carey, ciò comporterà una grande sfida hardware. Gli attuali occhiali AR possono visualizzare solo sovrapposizioni semi-opache a bassa risoluzione sulle loro lenti. Al momento, non abbiamo la tecnologia per “modificare” ciò che gli utenti vedono con questo tipo di dispositivo. (Anche se questo dovrebbe essere fatto con un file Sistema di Realtà Virtuale “Transito”, dove le telecamere in prima persona riproducono trasmissioni video in diretta su schermi che ostruiscono completamente la visione di chi le indossa.)

“Riproduciamo l’intera immagine sullo schermo, così possiamo rimuovere tutto ciò che vogliamo, ma con gli occhiali per la realtà aumentata è difficile rimuovere gli oggetti perché aggiunge intensità alla luce”, afferma Carey. In HoloLens, ad esempio, stai cercando attraverso Vetro, quindi rimuovere le cose è più difficile. Questa domanda è aperta alla ricerca”.

Ma perché Porsche dovrebbe indagare in primo luogo su questo tipo di tecnologia? Secondo uno degli ingegneri di intelligenza artificiale dell’azienda, Tobias Grosse-Puppendahl, si tratta di migliorare l’esperienza di passeggeri e conducenti. Le versioni future di TransforMR potrebbero essere utilizzate per intrattenere le persone quando sono bloccate nel traffico, afferma Gross Poppendal. il bordo. “La nostra domanda principale era: come possiamo modificare la realtà in modo divertente e divertente per interagire con essa? Da qui è nata la nostra idea”.

Altri progetti di ricerca in Porsche seguono un tema simile. Ad esempio, l’azienda ha anche creato un profilo Sistema prototipo chiamato SoundRide Utilizza la visione automatica dell’auto per rilevare i cambiamenti nello scenario e riproduce la musica appropriata. “Forse, ad esempio, stai guidando attraverso le Alpi, stai guidando attraverso una bella strada, e all’improvviso hai una vista fantastica e forse la musica cambia”, dice Carey. “Stiamo pensando a come la tecnologia può rendere l’esperienza in auto più interessante e bella”. Questo significa manipolare ciò che le persone vedono e sentono.