Share
La tecnologia Intel RealSense abbina una fotocamera 3D e un array di microfoni con un SDK che consente di implementare il tracciamento dei gesti, la scansione 3D, l'analisi dell'espressione facciale, il riconoscimento vocale e altro ancora. In questo articolo, vedrò cosa significa questo per i giochi e spiegherò come iniziare a utilizzarlo come sviluppatore di giochi.
RealSense è progettato attorno a tre diverse periferiche, ciascuna contenente una fotocamera 3D. Due sono destinati all'uso in tablet e altri dispositivi mobili; la terza, F200 frontale, è pensata per l'uso su notebook e desktop. Mi concentrerò su quest'ultimo in questo articolo.
La F200 è già inclusa in un numero di notebook diversi e in un paio di altri dispositivi e sarà presto disponibile come periferica USB autonoma. (Puoi già ordinare o prenotare una versione del kit di sviluppo per circa $ 100).
Esso consiste in:
Il proiettore a infrarossi e la fotocamera possono recuperare informazioni di profondità per creare un modello 3D interno di qualunque sia la fotocamera puntata; le informazioni sul colore della telecamera convenzionale possono quindi essere utilizzate per colorare questo modello.
L'SDK rende quindi più semplice utilizzare le funzionalità della fotocamera nei giochi e in altri progetti. Include librerie per:
Si noti che, oltre a consentire di tenere traccia, ad esempio, della posizione del naso di qualcuno o della punta del proprio indice destro nello spazio 3D, RealSense può anche rilevare diversi gesti ed espressioni incorporati, come questi:
Quindi, invece di scrivere il codice per controllare se gli angoli della bocca del giocatore sono curvi verso l'alto e dedurre se stanno sorridendo o no, puoi semplicemente interrogare la libreria RealSense per il gesto del "sorriso".Ecco alcuni esempi di come RealSense può essere (e viene utilizzato) nei giochi:
Nevermind, un gioco horror psicologico, usa RealSense per il biofeedback: misura la frequenza cardiaca del giocatore usando la telecamera 3D, e quindi reagisce al livello di paura del giocatore. Se perdi la calma, il gioco diventa più difficile!
MineScan, di voidALPHA, è un proof-of-concept che ti permette di scansionare oggetti del mondo reale (come animali imbalsamati) in Minecraft. Qualsiasi gioco per PC 3D con enfasi su mod o personalizzazione potrebbe utilizzare le funzionalità di scansione della fotocamera RealSense per consentire ai giocatori di inserire i propri oggetti (o anche se stessi!) Nel gioco.
Faceshift utilizza RealSense per il motion che cattura i volti in dettaglio. Questa tecnologia può essere utilizzata in tempo reale, all'interno di un gioco, ogni volta che i giocatori parlano tra loro, o durante la produzione per registrare le espressioni di un attore e la loro voce per personaggi più realistici.
There Came a Echo è un RTS tattico che utilizza le capacità di riconoscimento vocale di RealSense per consentire al giocatore di comandare la propria squadra. È facile vedere come questo possa essere adattato, per esempio, a un FPS basato sul team.
Anni fa, Johnny Lee ha spiegato come utilizzare (in modo errato) un controller Wii e una barra sensore per tracciare la posizione della testa del giocatore e regolare di conseguenza la vista di gioco. Pochi giochi, se ce ne sono, hanno effettivamente fatto uso di questo (senza dubbio a causa dell'impostazione non ortodossa richiesta), ma le funzionalità di tracciamento della testa e del viso di RealSense lo rendono possibile e molto più semplice.
Ci sono anche diversi giochi che usano già RealSense per potenziare i loro controlli basati sui gesti:
Laserlife, un gioco di esplorazione fantascientifica dello studio dietro la serie BIT.TRIP.
Capo dell'Ordine, un gioco di combattimento in stile torneo ambientato in un mondo fantastico, in cui i giocatori usano i gesti delle mani per lanciare incantesimi a vicenda.
Space Between, in cui usi i movimenti della mano per guidare tartarughe, pesci e altre creature marine attraverso una serie di compiti in un ambiente sottomarino.
Madagascar Move It !, un gioco per bambini simile alla serie Let's Dance.
I comandi del gesto non sono esattamente nuovi per il gioco, ma in precedenza erano quasi esclusivi di Kinect. Ora possono essere utilizzati nei giochi per PC, ovvero Steam e persino la piattaforma web.
Primo passo: scarica l'SDK. (Bene, OK, il primo passo è probabilmente quello di ottenere un dispositivo con una fotocamera RealSense o prenotare un kit di sviluppo.)
L'SDK contiene:
Successivamente, dare un'occhiata al sito di formazione SDK Intel RealSense. Qui troverai le guide per iniziare, tutorial che ti guideranno attraverso l'utilizzo di alcune funzionalità (incluso Unity Toolkit) e video di precedenti webinar. Pubblicheremo anche tutorial di RealSense su Tuts + nelle prossime settimane.
Il canale YouTube di Intel ha una fantastica playlist di video sullo sviluppo per RealSense. Questi hanno un'attenzione molto maggiore su UX e UI rispetto ai tutorial di cui sopra; guarda questo video per un esempio:
Queste linee guida UX (PDF) sono un ottimo accompagnamento per i video sopra.
Una volta che hai una buona panoramica di ciò che l'SDK può fare e di come funzionano le varie librerie, immergiti nella documentazione per i dettagli.
Infine, dai un'occhiata ai forum ufficiali per chattare con altri sviluppatori, vedere a cosa stanno lavorando e ottenere consigli.
Abbiamo parlato di cosa è RealSense, di cosa gli sviluppatori di giochi stanno usando e di come puoi iniziare a usarlo nei tuoi giochi. Tieni d'occhio la sezione Tuts + Game Development nelle prossime settimane per alcuni tutorial sulla scansione della testa, digitazione senza tastiera e riconoscimento dell'espressione.
Il programma Intel® Software Innovator supporta sviluppatori indipendenti innovativi che mostrano la capacità di creare e dimostrare progetti lungimiranti. Gli innovatori sfruttano le opportunità di speakerhip e demo negli eventi del settore e nelle riunioni degli sviluppatori.
Intel® Developer Zone offre strumenti e istruzioni per lo sviluppo di app cross-platform, informazioni su piattaforma e tecnologia, esempi di codice e competenze peer per aiutare gli sviluppatori a innovare e avere successo. Unisciti alle nostre comunità per il Internet delle cose, Android *, Tecnologia Intel RealSense, Codice moderno, Game Dev e Finestre* per scaricare strumenti, accedere a kit di sviluppo, condividere idee con sviluppatori affini e partecipare a hackathon, concorsi, roadshow ed eventi locali.
Accentsconagua