Whitepaper „Head Mounted Displays und

Whitepaper
Head Mounted Displays & Datenbrillen
Einsatz und Systeme
Dr.-Ing. Dipl.-Kfm. Christoph Runde
Virtual Dimension Center (VDC) Fellbach
Auberlenstr. 13
70736 Fellbach
www.vdc-fellbach.de
© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Inhalt Vortrag
 Systemklassen
Head Mounted Display (HMD) – Videobrille – Datenbrille
 Simulatorkrankheit / Cyber Sickness
 Einsatzfelder HMDs:
Innenraumbegehungen, Training,
virtuelle Absicherung Enginering / Ergonomie
 Einsatzfelder Datenbrillen:
Prozess-Unterstützung, Teleservice,
Konsistenz-Checks, Kollaboration
 Entwicklungsrichtungen: technische Spezifikationen,
(Eye) Tracking, Retinaldisplays, Lichfeldtechnik,
Tiefenbildsensoren
 Einsatzvoraussetzungen Information & Integration
(Menschen, IT, Prozesse)
 Abschlussbemerkungen
2
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Head Mounted Displays (HMDs) – kurzer Abriss



1961: erstes HMD auf dem Markt
1965: 3D-getracktes HMD durch Ivan Sutherland
HMDs seit 1970er Jahren in signifikanter Anzahl im militärischen Bereich im Einsatz (Training, Zusatzanzeige)
Tabelle: Bedeutende HMDProjekte seit den 1970er
Jahren [Quelle: Li, Hua et.
al.: Review and analysis of
avionic helmet-mounted
displays. In : Op-tical
Engineering 52(11),
110901, November 2013]
3
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Einsatzfelder
Systemklassen
Entwicklungsrichtungen
Zusammenfassung
Klassifizierung Head Mounted Display – Videobrille - Datenbrille
Head Mounted Display
Videobrille
Datenbrille
Charakteristik
Integration des Benutzers in eine
interaktive 3D-Umgebung
tragbarer Bildschirm
tragbare Zusatzanzeige
Zielstellung,
Einsatzzweck
Virtual Reality, optional Augmented
Reality (AR) per Video-See-Through
Filmbetrachtung, Bildanzeige
Zusatzinformationen bei Arbeit, Freizeit;
optional AR per Optical-See-Through
Isolation
Isolation des Benutzers von der
realen Umgebung
Isolation des Benutzers von der realen
Umgebung
keine Isolation des Benutzers;
Anzeige zusätzlich zur Realität
Field-of-View
großes Field-of-View,
damit bewegtes Auge
geringes Field-of-View,
damit tendenziell ruhendes Auge
sehr geringes Field-of-View; Auge
betrachtet bei Bedarf aktiv die
Zusatzanzeige; geringe Beschränkung der
natürlichen Sicht
Tracking
sehr schnelles, sehr exaktes Head
Tracking notwendig
nicht notwendig
zumeist grob; bei Einsatz für Augmented
Reality sehr exaktes Head Tracking
notwendig
Typischer Vertreter
Oculus Rift
Carl Zeiss Cinemizer
Vuzix M100
4
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Vorteile von HMDs gegenüber Projektionen
Systemische Vorteile von HMDs
 Kompaktheit: umschließendes VR-System
auf kleinstem physischen Raum
 Preis: preisgünstig im Vergleich zu
Mehrkanalprojektionen
 Isolation und Immersion:
Benutzer konzentriert sich voll auf
Inhalt und Aufgabe, blendet Realität aus
 Orientierungssinn muss zwangsläufig immer
mit bedient werden (wg. Simulatorkrankheit)
 kein Akkommodationskonflikt:
bei der haptischen Interaktion vor einer
Projektionswand kann der Benutzer entweder
nur auf die Projektion oder nur auf seine Hände
fokussieren. HMDs haben dieses Problem nicht.
Bild: Fh-IPA
Einsatz eines HMDs und
eines Datenhandschuhs zur
Roboterprogrammierung
Anfang der 1990er Jahre
5
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Nachteile von HMDs gegenüber Projektionen
Systemische Nachteile
 Isolation:
o fehlende Wahrnehmung der Umgebung
führt zu Unsicherheit
o fehlende Eigenwahrnehmung verwirrt
 Isolation:
kooperatives Arbeiten ist nur
eingeschränkt möglich
Einsatz eines HMDs und eines
Datenhandschuhs für
Ergonomie-Untersuchungen
Mitte der 1990er Jahre
 Akzeptanz:
Ablehnung von HMDs als technische
Spielerei
Bild: Fh-IAO
6
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Nachteile von HMDs gegenüber Projektionen
Produktimmanente Nachteile
 unzureichende Ergonomie:
Gewicht, Gewichtsverteilung, umständlich
anzulegen, Passkomfort, Fixierung, Hygiene
 fehlende geeignete Eingabesysteme:
Verzicht auf Maus, Tastatur
 mäßige Auflösung: lediglich
oberstes Preissegment > 1280 x 1024
 Akzeptanz: Fixierung Beeinträchtigung
von Frisur, Kosmetik
 feststehender Bildabstand
 Wahrscheinlichkeit für Cyber Sickness /
Simulatorkrankheit hoch,
da stark isolierendes System
Bild: British Aerospace
Bild: :British Aerospace
VECTA Flugsimulator
(British Aerospace), 1987,
von außen
VECTA Flugsimulator
(British Aerospace), 1987,
Sicht im HMD
7
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Cyber Sickness
Einige Menschen empfinden Übelkeit oder
Kopfschmerzen in immersiven Umgebungen:
warum?
 Grund 1: okulomotorische Tiefenkriterien
widersprechen sich:
o Akkomodation des Auges:
Fokus immer auf das Display, damit wir
das Bild scharf sehen
o Konvergenz (Eindrehen) der Augen
auf das virtuelle Objekt vor oder hinter der
Projektionsscheibe [Gehirn legt damit die
Bilder der Augen übereinander]
-> Widerspruch
Fernblick
Nahblick
Fernblick
Nahblick
Bild: Tridelity
8
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Cyber Sickness
Zusammenfassung
Vestibulärorgan
 Grund 2:
vestibuläre Wahrnehmung (Lagesinn)
und visuelle Wahrnehmung widersprechen sich
o Beispiel Projektionssystem:
- mehrere Betrachter
- nur 1 Betrachter getrackt
- getrackter Nutzer bewegt sich
o Beispiel HMD:
- schon geringfügige Latenzen zwischen
Kopfbewegung und Bildreaktion
-> widersprüchliche Bewegungsinformationen
Bild: Fh-IAO
9
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder HMDs: Innenraumbegehungen
Motivation
 virtuelle Absicherung von Umgebungen, in
denen das Raumgefühl und dessen subjektive
Bewertung relevant sind
 Sichtverhältnisse (Orientierung und Sicht)
 Anwendungsbeispiele:
o im PKW
o im Cockpit
o in Kabine
o im Gebäude
xxx
Bild: CNH
xxx
Bild: Daimler
xxx
10
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder HMDs: Innenraumbegehungen
Beispiele Inneneinrichtung
 Innenarchitektur
 Badplanung
 ähnlich: Flugzeugkabine
Hardware-Aufbau für die virtuelle
Hausbegehung mit Inreal: weitere
Personen (etwa Ehepartner) können
die Szene auf dem Monitor verfolgen.
Bild: Immersight
Virtuelle Badbegehung
mit 6D-getracktem HMD
Bild: Inreal
Virtuelle Hausbegehung
11
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder HMDs: Innenraumbegehungen
Sitzkiste und verteilte 3D-Umgebung für 2 Personen.
Links: physischer Aufbau; Rechts: korrespondierende 3D-Szene
Bild: Bauhaus-Universität Weimar
12
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder HMDs: virtuelle Absicherung Engineering / Ergonomie
Bearbeiten von 3D-Szenen aus der Ego-Perspektive
 Überprüfung von technischen Einrichtungen,
Installationen, Arbeitsplätzen,
Bedienschnittstellen bezüglich
o Bedienbarkeit
o Benutzbarkeit
o Verständlichkeit
o Einsehbarkeit
o Erreichbarkeit
o Bewegungsfreiräume
o…
 allgemeine Gültigkeit u.U. eingeschränkt,
da Ergebnisse Nutzer-spezifisch
Bild: ESI
Bild: ESI
Bild: Fh-IAO
Baubarkeitsuntersuchung
mit 3D-Menschmodell
Ergonomieuntersuchung
mit 3D-Menschmodell
Ergonomieuntersuchung
mit 3D-Menschmodell
13
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder HMDs: Training
Motivation
 360°-Simulation erforderlich
 detaillierte haptische Interaktion mit Blick
auf die eigenen Hände relevant
(wg. Akkomodationskonflikt vor der
Powerwall schwierig)
Bild: NPSNET
Training von
Wartungs- und
Inspektionstätig
keiten in der
Raumfahrt
Bild: NIAR
Bild: NASA
simulierte 360°Umgebung
für das
militärische
Training
Training für
Wartungsarbeiten in
der Raumfahrt mit
einem HMD
14
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder Datenbrillen
Datenbrillen: Großteil der natürlichen Sicht unbehindert
im Allgemeinen kleinere Displayfläche (als HMDs)
im Allgemeinen geringere Auflösung des Displays (als HMDs)
zumeist andere Verwendung als Head Mounted Displays:
Zusatzanzeige von Computer-generiertem Content beim
Aufenthalt in natürlichen Umgebungen (z. B. Arbeit, Freizeit, Reise)
 Content häufig symbolisch, Piktogramm, alphanumerisch wg.
Auflösung und Größe des Displays
 bei High-End-Produkten im Marktsegment Augmented-RealityAnwendungen möglich
 Vorteil gegenüber Tablet Computern: hands-free




15
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder Datenbrillen: Prozess-Unterstützung
Zusatzinformationen während des Arbeitsprozesses.
Ansätze:
 aktiver Abruf von Content;
Zusammenspiel mit Hand Held, etwa Logistikpad
 location-based (z.B. RFID-Bezug)
 ortssensitive Annotationen
 Anzeige Messdaten
 Anzeige Prozessparameter
 „Röntgenblick“: Anzeige verborgener Objekte
Blick des Raumfahrers
auf vor ihm liegende
Wartungsarbeit.
AR-Unterstützung per
ortsrichtiger Annotationen
Bild: NASA
Bild: Boeing
Versuche zur AR-gestützten
Kabelkonfektionierung
Anfang der 1990er Jahre
Bild: Nee
Überblenden
Online-Prozessdaten
auf Werkstück
Bild: Fh-IGD
AR-Röntgenblick auf in
der Wand verborgene
Infrastruktur wie z.B.
elektrische Leitungen
16
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder Datenbrillen: Teleservice / Tele-Operations
Verbindung von Servicekraft und zentraler Technik
 Servicekraft teilt ihre Perspektive (Kamera) mit
zentraler Technik
 zentrale Technik bringt Hinweise und kann diese
verorten (Anzeige im Display mit AR)
Bild: Fh-IPA
frühe Idee der
Fernsteuerung eines
Roboters mittels seines
virtuellen Pendants, der
seinerseits über VR
manipuliert wird.
(Anfang der 1990er Jahre)
Bild: Re‘flekt
17
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder Datenbrillen: Konsistenz-Checks Modell vs. Realität
Überprüfung digitales Modell
 Simulation korrekt?
 Konstruktion korrekt?
Bild: Volkswagen
Überlagerung digitales
Crashmodell über
Versuch: wie gut ist das
Modell?
Bild: HLRS
Überlagerung digitales
Strömungsmodell über
Versuch: wie gut ist das
Modell?
Bild: metaio
Überlagerung
Leitungskonstruktion
über physisches Bauteil:
gut konstruiert?
18
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder Datenbrillen: Konsistenz-Checks Modell vs. Realität
Überprüfung reale Umwelt
 umgesetzt wie geplant?
 dokumentiert wie umgesetzt?
 Qualitätssicherung
 Prototyping
Einplanung neuer Fertigungseinrichtungen
(konstruiert, farbig) in Bestandsfabrik
Bild: Volkswagen
Bild: Volkswagen
Bild: metaio
Überprüfung der
gesetzten
Schweißbolzen:
realisiert wie geplant?
Bild: Volkswagen
Überprüfung eines
Industriearbeitplatzes:
alles im Greifraum(rot)?
Bild: Volkswagen
Überprüfung von
Anordnung und
Fördertechnik:
kollisionsfrei für neue
Einbringungen?
19
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Einsatzfelder Datenbrillen: kollaborative Arbeitsräume
 über gemeinsames Tracking kann
übergreifender AR-Arbeitsraum
hergestellt werden
 individuelle Perspektive
 Unterstützung lokaler
Zusammenarbeit
 natürliche Sicht auf die
jeweils anderen Personen
(Gestik, Mimik, Diskussion, …)
Bild: TU Wien
Gemeinsamer AR-Arbeitsraum
mittels Head Mounted Displays
20
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Entwicklungsrichtungen: eingesetzte Displaytypen
 in bisherigen HMDs (bis 2012) ab
SXGA-Auflösung fast nur Einsatz von
Microdisplays zweier Hersteller
 Virtual Retinal Displays
(Projektion auf Netzhaut)
 seit 2012: Smartphone-Displays
als zusätzliche Bildquelle
Hersteller Microdisplays:
Hersteller
Technologie
eMagin Corp.
Epson
Forth Dimension Displays
Hitachi
Micro Display Corp
Olightek
Planar Systems
Reflection Technology
OLED
LCD
fLCOS, ForthDD
LCD
[Geschäftstätigkeit eingestellt]
Amoled
[Geschäftsbereich abgegeben]
[Geschäftstätigkeit eingestellt]
21
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Einsatzfelder
Systemklassen
Entwicklungsrichtungen
Zusammenfassung
Technische Spezifikationen bisheriger „alter“ HMDs
Hersteller
Modellname
Carl Zeiss
Cinemizer
CyberMind
eMagin
Epson
Fifth Dimension
Technologies
iO Display Systems
Kaiser Electro-Optics Inc.
nVision / NVIS
Rockwell Collins
SaabTech
Sensics
SEOS
Silicon Micro Display
Sony
Trivisio
Virtual Realities
Virtual Research Systems
Auflösung Auflösung
horizontal
vertikal
Winkelauflösung
Sichtfeld Sichtfeld
horizontal vertikal
Preis aktualisiert
grob
870
500
1,8
26
15
Visette45 SXGA
HiRes800
X800 3D Visor
Z800 3D Visor
Moverio
5DT HMD 800-40 3D
5DT HMD 800-26 3D
1280
800
800
800
960
800
800
1024
600
600
600
540
600
600
1,7
1,7
2,4
2,4
1,4
2,4
1,6
36
22
32
32
23
32
21
27
14
24
24
17
24
16
€ 650,- mit
Tracker
kA
$ 3.800,kA
$ 1.700,€ 500,$ 2.900,$ 2.900,-
i-glasses PC/SVGA-3D Pro
800
1280
1280
1280
800
1024
1024
1280
1280
2600
1680
600
1024
1024
1024
600
768
768
1024
1024
1200
1050
1,6
3,0
1,9
3,6
2,1
2,3
2,0
4,7
1,7
4,2
3,7
21
63
40
76
28
40
34
100
37
180
104
16
53
30
64
21
30
26
50
28
60
65
kA
kA
kA
kA
kA
kA
kA
kA
kA
kA
kA
1280
1024
5,6
120
67
1920
1280
1280
800
1024
800
1280
1920
640
480
1280
1080
720
720
600
768
600
1024
1080
480
240
1024
1,4
2,1
2,1
2,5
2,2
2,7
2,0
1,6
4,7
6,0
2,3
45
45
45
33
38
36
43
51
50
48
48
17
34
34
25
24
23
27
32
38
36
36
ProView SR80
nVisor ST50
nVisor SX
ProView VO35
Proview XL50
ProView XL50 STm
Sim Eye SR100
Saab AddVisor 150
piSight
xSight
SEOS HMD 120/40
ST1080
HMZ-T1
HMZ-T2
VRvision HMD
VR2200
HMD Pro 3D SVGA-42
HMD Pro 3D SXGA-50
HMD Pro 3D WUXGA-60
V8
VR4
VR1280
Gewicht
Tracking
Technologie
230g
244g
600 g
600 g
Orientierung
3DOF
nein
nein
nein
nein
nein
nein
nein
2006
2005
2014
2014
2006
2006
2006
2006
2004
2014
2014
1050g
1300g
kA
kA
kA
kA
kA
1000g
400g
nein
nein
nein
nein
nein
nein
nein
nein
nein
nein
nein
kA
2006
kA
nein
kA
kA
$ 799,$ 894,kA
$ 1.300,$ 4.000,$ 8.500,$ 10.500,kA
kA
kA
kA
2014
2014
2014
2014
2014
2014
2014
2004
2005
2014
kA
330g
320g
300g
200g
kA
kA
kA
kA
kA
kA
nein
nein
nein
nein
nein
nein
nein
nein
nein
nein
nein
LCoS
OLED
OLED
AMLCD
kA
OLED
OLED
OLED
kA
kA
FLCoS
2014
200g
2014
2014
2006
2014
2014
2014
2014
kA
700g
OLED
FLCoS
LCD
OLED
LCD
OLED
LCoS
kA
kA
OLED
LCoS
kA
kA
kA
kA
kA
OLED
OLED
22
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Technische Spezifikationen bisheriger „alter“ HMDs
Gängige Eigenschaften
Stark abweichende HMD-Systeme :
 durchschnittliches Sichtfeld: 60°
Auflösung
 Sensics piSight:
2600 x 1200 Pixel
 Sensics xSight:
1680 x 1050 Pixel
 Virtual Realities HMD
pro 3D WUXGA-60 : 1920 x 1080 Pixel
 Auflösung: SXGA (1280x1024)
 durchschnittliches Gewicht: 1kg
 nur bedingt in Form einer Brille erhältlich
(wäre Kundenwunsch)
 durchschnittlicher Preis: € 15.000,(rangiert von € 500,- bis € 160.000,-.)
Sichtfeld
 Rockwell Collins
Sim Eye SR 100:
 Sensics piSight:
 Sensics xSight:
 SEOS HMD 120/40:
100°
180°
104°
120°
23
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Einsatzfelder
Systemklassen
Entwicklungsrichtungen
Zusammenfassung
Neue und angekündigte HMDs (April 2015)
Altergaze
AntVR
Durovis Dive
FOVE VR Headset
Oculus Rift 2
Samsung GearVR
Valve HMD
vrAse
Archos VR Glasses
GameFace
Sony Morpheus
Avegant Glyph
Google Cardboard
Sulon Cortex
Carl Zeiss VR One
InfinitEye
Technical Illusions CastAR
VRVANA Totem
24
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Einsatzfelder
Systemklassen
Entwicklungsrichtungen
Zusammenfassung
Neue und angekündigte HMDs (April 2015)
Hersteller
Modellname
AntVR
Archos
AntVR
Avegant
Glyph
Carl Zeiss
VROne
Smartphone-Halterung mit Optik
Durovis
Dive
Smartphone-Halterung mit Optik
FOVE
VR Headset
VR Glasses
GameFaceLabs
GameFace
Google
Cardboard
InfinitEye
Gründerteam
InfinitEye
Liviu Berechet
Antoni
Altergaze
Oculus / Facebook Rift 2
Samsung
Sony
Sulon
GearVR
Morpheus
Auflösung
horizontal
Auflösung
vertikal
Winkelauflösung
Sichtfeld
horizontal
Sichtfeld
vertikal
960
1080
6,3
100
75
Smartphone-Halterung mit Optik
1280
kA
1280
800
kA
1440
2,1
kA
kA
45
45
kA
29
kA
kA
Smartphone-Halterung mit Optik
1280
800
9,8
210
150
1080
6,9
110
90
5,6
90
68
140
105
Smartphone-Halterung mit Optik
960
1080
Gewicht
Cortex
Tracking
Kommentar
$ 300,-
integriert
€ 25,-
Smartphone
Smartphones bis 6 Zoll
integriert
Befestigung Art Kopfhörer,
pixelfreies Bild durch Retinaldisplay
€ 100,-
Smartphone
nur für iPhone 6, Samsung Galaxy
S5
€ 60,-
Smartphone
$ 500,-
kA
450
kA
integriertes Eye Tracking
$ 500,-
integriert
LCD, kabellos, Low-PersistenceTechnologie
$ 10,-
Smartphone
Gehäuse aus Pappe
nein
Fresnel-Linse
$ 450,(Bausatz)
kA
490
€ 60,-
Smartphone-Halterung mit Optik
960
Preis grob
$ 350,-
Smartphone
400
integriert
OLED, sattere Farben,
Low-Persistence-Technologie
$ 200,-
Smartphone
$ 300,-
integriert
LCD
integriert
Augmented-Reality-fähig
Technical Ilusions Cast AR
1280
720
4,2
90
68
$ 200,-
integriert
Augmented-Reality-fähig
VRVANA
Totem
960
1080
5,6
90
68
kA
integriert
OLED, Augmented-Reality-fähig,
Low-Persistence-Technologie
Valve
HMD Prototyp
kA
kA
kA
110
83
vrAse
vrAse
Smartphone-Halterung mit Optik
angekündigt
€ 60,-
Smartphone
Augmented-Reality-fähig
25
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Neue und angekündigte HMDs : Firmen
 angekündigte
HMD-Hersteller:
Nr. Firmenname
Ort
Land
Webseitenadresse
1 AntVR Technology
Peking
China
http://www.antvr.com
2 Avegant
Ann Arbor
USA
http://www.avegant.com
3 Durovis
Münster
Deutschland
http://www.durovis.com
Japan
http://fove-inc.com
5 GameFace Labs
San Francisco
USA
http://gamefacelabs.com
6 InfinitEye-Gründerteam
Toulouse
Frankreich
https://www.facebook.com/InfinitEyeVR
7 Liviu Berechet Antoni
London
Großbritannien
https://www.facebook.com/altergaze
8 Meta
Los Altos
USA
https://www.spaceglasses.com/
9 Oculus / Facebook
4 FOVE
Irvine
USA
http://www.oculusvr.com
10 Sulon
Markham
Kanada
http://sulontechnologies.com
11 Technical Illusions
Woodinville
USA
http://technicalillusions.com
12 True Player Gear
Outremont
Kanada
http://www.trueplayergear.com
13 Valve
Bellevue
USA
http://www.valvesoftware.com
14 vrAse
Edinburgh
Großbritannien http://www.vrase.com/
Kickstarter:
 Oculus:
2,4 Mio$
 Avegant:
1,5 Mio$
 Technical Illusions: 1,0 Mio$
 Meta:
0,2 Mio$
 Oculus wurde im März 2014 für 2 Milliarden $ von der Fa. Facebook aufgekauft
26
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Datenbrillen – Produkte (April 2015)
Atheer One
Lumus OE-32
Recon Jet
Epson Moverio BT100
Meta One
Samsung Galaxy Glass
Epson Moverio BT200
Meta Pro
Vuzix M100
Google Glass
Microsoft HoloLens
Vuzix m100 Safety
ION Glass
OptInvent ORA-1
Vuzix m2000AR
27
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Einsatzfelder
Systemklassen
Entwicklungsrichtungen
Zusammenfassung
Datenbrillen – Produkte (April 2015)
Hersteller
Modellname
Anzahl
Displays
Auflösung
horizontal
Auflösung
vertikal
Atheer
Epson
WinkelSichtfeld Sichtfeld
auflösung horizontal vertikal
One
2
1024
768
3,0
52,0
39,0
Moverio BT100
2
960
540
1,2
18,4
13,8
Preis grob
Gewicht
Tracking
Kommentar
$ 500,-
70g
nein
2 x 8MP cameras
$ 700,-
240
nein
LCD, Audio
LCD, Audio
Epson
Moverio BT200
2
960
540
1,2
18,4
13,8
€ 700,-
124
Kompass, Gyro, Beschleunigung;
GPS in Controller
GlassUp
eyeGlasses
1
320
240
k.A.
k.A.
k.A.
$ 300,-
k.A.
Accelerometer, Kompass
Helligkeitssensor
Google
Glass
1
640
360
1,2
12,5
9,4
$ 1500
54g
Beschleunigung, Gyro, Kompass,
Eyetracker, Näherungssensor,
Lagesensor
Audio, LCoS,-Display,
Touchpad, Mikrofon,
Kamera,
Helligkeitssensor
ION
Glass
1
MehrfarbenLED
k.A.
k.A.
k.A.
k.A.
$ 100,-
nein
Statusanzeige für
Smartphone
Lumus
DK-32
2
1280
720
0,9
20,0
15,0
k.A.
k.A.
nein
Entwicklermodul
Lumus
DK-40
1
640
480
k.A.
k.A.
k.A.
k.A.
k.A.
9DOF-IMU
Kamera; Entwicklermodul
Lumus
OE-32
1
1280
720
1,5
32,0
24,0
k.A.
26g
nein
nur Optikmodul für
Entwickler
Lumus
PD-18
1
800
600
1,9
25,6
19,2
k.A.
70g
nein
nur Optikmodul für
Entwickler
Meta
One
2
960
540
1,8
28,0
21,0
$ 667
283g
9DOF-IMU
1 x Tiefenkamera, 2 x
RGB-Kamera, Dolby 3D
Audio
Meta
Pro
2
1280
720
1,5
32,0
24,0
$ 3000
180g
9DOF-IMU
1 x Tiefenkamera, 2 x
RGB-Kamera, Dolby 3D
Audio
Microsoft
HoloLens
Optinvent
ORA-1
1
640
480
3,6
19,2
14,4
[presales]
80g
9DOF-IMU, GPS
Audio
Recon
Jet
1
432
240
2,4
17,1
9,6
$ 599
60g
Beschleunigung, Gyro,
Magnetometer, GPS
Audio, Altimeter,
Barometer, Thermometer
Samsung
Galaxy Glass
Vuzix
M100,
M100 Safety
1
432
240
1,8
13,1
7,3
$999
k.A.
9DOF-IMU, GPS, Näherungssensor
Kamera,
Helligkeitssensor
Vuzix
m2000AR
1
1280
720
1,2
26,1
14,7
$6.000
k.A.
9DOF-IMU
1 x 5MP Kamera
bislang nur Ankündigung
[bislang nur Ankündigung/Gerüchte]
28
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Low-Persistence-Technologie
 Technologie der Fa. Valve
für OLED-Displays
 Reduktion Nachzieh-Effekte des Displays
(Verwischen) bei Bewegungen
 Kopfbewegungen schnell: auch bei
Bildwiederholfrequenz von 60 Hertz
kann Display nicht rechtzeitig
aktualisiert werden
 Nutzer sieht für kurze Zeit
(60 Hertz: 16 Millisekunden)
Bild: Oculus
Vergleich Low Persistence – Full Persistence
Objekt an falscher Stelle.
 statt Frame so lange anzuzeigen, bis nächstes Frame geladen ist und es ersetzt, leuchten die
Pixel bei "Low Persistence" nur für einen kurzen Augenblick auf und bleiben für die restliche
Zeit dunkel
 damit dieser Strobing-Effekt dem Nutzer nicht auffällt, ist eine höhere Frequenz notwendig
 Tests bestätigten gestiegene Bildqualität
29
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Nvidia GameWorks VR
 Sammlung von Hardware- und SoftwareTechnologien für das stereoskopische EchtzeitRendering
 VR SLI: Aufteilung GPUs nach Augen (nicht Frames)
Bild: Nvidia
Warping
Bild: Nvidia
Multi
Resolution
Shading
Bild: Nvidia
Timewarp
 Multi Resolution Shading: geringere Auflösung in
verzerrten (& geschrumpften) Randbereichen
 Timewarp: Kopfposition auslesen; auf dieser Basis
gerade gerendertes Bild warpen
=> starke Reduktion Latenz
30
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Integriertes Tracking: 9-DOF-IMUs
 Miniaturisierung, Präzisionssteigerung und Preisverfall:
Bedeutungssteigerung der Inertialsensoren (engl. inertial
measurement unit - IMU) für das Tracking
IMU-Messeinheiten beinhalten folgende Sensorarten:
 3 orthogonal angeordnete Beschleunigungssensoren
(Translationssensoren): lineare Beschleunigung in x-, yz-Achse. Translation durch zweimaliger Integration.
IMU V340 der
Fa. SEIKO Epson
Bild: SEIKO Epson
 3 orthogonal angeordnete Drehratensensoren
(gyroskopische Sensoren) : Winkelgeschwindigkeit um
x-, y-, z-Achse. Rotation mit einfacher Integration.
 Zur Bestimmung der Integrationskonstanten, zur
Verbesserung der Genauigkeit und Korrektion der Drift
der o.g. Sensoren: zusätzliche Sensoren, z.B.
Magnetfeldsensoren (Kompasssensoren) und
GNSS-Sensoren.
IMU Razor der
Fa. Sparkfun
Bild: Sparkfun
31
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Integriertes Tracking
Mehrere Mess-Prinzipien und -Systeme im Einsatz:
 9DOF-IMUs
 externe Kameras, die IR-Lichtquellen
am HMD tracken
Bild: Oculus
IR-LEDs und
externe Kamera
Bild: Sony
IR-LEDs an Rückseite
des HMDs für
360°-Drehung
 Kameras am HMD, die externe
IR-Lichtquellen in der Umgebung tracken
 Tiefenbildkameras zum Scannen der
Realumgebung, fortwährende Referenzierung
 hybrider Ansätze: zumeist 9DOF-IMU in
Kombination mit optischen Verfahren für
schnelles wie auch absolutes 6-DOF-Tracking
Bild: True Player Gear
2 Kameras an der
Frontseite des HMDs
32
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Einsatzfelder
Systemklassen
Entwicklungsrichtungen
Zusammenfassung
Integriertes Tracking: HMDs und Spielekonsolen
Firmenname
Webseitenadresse
Produktname
Prinzip
DOF
Arbeitsraum
Abtastrate
AntVR
http://www.antvr.com
AntVR
2 x 9DOF-IMUs
6
nur Relativtracking
1000 Hz
Avegant
http://www.avegant.com
Glyph
9DOF-IMU
3
nur Relativtracking
1000 Hz
Carl Zeiss
http://www.zeiss.com
Cinemizer
9DOF-IMU
3
nur Relativtracking
1000 Hz
GameFaceLabs
http://gamefacelabs.com
GameFace
9DOF-IMU
3
nur Relativtracking
1000 Hz
Immersight
http://www.immersight.de/
Immersight
externe Kamera mit Mustererkennung
des passiven Tracking-Targets
6
3m
60 Hz, bei anderer
Kamera bis 330 Hz
Meta
https://www.spaceglasses.com/
SpaceGlasses
9DOF-IMU
3
nur Relativtracking
1000 Hz
Microsoft
www.microsoft.de
Kinect
externe Kamera und
Tiefenbildkamera
Auflösung Kameras 640x480
Motion
Capturing
3,5 m
30Hz
wii
optisch (Infrarot-Kamera in
Controller) und
Beschleunigungssensoren
Auflösung Kamera
1024 x 768 bei 45°
Öffnungswinkel
6
1-3 m
Sensor 100Hz,
Bluetooth-Abfrage
aber nur 50 Hz
Nintendo
http://www.nintendo.de
Oculus
http://www.oculusvr.com
Rift 2
9DOF-IMU und externe Kamera;
IR-LEDs vorne auf dem HMD, 360°-Tracking
6
Zimmer
1000 Hz
Sony
http://www.sony.de
Morpheus
9DOF-IMU und externe Kamera, IR-LEDs
vorne und hinten auf dem HMD, 360°-Tracking
6
Zimmer
1000 Hz
Sony
http://www.sony.de
6
5m
60 Hz oder 120 Hz
je nach Auflösung
Playstation Move
Sulon
http://sulontechnologies.com
Technical Ilusions http://technicalillusions.com
optisch (externe Kamera),
Gyroskop, Neigungswinkelmesser
640 x 480 @ 60 Hz
320 x 240 @ 120 Hz bei
56° - 75° Öffn.-Winkel
Cortex
9DOF-IMU und Tiefensensor auf HMD
scant Umgebung und referenziert in ihr
6
Zimmer
optisch: 50 Hz
CastAR
Trackingkamera in Brille, die IR-LEDs
in Umgebung trackt
6
Zimmer
kA
True Player Gear
http://www.trueplayergear.com
Totem
2 Kameras an der Frontseite des HMDs,
die Umgebung referenzieren
6
Zimmer
kA
Valve
http://www.valvesoftware.com
Valve HMD
2 Kameras vorne und hinten auf HMD
zur Umgebungs-/ Mustererkennung
6
Zimmer
kA
33
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Integriertes Tracking: Eye Tracking
Nutzen für:
 Usability-Untersuchungen
 Design-Entscheidungen
 Aufmerksamkeitsanalysen
Bild: Arrington Research
HMD-integrierte Eye-Tracking-Lösungen:
 2011: Google-Patent für Eye Tracking
in Google Glass
 Lösungen:
- FOVE VR Headset
- SensoMotoric Instruments (SMI) für Oculus
- Arrington Research für HMDs von Sony,
Oculus, Sensics, CyberMind, Virtual Realities
Getracktes Auge
Bild: Arrington Research
Hardware-technischer
Aufbau
Bild: Arrington Research
Heat Map, erzeugt
über Eye Tracking
34
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Virtual Retinal Displays (VRDs)
 direkte Projektion auf die Netzhaut
Weiterentwicklung der VRD-Technologie, v.a.
 Leuchtdioden in den RGB-Grundfarben erhältlich
 gestiegene Lichtleistung der LEDs
Vorteile:
 Platzbedarf
 Helligkeit (See-Through auch bei Tageslicht)
 Energieverbrauch
 keine Fokussierung des Auges notwendig
 geeignet auch für Leute mit Sehschäden
 Beispiel: HMD Avegant Glyph
Bild: Fiambolis,
Funktionsschema
eines Retinaldisplays
Bild: Fh-IFF
Blick in die Anzeige
eines Retinaldisplays
Bild: Avegant
HMD „Glyph“
35
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Lichtfeldkameras (plenoptische Kameras)
Funktionsweise
 konventionelle Kamera erfasst 2D-Bild
 plenoptische Kamera erfasst dazu Richtung
 für Lichtfeldmessung: Gitter aus mehreren
Mikrolinsen vor dem Bildsensor
Vorteil
 maximale Schärfentiefe sehr hoch
 kein Fokussiervorgang
 Fokusebene nachträglich anpassbar
 Tiefeninformationen ermittelbar
Nachteile
 Kosten
 2D-Auflösung 4MP eher gering
Bild: Lytro
Bild: Adobe
Adobe-Prototyp einer
Lichtfeldkamera
Bild: Raytrix
Lichfeldkamera
der Fa. Raytrix
Bild: Lytro
Lytro M01,
Lytro Illum
36
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Die Universität Stanford
wendet die Lichtfeld-Technik
nun auf Head Mounted Dispalys
an, um das Akkomodationsproblem von HMDs zu lösen
37
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Integration Tiefenbildsensoren
Produkte und Ankündigungen











Microsoft Kinect
Google Projekt Tango
Leap Motion
Intel Real Sense 3D
Primesense Carmine
ASUS Xtion Pro Live
Meta Space Glasses
PMD
Sony Playstation 4 Camera
Softkinetics
Mantis Vision
Sony
Google Tango
Primesense
Leap
Asus
Meta
Softkinetics
PMD
38
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Integration Tiefenbildsensoren
Ermöglichung Selbstwahrnehmung
 Erfassung des eigenen Körpers
(Rumpf, Hände,…) mit
Tiefenbildsensoren anstatt mit
Datenhandschuhen und/oder Motion
Capturing
Aufhebung Isolation von der Umwelt
 Benutzer sieht die dynamische
Umwelt und kann mit dieser
interagieren
 Misch-Szenen real-virtuell möglich
Bild: Dassault Systèmes
Bild: Dassault Systèmes
dynamische 3D-Szene
aus dem 3D-Scan
einer Kinect und
modellierten 3D-Objekten
(hier: Fahrrad)
Sicht eines HMD-Trägers
auf die 3D-ScanPunktewolke seiner
eigenen Hände und
weiteren
Umgebungsdaten
39
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Integration Tiefenbildsensoren
Erfassung der Bewegungen, Gestik des Benutzers
 Interaktion: Laufen, Greifen, Dinge bewegen, ..
Extraktion von Objekten aus Szene (Nahes, Weites)
 Aufbau Misch-Szenen zur Präsentation
im Head Mounted Display
Verdeckungsberechnung für Augmented Reality
 graphische Objekte, die eigentlich von realen
(partiell) verdeckt sein müssten, dürfen nicht
gezeichnet werden. Die dafür erforderliche
Verdeckungsberechnung benötigt ein aktuelles
3D-Abbild der Realität
Bild: David Nahon/DS
Person mit HMD wird mit
der Kinect gescannt und
kann so interagieren. Hier:
Bedienung eines Stellrads
mit den Händen, Laufen
Bild: Quaternion Software
reale Person in kurzer
Distanz in Echtzeit aus
3D-Scan extrahiert
Bild: Fh-IGD
gezeichnetes Einbauteil
(violett) verschwindet
teilweise hinter Blech
(schwarz). Dazu muss der
Rechner Blech und Einbauteil gegeneinander auf
Verdeckung prüfen
40
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Zusammenfassung
Abschlussbemerkungen: Einschätzungen
 der Markt für HMDs und für Trackingsysteme
wird sich in den kommenden 5 Jahren (weiter)
sehr stark verändern
 Markets and Markets:
- globaler HMD-Markt bei $12,28 Milliarden
im Jahr 2020
- jährliche Wachstumsrate 2014-2020: 57%
 Einsatzmöglichkeiten guter HMDs und
Datenbrillen enorm (v.a. Support, Service,
Innenraum-Begehungen, Training)
 Einschränkungen der Fähigkeit zur Kooperation
sind reduzierbar
41
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Zusammenfassung
Literatur




Bayer, Michael M.: Introduction to Helmet
Mounted Displays. In: Rash, Clarence E. (Ed.):
Helmet-mounted displays : sensation, perception,
and cognition issues, S. 47-108, U.S. Army
Aeromedical Research Laboratory, 2009
Bundesanstalt für Arbeitsschutz und
Arbeitsmedizin: Datenbrillen - Aktueller Stand von
Forschung und Umsetzung sowie zukünftiger
Entwicklungsrichtungen. Workshop vom 20. Juni
2011, Dortmund, 2011
Gross, Frank: Head Mounted Displays für den
professionellen Einsatz: Stand der aktuellen
Produkte am Markt. In: Displaytrends 2013 - Head
Mounted Displays, Datenbrillen & Co, Workshop
am Virtual Dimension Center Fellbach, Fellbach,
14.03.2013
Li, Hua et. al.: Review and analysis of avionic
helmet-mounted displays. In : Optical Engineering
52(11), 110901, November 2013

N.N.: Head Mounted Display (HMD) Market by
Products (Helmet Mounted, Wearable Glass),
Components (Micro display, Camera, control unit,
Tracker, Accessories), Applications (Defense,
industrial, Video Gaming) & Geography - Global
Analysis and Forecast to 2020, Markets and
Markets, Mai 2014

N.N.: Global Head-mounted Display Market,
TechNavio, Januar 2013

N.N.: Head Mounted Display (HMD) Market
Analysis By Product (Helmet Mounted Display,
Wearable Glass), By End-Use (Defense, Consumer),
By Application (Imaging, Security, Tracking, Training
& Simulation) And Segment Forecasts To 2020,
Grand View Research, Oktober 2014
42
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Zusammenfassung
Links
 http://www.stereo3d.com/hmd.htm
Bungert, Christoph: HMD/headset/VR-helmet Comparison Chart, abgerufen am 20.6.2014
 http://www.vrbrillen.net
Kovshenin, Konstantin: VR Brillen. Head Mounted Display – Der nächste Quantensprung in
Gaming und Film, abgerufen am 20.6.2014
 http://www.roadtovr.com/head-mounted-display-hmd-vr-headset-comparison/
Road to VR: HMD Comparison. Head Mounted Display (HMD) / VR Headset Comparison
Chart, abgerufen am 20.6.2014
 http://www.vdc-fellbach.de/wissen/vr-hardware/head-mounted-displays
Runde, Christoph: Head Mounted Displays & Datenbrillen, abgerufen am 20.6.2014
 http://www.vrnerds.de/hardvr/96-2/
Uthe, Nico, et al.: VR-Nerds a Virtual Reality Showcase: Head Mounted Displays, abgerufen
am 20.6.2014
43
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Systemklassen
Einsatzfelder
Entwicklungsrichtungen
Zusammenfassung
Zusammenfassung
Mitglieder im Thema:
44
Sie interessieren sich für das Thema und benötigen einen kompetenten
Ansprechpartner?
Sprechen Sie gerne mit uns.
Virtual Dimension Center (VDC) Fellbach
Auberlenstr. 13
70736 Fellbach
www.vdc-fellbach.de
Tel.: 0711 / 58 53 09 – 0
E-Mail: info@vdc-fellbach.de
© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC