Dr. Rigo Herold 03.06.2013
Workshop Datenbrillen (Bundesanstalt für Arbeitsschutz und Arbeitsmedizin)
Interaktive OLED-Datenbrille
Gliederung:
1. Datenbrillen-Systemarchitekturen 2. OLED basierte interaktive Datenbrille 3. Anwendungen
4. Forschungsthema „Hardware der Augmentierten Realität“
5. Zukünftige Forschungsansätze und Entwicklungsbedarf
1. Datenbrillen-Systemarchitekturen
Direktsicht-Datenbrille
Nur virtuelle Bilder
Anwendung: Videospiele, Videos
Video-Datenbrille
Augmentierte Realität
Wiedergabe der realen Welt in reduzierter Auflösung
120 Mio. Stäbchen (Auge) vs.
4 Mega Pixel (Kamera, Display)
Alle Objekte in gleicher Fokusebene
Einfachere Bildverarbeitung
Alle Objekte liegen digital vor
Nutzer
Display
HMD- Elektronik Schnittstelle
Optik Abschattung zur relen Welt
Rechner
Benutzer
Optik Display Abschattung zur realen Welt
HMD‐
Elektronik Schnittstelle
Front- kamera
Computer
1. Datenbrillen-Systemarchitekturen
Durchsicht-Datenbrille
Direkte Sicht auf die reale Welt durch Strahlteiler
Reale Welt wird in voller Auflösung wahrgenommen
Augmentierte Realität
Hohe Anforderungen am System zur Überlagerung der virt. Objekte
Echtzeitfähigkeit
Genauigkeit
Dynamische Anpassung
Der Displayhelligkeit zur Umgebung
Benutzer
Optik Display
reale Welt HMD‐
Elektronik Schnittstelle
Computer Strahlteiler
1. Datenbrillen-Systemarchitekturen
Eyetracking-Datenbrille (klassisch)
Erweiterung der Durchsicht-Datenbrille
Zusätzlicher Strahlteiler
Kamera erfasst die Augen-Szene
Eyetracking
Blickverfolgung
Berechnung
Pupillenmittelpunkt
Interaktion
Virtuelle Tasten
Augen-Cursor
Nutzer
Strahlteiler Linse Strahlteiler
Linse Kamera
Display
2. OLED basierte interaktive Datenbrille
Bidirectional OLED-Microdisplay
Technology approach
Silicon-chip
Top-metal patterning
Organic -> display-pixel -> virtual image
Photodiodes -> camera -> eyetracking
Advantages
Display & camera on one chip
Integrated signal processing
Optimized form factor
Low power consumption
Minimized systems costs
Wafer
FOX
PMOS Photodiode
Metal 1 Metal 2 Metal 3 C MOS
OLE D TF E
Wafer
FOX
PMOS Photodiode
Metal 1 Metal 2 Metal 3 C MOS
OLE D TF E
Wafer
FOX
PMOS Photodiode
Metal 1 Metal 2 Metal 3 C MOS
OLE D TF E
2. OLED basierte interaktive Datenbrille
Bidirectional OLED-Microdisplay design conception
nested active-matrix 320 x 240 OLED-pixel 160 x 120 camera-pixel
column addressing display column puffer display column driver display
data converter display
row driver display
row puffer display
row addressing display
display control data monochrom hsync
vsync pixel-clock
configuration
correlated double sampling camera column puffer camera column addressing camera camera
amplifier
row driver camera row logic camera row addressing camera camera control analog to digital converter analoque camera signal
data cam
vsync_cam hsync_cam clock_cam pixel clock
divider
synchronization display-camera
2. OLED basierte interaktive Datenbrille
Operating challenges
Parallel operation sceme
Simultan display operation and camera imaging
High frame rates
Low pixel frequency
Optical and electrical crosstalk from display to the camera
Sequential operation sceme
Display off during camera imaging
Low frame rates
High pixel frequency
No crosstalk
Operation sceme depends on the application
0 2
4 6
8 10
20 25 30 35 40
0,1 0,2
0,3
pixel-clock / MHz
relative lu minance integratio
n time / ms Conditions:
Display resolution 320x240 Camera resolution160x240 Frame rate 50 Hz
2. OLED basierte interaktive Datenbrille
Mensch-Maschine-Schnittstelle (Modell)
Technisches System
Regelkreislauf beeinflusst Grundsystem
Nutzer gibt Sollwerte vor
Ableitung auf Datenbrille
Nutzer = Grundsystem
Eyetrackingkamera = Sensor
Interaktionsberechnung durch Computersystem
Display arbeitet als Aktor
Visuelle Darstellung der angeforderten Information
Grundsystem
Sensoren Aktoren
Informationsverarbeitung
Leistungs- versorgung
Umgebung Mensch Verarbeitung
Kommunikations- system
Mensch-Maschine- Schnittstelle
Aktoren
Optik
Kamera Kamera Display
Computersystem Informationsserver
Kommunikations- system
Mensch-Maschine- Schnittstelle Leistungs-
versorgung
Mensch
Umgebung
2. OLED basierte interaktive Datenbrille
Systemarchitektur einer Datenbrille mit OLED-Mikrodisplay
MMS-Modell auf reales System
HMD / Datenbrille
Datenpfad Aktor (Display)
-> Empfang Display-Videodaten -> Ansteuerung Mikrodisplay -> Projektion virtuelles Bild
Datenpfad Sensor (Kamera) -> Erfassung der Augenszene -> Übertragung Kamerabild
AR-Plattform
Eyetracking -> Berechnung der Nutzerinteraktion z. B. Button
Übertragung der angeforderten Informationen (Videodaten)
Bidirektionales OLED-Mikrodisplay
Bidirektionale Optik Strahlengang
Kamera
Display
Videodaten- synchronisation Kamera
Display Videodatenstrom
asynchron
Datenschnittstelle HMD Konfiguration
Kamera
Display
Videodatenstrom synchron
HMD
Datenschnittstelle AR-Plattform Prozessor
Wechseldatenträger Akku
Laderegler
Funkschnittstelle
Display Kamera
Konfig.
AR-Plattform
Informationsserver
2. OLED basierte interaktive Datenbrille
Modell zur Erfassung der Augenszene
Entkopplung der Display- und Kamerastrahlengänge
Bestrahlung des Auges im infraroten Bereich
2. OLED basierte interaktive Datenbrille
Konzeption der bidirektionalen Datenbrillen-Optik
Problemstellung der Optik für ein bidirektionales OLED-Mikrodisplay
Gleiche Abbildungs- bzw. Projektionsebene auf Mikrodisplay jedoch verschiedene Ebenen am menschlichen Auge
Entkopplung der Strahlengänge zwischen Display und Kamera
Bidirektionales OLED-Mikrodisplay
Reale Welt Reale WeltVirtuelles Bild Kamerabild
IR-B estra
hlung Bidirektionale Optik IR-Strahler
Auge
Netzhautebene Pupillenebene
2. OLED basierte interaktive Datenbrille
Bidirektionale Optik (separate Linsen)
Sicht auf reale Welt durch Teilerspiegel
Vertikaler aspährischer Spiegel fokussiert auf die Netzhaut
Horizontaler aspährischer Spiegel fokussiert auf die Pupille
Virtuelles Display
Bild
Ersatzlinse_k
Strahlengang reale Welt Bidirektionales
OLED- Mikrodisplay
Ersatzlinse_k Ersatzlinse_d
Strahlteiler
Absorptionsfilter
Reale Welt
Strahlengang Display Strahlengang Kamera Auge
2. OLED basierte interaktive Datenbrille
Bidirektionale Optik (kombinierte Linse)
Bidirectional OLED-Microdisplay(display & camera )
Beam-splitter
Non-spherical mirror
reflection (380nm – 780nm) on top -> display
reflection (780nm – 1100nm) on bottom -> camera Eye
Camera path Display path
IR-LED
2. OLED basierte interaktive Datenbrille
Software / Eyetracking
2. OLED basierte interaktive Datenbrille
Interaktionsdetektion Eyetracker <-> Applikation
Problematik
Eyetracker gibt Koordinaten aus
Anwendung:
wurden virtuelle Tasten betätigt?
Virtuelle Tasten sind dynamisch
Lösung:
Interprozesskommunikation
Anwendung aktualisiert eine Konfigurationsdatei
Interaktionsdetektion prüft ob virtuelle Taste betätigt wurde
Start Eyetracking- Algortihmus
Start Interaktions- detektion
Start Anwendung Berechnung
Blickkoordinaten auf virtuellem
Displaybild Start Interaktions
-detektion
Koordinaten- ausgabe
Nachrichtenschlange erzeugen
Zuordnungstextdatei erstellen
Zuordnungstextdatei 1. Prozessidentifikation 2. Nachrichtenschlangen- nummer
Nachrichtenschlangen- nummer auslesen
Nachrichtenschlange:
Prozessnr. Anwendung
Eigene Prozess- nummer ausgeben Konfigurationsdatei
Position der Interaktions- elemente
Konfigurationsdatei aktualisieren
Auswertung der Interaktion Prozessnummer der
Anwendung lesen
Interaktionselemente aktualisieren
Koordinaten einlesen
Auswertung der Interaktions- elemente
Nachrichtenschlange:
Interaktionselemente aktiv
Darstellung neues Displaybild
2. OLED basierte interaktive Datenbrille
Realized prototypes
SID 2012 SID 2011
SID 2009
SID 2010
HMD with Eyetracking optics
HMD with OLED- Microdisplay and external Eyetracking camera
HMD with
bidirectional OLED- Microdisplay (camera
& display on chip)
Binocular Interactive See-through HMD
2. OLED basierte interaktive Datenbrille
Current prototype
Specifications:
Display: 640 x 480 pixels
Viewing-area (μD):
10,2 mm x 7,7 mm
Eyetracking camera: 128 x 96 pixels
FOV (see-through): 39,1° x 26,6°
FOV (info channel): 29° x 21,6°
Accomodation distance: 750 mm
See-through Transparency: 50 %
Eye-motion box:
5,6 mm x 11,2 mm
Weight: 189g
„Panorama“ Application
Fullsize earth map
ROI is displayed on HMD
Moving ROI by gaze
2. OLED basierte interaktive Datenbrille
Demonanwendung
Problems
Limited assembly space
Several hundreds of complex components
Wrong component assembly
No hands free for reading the manual
Dark and noisy environment
Speach control will not work
Using interactive data-glasses
Identification of the assembly components
Virtual symbols and text show the right parts
Gaze controlled user input
Next assembly step
Next / previous manual page
3. Anwendungen
Aircraft manufacturing / service
Problems
Nav. system mounted on the handle bar
Low perceptibility in bright environments
Dangerous handling during the ride
Using interactive data-glasses
All information are in the visual field
Both hands on the handle bar
Gaze controlled user input
Zoom the map
Change the content of the bike computer
Speed
Average
zoom +zoom-
change report AVG 18,67
km/h
3. Anwendungen
AR supported cycling
4. Forschungsthema „Hardware der Augmentierten Realität“
Bisher forschen fast nur Informatiker oder Anwender zum Thema AR
Es werden hierfür bestehende AR Systeme genutzt bzw. modifiziert
Die Auswahl an verfügbaren Datenbrillen ist sehr gering
Fast keine akademische Einrichtungen befasst sich mit dem Hardwaredesign von AR-Systemen speziell von Datenbrillen
Zusammenspiel von Elektrotechnik, Optik und Design erforderlich
Hohes Interesse von Wirtschaft, Politik und Anwendern
4. Forschungsthema „Hardware der Augmentierten Realität“
EU-Komissar für Energie Günther Oettinger, Dr. Heinrich Hiesinger, Vorstandsvorsitzender der ThyssenKrupp AG, (© ThyssenKrupp AG)
Stanislaw Tillich, Prof. Karl Leo, Dr. Christian May Preisverleihung zur SID 2012
„Best-in-Show Award“
4. Forschungsthema „Hardware der Augmentierten Realität“
5. Zukünftige Forschungsansätze und Entwicklungsbedarf
Kabellose Datenbrille
Bereitstellung einer ausreichenden Bandbreite
3-D Eyetracking
Nutzerinteraktion im 3D-Raum
Indoor- und Outdoor-Navigation
GPS, WLAN
Dynamische Anpassung der Akkomodation
Z.B. Adaptive Optik
Integration Handy / Smartphone in Datenbrille
Integration weiterer Sensorik
Sprachverarbeitung, Beschleunigungssensor, Kompass etc.
Ausblick
Weiterentwicklung und Miniaturisierung der Datenbrille
Kooperationen zwischen Forschung und Wirtschaft
Speaker contact
Dr. Rigo Herold
Email: rigo.herold@comedd.fraunhofer.de
phone:+49-351-8823-216
Thank you for attention
