SE Pervasive Computing 2010S - Subliminal Perception final

Transcription

SE Pervasive Computing 2010S - Subliminal Perception final
Seminar Pervasive Computing 340.003 2010S
Methodenseminar Pervasive Computing / Multimedia
“Subliminal Perception for Automotive Control“
Unbewusste Informationsübermittlung zur Automobilsteuerung
Institute for Pervasive Computing
Johannes Kepler University
Univ.-Prof. Dr. Alois Ferscha
Dr. Andreas Riener
riener@pervasive.jku.at
Seminar Pervasive Computing: Kontaktmöglichkeiten
Name:
Univ.Prof. Dr. Alois Ferscha
Dipl.-Ing. Dr. Andreas Riener
Adresse:
Johannes Kepler Universität Linz
Institut für Pervasive Computing
Altenberger Straße 69
A-4040 Linz
Tel.: +43 (732) 2468 8555
Fax: +43 (732) 2468 8426
{ferscha, riener}@pervasive.jku.at
http://www.pervasive.jku.at
Physikgebäude, 1. Stock
Sekretariat:
Frau Judith Luckeneder
Tel.: +43 (732) 2468 8556
Sprechstunde: Dienstag, 10.00 bis 11.00 Uhr (AR)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <2>
Alois Ferscha, Andreas Riener
- Development potential
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <3>
Appliance
Design
Multimodal
Interfaces
Smart
Home
Interactive
Walls/
Rooms
Wireless
Systems
Wearable
Computing
Digital
Physical
Integration
es
ac
e rf
Int
- Core competences
Fault Tolerance
Mobile User Appliances
e re
wh
e ry
Ev
Tracking,
Positioning
Actuators
ms
Sy
ste
Pervasive
Computing
Se
n
so
r
N
etw
o
rk s
Sensors
Dependability
Real-Time
Systems
Context
models
Context Awareness
Identification,
Tagging
See Through
Systems
Au
ton
om
ic
Pro-active
environments
Mixed Reality
Systems
Im
Coordination
models
Voice/Image analysis
and comprehension
ive
s
r
me
ms
e
t
s
Sy
Forschungslinien: Institut Pervasive Computing
Custom
interfaces
Alois Ferscha, Andreas Riener
Seminar Pervasive Computing: Allgemeines
LVA:
Seminar aus Pervasive Computing
Methodenseminar Pervasive Computing / Multimedia
LVA-Nr. 340.003 (2010S)
SW-Stunden: 2.0 (SE) / 3.0 ECTS
Termine:
nach Vereinbarung, siehe später
Ort:
Pervasive Computing Labor (PCL), Physikgebäude 1. Stock
LVA-Leiter:
Univ. Prof. Dr. Alois Ferscha , Dipl.-Ing. Dr. Andreas Riener
Zuordnung:
Informatik (K880)
Zielgruppe:
Studenten im Masterstudium Pervasive Computing (938)
Informatik-Wahlfachtopf im Masterstudium (911, 921, 937)
URL:
http://www.pervasive.jku.at/Teaching/
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <4>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Thema, Organisation
Organisatorischer/Ablauf
ƒ
ƒ
ƒ
Fokus: Fahrer-Fahrzeug Interaktion
Seminar wird geblockt abgehalten (4 Termine)
Quellen/Ausgangsbasis: Verwandte und publizierte wissenschaftliche Arbeiten
(Referenzpublikationen werden zur Verfügung gestellt)
Ziele und Inhalte
ƒ
1 Wissensakquisation
ƒ
ƒ
ƒ
Kompetenzentwicklung: Literaturstudie verwandter Arbeiten (Aufzeigen von
Schwachpunkten, Problemen)
Eigenbezug zu fachverwandten Arbeiten (was ist an meinem/unserem
Ansatz besser, identifizierte Probleme? worin liegt die Innovation?
mögliche Verbesserungsvorschläge, etc.)
2 Durchführung von Studien, Auswertung, Interpretation
ƒ
ƒ
ƒ
Experiment-Design unter Berücksichtigung der Aufgabenstellung
und der zu erwartenden Ergebnisse (case study)
Entwicklungskompetenz (Prototypen/Software-Entwicklung bzw. Erweiterung)
Anwendung geeigneter mathematischer Werkzeuge, statistischer Methoden
für die spätere Datenauswertung (zb. Matlab/Octave, Excel, Weka, etc.)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <5>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Thema, Organisation
Ziele und Inhalte (2)
ƒ
3 Wissenschaftliches Arbeiten
ƒ Darstellung der Ergebnisse in einem wissenschaftlichen Aufsatz
ƒ „Qualität vor Quantität“ (Umfang: ca. 10+ Seiten/Gruppe)
- „Hard Facts only“, dh. These, Design, Durchführung/Auswertung,
Ergebnisinterpretation (kein Copy&Paste von Related Work)
ƒ Format: Word oder LaTeX + BiBTeX (IEEE CS Stil; Stilvorlagen
werden bereitgestellt)
ƒ Sprache: Vortragssprache deutsch, Folien und „Paper“ in Englisch
(Bonus: Internationale Konferenzluft schnuppern…)
ƒ Weiterentwicklung/Erweiterung der Seminararbeit gemeinsam mit den
LVA-Leitern und Einreichung zu internat. Konferenz
ƒ Wird der Beitrag akzeptiert so kann der Besuch eines Studenten (Flug,
Hotel, Tagungsgebühr) durch das Institut finanziert werden…
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <6>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Thema, Organisation
Seminarinhalt/Themenfestlegung
ƒ Durchführung eines Echtfahr-Experimentes zur Beantwortung der
Frage ob und wie unbewusst/unterbewusst (oder auch „subliminal“)
übermittelte Information das Verhalten des Fahrers beeinflussen/
verändern kann…
ƒ Dokumentation (Fotos, Videos, Fragebögen, Log-Files)
Übersicht Versuchsaufbau
ƒ Universell verwendbar
ƒ Notebook mit Software (Windows DLL, Unix/Linux Zugriffsroutinen)
ƒ Bluetooth-Dongle
ƒ Drahtlose Verbindung zum Gurt, Sitzinterface
ƒ Ansteuerung frei programmierbar
ƒ
ƒ
ƒ
ƒ
ƒ
Vibrationselement 1..8
Vibrationsfrequenz
Intensität
Aktivierungsdauer
Berücksichtung JND (2-Punkt Diskriminanzabstand)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <7>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Thema, Organisation
Konkrete Aufgaben/Fragestellungen
ƒ Untersuchung der Wirkung vibrotaktiler Sekundärinformation auf den
Fahrer – Literaturstudie („starting points“/Basisliteratur wird ausgegeben)
ƒ Untersuchung von „Vibrationsalphabeten (Taktogrammen) während
einer Fahrstudie (Labor-Studie?, evtl. unterschiedlicher Untergrund
bzw. Straßenart, e.g. Asphalt/Schotter bzw. Bundesstrasse/Güterweg)
ƒ Abfragen der Alphabete nach der Fahrt (Fragebögen), evtl. während
der Fahrt durch Sprachfeedback (keine Ablenkung vom Fahren!)
ƒ Einteilung der Seminarteilnehmer in 2 Gruppen, 1 Gruppe untersucht
vibrotaktile Informationen in einem Vibrationsgurt, 1 Gruppe untersucht
taktile Informationen im Fahrersitz (je 8 integrierte Vibrationselemente)
ƒ Jede Gruppe entwickelt/adaptiert die „Ansteuersoftware“, jede
Person erhält eigene Vibrationsmuster zur Untersuchung (gleich/Gruppe)
ƒ
Aktivierung z.b. 1 bis 8, 8 bis 1, 1/8 oder 1/4 abwechselnd, 1-4 und 5-8, etc.
8
1
2
4
3
3
7
2
6
ƒ
5
4
1
8
7
5
6
6
5
4
3
7
8
2
1
Paperausarbeitung, Präsentationen: Gruppenweise
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <8>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Thema, Organisation
Arbeitstiteln
ƒ G1: „Subliminal perception via a tactile car seat interface“
ƒ G2: „Subliminal perception via a vibro-tactile safety belt“
Hardware
ƒ „Taktor-System“ von Engineering Acoustics, Inc. (EAI Technologies),
(http://www.eaiinfo.com/Tactor Products.htm)
- 8 Vibrationselemente, high-precise, point-like sensation
- Tactor Eval 2.0, 8-channel Controller/Interfaceboard
http://www.eaiinfo.com/PDF Documents/Tactor
evaluation board.pdf
- Ansteuersoftware (Tactor SDK, Tactor DLL)
Download: http://www.eaiinfo.com/downloads.html
- Allgemeine Informationen auch im Bereich „Infrastructure“, siehe:
http://www.pervasive.jku.at/Infrastructure/?key=834
ƒ
Weitere Hardware (optional, nach Bedarf)
- Fotoapparat, Videokameras, Sports-Cam, Beschleunigungssensoren,
CAN-Bus Interface, EKG, GPS tracker, etc., etc. (bitte rückfragen!)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <9>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Zeitlicher Ablauf
Blocktermine (Vorschlag)
ƒ
Dienstag, 9. März, 10:00 – 11:30 Uhr, Labor PCL
Vorbesprechung, Einführung, Themenpräsentation
> Einführung in das Themengebiet (Themenvorstellung)
> Organisatorischer Ablauf
> Gruppeneinteilung, Themenzuweisung
ƒ
Freitag, 26. März, 13:00 – 15:00 Uhr, Labor PCL
Kurzpräsentation der Idee / Use Case / Geplante Durchführung
> Kurzpräsentation Powerpoint (pro Gruppe):
- Ergebnisse der „Related Work Study“ (Probleme, Potential, etc.)
- Lösungsvorschlag: Softwareimplementierung, Durchführung der Studien,
Datenaufzeichnung und Auswertung, Zeitplan
- Nutzen, erwartetes Ergebnis, Auswirkungen?
> Elektronische Übermittlung (E-Mail) der PPT-Folien (bitte vorab, als PPT!)
> Ausgabe der zu untersuchenden/implementierenden Vibrationsmuster
> Diskussion „Fragebogen“ für die Benutzerbefragung
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <10>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Zeitlicher Ablauf
Blocktermine (Vorschlag)
ƒ
Freitag, 26. März bis Montag, 10. Mai
> Durchführung der Experimente (entsprechend vorgelegtem Zeitplan)
ƒ
Dienstag, 11. Mai, 08:30 – 10:30, Labor PCL
Zwischenpräsentation (Fortschritte, Demo, Anwendungsszenario)
> Präsentation der Fortschritte (Implementierung, Testdurchführung)
> Status (aufgetretene Probleme)
> Diskussion (weitere Vorgehensweise, schriftliche Verwertung)
ƒ
Dienstag, 11. Mai bis Freitag, 28. Mai
> Möglichkeit der Durchführung weiterer Experimente (nach Verfügbarkeit der
Hardware…)
ƒ
Sonntag, 30. Mai, 23:59: Elektronische Abgabe des Papers (Erstversion)
> Länge ca. 10+ Seiten/Gruppe, IEEE CS Press Style, LaTeX/Word,
> Inhaltsstruktur (grobe Blöcke, Angabe des geplanten Inhaltes, erste
Auswertungen, Bildmaterial (Fotos, Skizzen) eingearbeitet, Related Work, etc.)
> Englischsprachig
> Korrigierte/annotierte Version des Papers wird retourniert…
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <11>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Zeitlicher Ablauf
Blocktermine (Vorschlag)
ƒ
Dienstag, 15. Juni, 08:30 - 10:30, Labor PCL: Abschlußpräsentationen
> Powerpoint-Präsentation (pro Gruppe)
- Motivation, Innovation, Use Case / Benutzerstudien, erfasste Daten,
Auswertung+Interpretation, Ergebniszusammenfassung, etc.
> Live-Demonstration des Systems
> Vorführung aufgezeichneter Videos
> Resümee / Abschlußdiskussion
> Besprechung „Paper“
ƒ
Freitag, 25. Juni, 23:59: Elektronische Abgabe des Papers (HARD!)
> Abzugeben ist die finale (überarbeitete, ergänzte) Version des Papers
> Länge ca. 10+ Seiten/Gruppe (im IEEE CS Press Style)
> Englischsprachig
> Sämtliche Originaldateien (aufgezeichnete Daten, Quellcodes, Fotos, Videos,
.tex+.bib, .doc, etc.) sowie Powerpoint-Folien sind ebenfalls abzugeben (ZIPArchiv, DVD) – kann nachgereicht werden (Mo 28.6.)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <12>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Leistungsbeurteilung
Bewertungsschema
ƒ
Beurteilung
- Auswahl, Aufbau und Durchführung der Benutzerstudie
- Datenauswertung (Methodik) und Interpretation
- Schriftliche Darstellung (Paper)
> Qualität der Aufbereitung
> Inbezugsetzung zu verwandter Literatur
> Eigeninterpretation, Aufzeigen von Problemen, Identifikation von Lösungen
- Vortrag
> Qualität der Präsentation
> Fachkompetenz
- Diskussion
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <13>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Related Work
Startpunkte für die Literatursuche
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ACM Digital Library: http://portal.acm.org/dl.cfm
IEEE Computer Society Digital Library:
http://www.computer.org/portal/web/csdl/home
SpringerLink: http://www.springerlink.com/home/main.mpx
Insitutseigene Publikationen:
http://www.pervasive.jku.at/Research/Publications/
Google Scholar: http://scholar.google.at/
Citeseer, CiteseerX: http://citeseerx.ist.psu.edu/
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <14>
Alois Ferscha, Andreas Riener
Introduction, Problem
“Feedback Loops in Driver-Vehicle Interaction”
Automotive Industry: Trends for the Control Systems
From mechanical to computer-controlled systems [Kop97]
ƒ
ƒ
ƒ
ƒ
A few years ago, computer applications in a car focused on
non-critical tasks (e.g. comfort functions)
Today, core vehicle functions are computer-controlled (e.g. engine control).
Replacement: mechanical fallback systems → computer systems with
active redundancy
Information demand
Implication
ƒ Cognitive overload, distraction of the driver
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <18>
Alois Ferscha, Andreas Riener
Evaluation: How to Interact with a Vehicle Today?
Status Quo: Information may be missed or overseen…
ƒ
Explicitly operated
ƒ
Driver-Vehicle Interaction systems primarily operate on vision [Sta07],
[McCal06] or speech [Gra00], [Cal04]
- Support for vision and hearing (information processing)
> 70-80% visual [Mau03], [Hil80] 10-15% auditory [Dah05], only ~10%
touch-based (smell and taste are insignificant)
- But: each modality has its benefits and drawbacks [Erz06], e.g. visually or
auditory delivered alerts tend to fail to raise the required attention
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <19>
Alois Ferscha, Andreas Riener
Interaction Modalities: Drawbacks
Physical Limitations
ƒ
ƒ
Auditory/Voice has limited potential of differentiation between overlayed
sources of audio information [Erz06, p.368]
→ Voice interaction may distract from the task of driving [Gra00, p.156]
Visual information is susceptible to (i) day/night vision (receptors),
(ii) lighting conditions, (iii) visibility conditions
→ Focus dashboard ↔ roadside [Kau04]. Glances of 2sec: 3.6 times more lane
departures than glances of 1sec [Gre99]
Person-related constraints
ƒ Dependency on age and gender
> Older persons: declined information processing speed (rising response time)
[Bra93], [Smi04], [Sha07], [Kal05]
> Females: slow, but accurate [Spe00]
ƒ Instability of voice [Gra00, p.156]
(Device-affected)
ƒ Attention disposed to driving-independent tasks [Rey93]
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <20>
Alois Ferscha, Andreas Riener
Interaction Modalities: Drawbacks
Examples for vehicular interfaces
ƒ
ƒ
Capacity available for (the primary task of) driving decreases because of increasing
attention directed towards secondary or tertiary tasks
- Observation of dashboard items, e.g. thousands of buttons (D. Kern)
- Interaction with driver information/assistance systems requires knowledge, e.g.
rapidly changing environments/faster system development cycles,
new components and functions (G. Hildebrand; S. Fischer)
example:operation of BMW iDrive, Audi MMI or Jaguar touch screen interface
took up to four times longer to use for persons unfamiliar with the
interfaces than for the drivers knowing them (Rydström et al.)
Shortage of bandwidth: distraction/less concentration → risk of accidents
Recent solutions
ƒ ...broaden the perception horizon (multimodal interfaces, touch sensations),
but at the same time demand attention of the driver too
ƒ No/little attention has been given for studying emotions in the context of driving
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <21>
Alois Ferscha, Andreas Riener
Interaction Modalities: How to Improve In-Vehicle Interaction?
Counteracting the problem of cognitive overload/driver distraction
ƒ
Advances on interfaces
> Use multimodal stimulation/evaluation
ƒ
Optimize input and feedback modalities
> Consider factors like age or gender-dependency
ƒ
Modes of interaction
> Replace explicit input/output by implicit (subliminal, subconscious)
interaction
ƒ
Introduce a new sensory modality
> Utilize the sense of touch for sensing and notifications
- Characteristics of „touch“
(i) is a „private“ medium
(ii) operates hands, eyes and ears-free
(iii) compensates for limited awareness
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <22>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Interaction Modalities
Literature
•
•
•
•
•
•
•
•
•
•
•
•
•
[Kop97]
Hermann Kopetz, Real-Time Systems - Design Principles for Distributed Embedded Applications, Kluwer
Academic Publishers, 1997.
[Sta07]
J. Stallkamp, H. K. Ekenel, H. Erdogan, R. Stiefelhagen, and A. Ercil. Video-Based Driver Identification Using Local
Appearance Face Recognition. In Workshop on DSP in Mobile and Vehicular Systems, Istanbul, Turkey.
Interactive Systems Labs, TU Karlsruhe, Germany, June 2007. 4 pages.
[McCal06] Joel McCall and Mohan M. Trivedi. Driver Monitoring for a Human-Centered Driver Assistance System. In HCM
’06: Proceedings of the 1st ACM international workshop on Human-centered multimedia, pages 115–122, New
York, NY, USA, 2006. ACM Press.
[Gra00]
Robert Graham, Chris Carter. Comparison of speech input and manual control of in-car devices while on the move.
Pers. and Ubiquitous Comp., 4(2/3), 2000.
[Cal04]
M.C. McCallum, J.L. Campbell, J.B. Richman, J.L. Brown, and E. Wiese. Speech recognition and in-vehicle
telematics devices: Potential reductions in driver distraction. International Journal of Speech Technology, 7(1):25 –
33, January 2004.
[Erz06]
E. Erzin, Y. Yemez, A. Tekalp, A. Ercil, H. Erdogan, and H. Abut. Multimodal person recognition for human-vehicle
interaction. IEEE MultiMedia, 13(2):18–31, 2006.
[Mau03]
Gerhard Mauter and Sabine Katzki. The Application of Operational Haptics in Automotive Engineering. Business
Briefing: Global Automotive Manufacturing & Technology, pp. 78–80, Team for Operational Haptics, Audi AG,2003.
[Hil80]
B. L. Hills. Vision, mobility, and perception in driving. Perception, 9:183–216, 1980.
[Dah05]
M. Dahm, Grundlagen der Mensch-Computer-Interaktion, 1st ed., Pearson Studium. Pearson Education,
December 2005, 368 pages, ISBN: 978-3-8273-7175-1
[Kau04]
Joachim Kaufmann. Head-up-Display: Neue Technik für mehr Verkehrssicherheit. Website, published online
October 20, 2004, last retrieved, October 01, 2008.
[Gre99]
Green, P. Visual and task demands of driver information systems, (No. UMTRI-98-16). Ann Arbor: University of
Michigan Transportation Research Institute, 1999.
[Bra93]
A. J. Brammer, J. E. Piercy, S. Nohara, H. Nakamura, and P. L. Auger. Age related changes in mechanoreceptorspecific vibrotactile thresholds for normal hands. Journal of the Acoustical Society of America, p.2361, 04/1993.
[Smi04]
J. A. Smither, M. Mouloua, P. A. Hancock, J. Duley, R. Adams, and K. Latorella. Human performance, situation
awareness and automation: Current research and trends, pages 315–319. Erlbaum, Mahwah, NJ, 2004.
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <23>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Interaction Modalities
Literature
•
[Sha07]
•
[Kal05]
•
[Spe00]
•
[Rey93]
•
[Ton03]
•
[Kaj04]
Scott W Shaffer and Anne L Harrison. Aging of the Somatosensory System: A Translational Perspective. Physical
Therapy, 87(2):193–207, February 2007.
Konrad W. Kallus, Jeroen A. J. Schmitt, and David Benton. Attention, psychomotor functions and age. European
Journal of Nutrition, 44(8):465–484, December 2005. ISSN: 1436-6207 (Print) 1436-6215 (Online).
O. Speck, T. Ernst, J. Braun, C. Koch, E. Miller and L. Chang. Gender differences in the functional organization of
the brain for working memory. Neuroreport 11(11), 2581-2585, August 3, 2000 (Lippincott Willioams & Wilkins.
F. Reynier and V. Hayward. Summary of the kinesthetic and tactile function of the human upper extremity.
Technical Report CIM-93-4, McGill University, Montreal, Quebec, Canada,H3A 2A7, March 1993.
Aaron Toney, Lucy Dunne, Bruce H. Thomas, and Susan P. Ashdown. A Shoulder Pad Insert Vibrotactile Display.
Seventh IEEE International Symposium on Wearable Computers (ISWC’03), White Plains, New York, pages 35–
44, October 21-23, 2003.
Hiroyuki Kajimoto, Naoki Kawakami, Susumu Tachi, and Masahiko Inami. Smart-Touch: Electric Skin to Touch the
Untouchable. IEEE Computer Graphics and Applications, 24(1), 2004. Pages 36–43.
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <24>
Alois Ferscha, Andreas Riener
“Touch-based Information Presentation”
Vibro-tactile Feedback in Vehicle Seats
SE Pervasive Computing: Hardware
Vibro-tactile feedback system
ƒ
ƒ
ƒ
ƒ
ƒ
Tactile elements, assembled in a stripe (or belt) of 8 tactor elements
Controller characteristics: mobile/wearable, battery operated, Bluetooth
(and USB) connection
Tactors: 8 EAI C-2 tactors, 350 mA RMS (250Hz), recomm. duty cycle <10%
Software: Windows32 DLL/C++ programming framework, sample applications
Tactor variation parameters: on/off, frequency, intensity, pulse-pause time,…
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <26>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Hardware
Vibro-tactile feedback system
ƒ
ƒ
ƒ
Strong, pointlike sensation
Stimulation of “Pacinian corpuscles” (PC) Æ RELATED WORK!
Optimal stimulation frequency ~250Hz
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <27>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Hardware
Vibro-tactile feedback system
ƒ
(1)
Possible settings: The driver is driver is notified via vibro-tactile transducers embedded into the car seat (1), into the safety belt (2), or worn by
the driver (3)
(2)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <28>
(3)
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Hardware
Vibro-tactile (touch-based) stimulation
ƒ
Simulation
- Vibro-tactile transducers integrated in the driver seat
- “Tactograms” (tactile patterns) mapped to activities, elements individual
controllable (in the example: 2 x 8 elements)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <29>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Hardware
Feedback representation, different modalities, activities “turn left/right”
Signal
Visual
Auditory
Haptic
Turn left
Symbol ”Left” / light bulb
(Video- / dashboard-overlay)
”Turn Left...”
(Spoken instruction)
All eight left tactors
activated simultaneously
Turn right
Symbol ”Right” / light bulb
(Video- / dashboard-overlay)
”Turn Right...”
(Spoken instruction)
All eight right tactors
activated simultaneously
”Turn Left”
”Turn Right”
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <30>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Hardware
Person dependent occupation of the car seat…
ƒ
Adapt position, size, and the intensity (amplitude) of vibro-tactile
feedback according to the measured weight and size as well as the
sitting position of the driver…
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <31>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Hardware
Person dependent occupation of the car seat: Implementation, How?
ƒ
ƒ
Sensing
Force sensitive array mats (32 by 32 sensors each) in seat and backrest.
Feedback, Stimulation
Vibro-tactile elements, arranged in a matrix, and integrated into seat and
backrest of the driver's seat (on top of the force-sensitive mats).
Typical pressure distribution on the seat
(Red color indicate regions with high pressure)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <32>
E.g. 6 by 6 vibro-tactile elements
(integrated into seat
and backrest)
Alois Ferscha,
Andreas Riener
SE Pervasive Computing: Tactograms
Definition
ƒ
Different alphabets (alternative forms of input) and their representation of
typical characters, words, or activities (intent)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <33>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Tactograms
Activity Mapping
ƒ
A multi-tactor system (16 tactors) defining tactograms for the three activities
„turn left“, „turn right“, „traffic jam“ (static view)
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <34>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Tactograms
Graphical Representation
ƒ
ƒ
ƒ
Tactogram as 3D tactor pattern representation with variation parameters
„time“, „amplitude“, and „frequency“
Mapping
- X-axis: AT.....Activation time
- Y-axis: VA.....Vibration amplitude
- Z-axis: VF.....Vibration frequency
Note:Each dimension is scaled to the range [0..1] according to the
physical limitations of the actual used tactile system!
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <35>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Tactograms
Literature
ƒ
Jeremy M. Wolfe, Keith R. Kluender, Dennis M. Levi, Linda M. Bartoshuk,
Rachel S. Herz, Roberta L. Klatzky, Susan J. Lederman, and Daniel M.
Merfeld , „Sensation & Perception“, Second Edition, Oct. 17, 2008, pp. 415,
ISBN: 978-0878939534.
- Chapter 12: Touch (pp. 298-329)
ƒ
A. Riener, „Sensor-Actuator Supported Implicit Interaction in Driver Assistance
Systems“, Vieweg+Teubner Research, Wiesbaden, Germany, 1st edition
(January 14, 2010), ISBN: 978-3-8348-0963-6, pp. 287, 2010.
- Chapter 10: Vibro-tactile Interfaces (pp. 85-104)
ƒ
Selected literature for subliminal perception, vibro-tactile Interaction,
driver-vehicle communication, etc. will be provided (PDF download)
on the web page of the lecture, see:
http://www.pervasive.jku.at/Teaching/lvaInfo.php?key=233
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <36>
Alois Ferscha, Andreas Riener
SE Pervasive Computing: Gruppeneinteilung
Teilnehmerliste
Matr.
SKZ Vorname
Nachname
Email
Gruppe
Vibro-tactile Safety Belt
356735 521 Michael
Hackl
katzenkreis AT gmail.com
1
357018 921 Georg
Schausberger georg_schausberger AT re-verse.com 1
357110 521 Eva-Margarita Mayr
eva.mayr AT gmx.at
1
Vibro-tactile Seat Interface
856879 521 Marius
855270 521 Peter
555617 521 Sandra
555799 521 Hannes
Kaltenberger
Frech
Höllinger
Schauer
340.003 SE Pervasive Computing // Subliminal Perception // 2010S // Slide <37>
marius.kaltenberger AT gmx.at
k0855270 AT students.jku.at
sandra933 AT yahoo.de
Hannesschauer AT gmx.net
2 BS
2 BS
2
2
Alois Ferscha, Andreas Riener
Seminar Pervasive Computing 340.003 2010S
Methodenseminar Pervasive Computing / Multimedia
“Subliminal Perception for Automotive Control“
Unbewusste Informationsübermittlung zur Automobilsteuerung
Institute for Pervasive Computing
Johannes Kepler University
Univ.-Prof. Dr. Alois Ferscha
Dr. Andreas Riener
riener@pervasive.jku.at