Vortragsfolien Dieckmann/Garbas (pdf: 1,1 MB)

Vortragsfolien Dieckmann/Garbas (pdf: 1,1 MB)

{06. Mai 2014}
EMO SCAN: WAS UNSERE MIMIK
ÜBER WERBEWIRKUNG VERRÄT
„Von Si nnen“, Ni col aus -Coperni cus -Pl anetari um
anja.dieckmann@gfk-verein.org
jens.garbas@iis.fraunhofer.de
{06. Mai 2014}
Der GfK Verein
` Non-Profit-Organisation: Erfahrung im Bereich der Marktforschung seit über 75 Jahren,
knapp 600 Mitglieder aus verschiedensten Branchen.
` Verantwortungsbewusstes Handeln: Mehrheitseigner der GfK SE
` Nicht-kommerzielle Forschung: Studien zu Verbrauchern und Märkten, zu Entwicklungen
in Gesellschaft, Wirtschaft und Politik. Beispiele von Studien: Challenges of Europe,
Trendsensor Konsum, European Consumer Study
` Kommunikation von Wissen: GfK Compact, „GfK Marketing Intelligence Review“,
GfK-Tagung, Unternehmergespräch Kronberg
` Förderer der Lehre : GfK Academy, GfK-Lehrstuhl für Marketing Intelligence
` Denken auf Vorrat: Entwicklung von neuen Forschungsmethoden in enger Zusammenarbeit
mit der Wissenschaft – Beispiele:
Optimierte Conjoint-Analysen J Entscheidungsprozesse beim Kauf
Neuromarketing J Neuronale Korrelate von Markenattraktivität
Facial Coding: Automatisiertes, softwaregestütztes System zur Erfassung feinster
Muskelbewegungen im Gesicht J Werbeforschung
2
{06. Mai 2014}
Fraunhofer-Gesellschaft
` Mission der Fraunhofer-Gesellschaft
Anwendungsorientierte Forschung zum unmittelbaren Nutzen für die Wirtschaft und zum
Vorteil für die Gesellschaft
Stärkung der Wettbewerbsfähigkeit der Region, Deutschlands und Europas
Fachliche und persönliche Entwicklung der Mitarbeiterinnen und Mitarbeiter
` Fakten
67 Institute und Forschungseinrichtungen
Mehr als 23 000 Mitarbeiterinnen und Mitarbeiter
Forschungsvolumen: 2 Milliarden Euro, davon rund 1,7 Milliarden Euro im Leistungsbereich
Vertragsforschung
` Fraunhofer IIS (Erlangen)
1985 gegründet
830 Mitarbeiterinnen und Mitarbeiter
„Home of mp3“
3
{06. Mai 2014}
Wachsende Bedeutung von Emotionen im Marketing
` Emotionen sind “Relevanzdetektoren”
(Scherer, 2005)
` Emotionen wirken auf jeder Stufe der
Informationsverarbeitung verstärkend:
Aufmerksamkeit
Verarbeitung
Erinnerung
4
{06. Mai 2014}
Wie kann man emotionale Reaktionen erfassen?
Emotionen sind komplexe Prozesse; sie laufen auf verschiedenen Funktionsebenen ab und
jede Ebene hat ihre eigenen Messansätze.
` Subjektives Empfinden
Gefühle
kognitive Bewertungen
Selbstbericht
5
{06. Mai 2014}
Befragungen
Selbstbericht ist der einzige Weg zur vielfältigen menschlichen Emotionswelt, mit all ihren
Facetten; komplexe Emotionen wie Neid oder Sehnsucht lassen sich anders kaum erfassen.
Freude
ja
nein
ABER:
` Menschen haben nur eingeschränkt Zugang zu ihren Emotionen, vieles läuft unbewusst
ab und kann daher nicht erfragt werden.
` Befragungen werden meist nachträglich durchgeführt, was zu Verzerrungen führen kann.
` Sozial erwünschte Antworten kommen überdurchschnittlich häufig vor.
6
{06. Mai 2014}
Wie kann man emotionale Reaktionen erfassen?
Emotionen sind komplexe Prozesse; sie laufen auf verschiedenen Funktionsebenen ab und
jede Ebene hat ihre eigenen Messansätze.
` Subjektives Empfinden
Gefühle
kognitive Bewertungen
` Physiologische Reaktion
peripher
zentralnervös
Selbstbericht
Herzrate, Hautleitfähigkeit,
Gehirnstrommessung (EEG),
Durchblutung bestimmter
Gehirnregionen (fMRT), …
7
{06. Mai 2014}
Neurowissenschaftliche Verfahren
Neurowissenschaftliche Verfahren versprechen Zugang selbst zu unbewussten Emotionen,
sind objektiv, und messen in Echtzeit, also dann, wenn die Emotionen gerade erlebt werden.
Beispiele für EEG-Messungen
ABER:
` Technischer Aufwand und Verkabelung sind unbequem und stören bei der Befragung.
` Datenanalyse erfordert sehr viel Expertise.
` Neurowissenschaftliche Verfahren lassen viel Spielraum für Interpretationen, Antworten
auf marketingrelevante Fragen sind nicht direkt ablesbar.
8
{06. Mai 2014}
Wie kann man emotionale Reaktionen erfassen?
Emotionen sind komplexe Prozesse; sie laufen auf verschiedenen Funktionsebenen ab und
jede Ebene hat ihre eigenen Messansätze.
` Subjektives Empfinden
Gefühle
kognitive Bewertungen
` Physiologische Reaktion
peripher
zentralnervös
` Ausdrucksverhalten
Gesichtsausdruck
Körpersprache
Stimme
Selbstbericht
Herzrate, Hautleitfähigkeit,
Gehirnstrommessung (EEG),
Durchblutung bestimmter
Gehirnregionen (fMRT), …
Beobachtungsverfahren
9
{06. Mai 2014}
Theoretischer Hintergrund: Forschung von Ekman & Friesen (1972)
` Emotionen werden von spezifischen
mimischen Reaktionen begleitet
` Interkulturelle Konsistenz:
Basisemotionen werden universell
verstanden
` Entwicklung des Facial Action Coding
System (FACS) zur systematischen
Beobachtung von Muskelbewegungen
im Gesicht (44+ Action Units, AUs)
` ABER: Codierung eines einminütigen
Videos kann bis zu einer Stunde Zeit
eines Experten beanspruchen J zu
aufwändig für die Marktforschungspraxis
` Gesichts-EMG keine echte Alternative,
keine ökologisch valide Testsituation
` Lässt sich Mimikanalyse auch automatisch durch intelligente Software durchführen?
10
{06. Mai 2014}
Automatische Mimikanalyse – Science Fiction?
11
{06. Mai 2014}
Der Computer sieht und interpretiert Gesichter!
Geschlecht
Alter
Emotionen
12
{06. Mai 2014}
Gesichtsdetektion und Mimikanalyse am Fraunhofer Institut
` Ausgangspunkt: Robuste
Gesichtsidentifikation und
Erkennen starker,
prototypischer
Gesichtsausdrücke
` Ziel: Zuverlässiges
Erkennen subtiler
Gesichtsausdrücke
(Stichwort Valenz)
` Start einer Kooperation
zwischen GfK Verein,
Fraunhofer Institut und
Emotionspsychologen der
Uni Genf
13
{06. Mai 2014}
Im Marketingkontext dominieren schwächere Emotionsausdrücke
` Auch schwächere Emotionsausdrücke sollen
interpretiert werden.
` Weg von den Basisemotionen, hin zu den
kontinuierlichen Bewertungen, die allen
Emotionen zugrundeliegen („Appraisals“):
Valenz, später auch Neuigkeitswert und
Kontrollierbarkeit.
häufig
Neuigkeitswert
selten
+ Arousal
(zeigt sich
nicht im
Gesichts ausdruck)
Valenz (angenehm - unangenehm)
14
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… oder das kleine 1 x 1 der Mustererkennung
Vorvera
arbeitung
M
Merkmalse
extraktion
Klassifikation
15
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… oder das kleine 1 x 1 der Mustererkennung
Vorverarbeitung
a
M
Merkmalsextraktion
e
Klassifikation
Arbeitsphase
Lernphase
Maschinelles
M
Lernen
Stichprobe
` Maschinelles Lernen:
Teilgebiet der „Künstlichen Intelligenz“
Erkennen von Gesetzmäßigkeiten in der Stichprobe und Verallgemeinerung auf alle Daten
16
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… vergleichbar mit der menschlichen Wahrnehmung
Vorvera
arbeitung
M
Merkmalse
extr
rraktion
aktion
extraktion
Klassifikation
E
Erfahrung
` Der Mensch lernt beim Älterwerden Gesichter zu unterscheiden
terscheiden u
und Gesichtsausdrücke
zu interpretieren und zu abstrahieren (grundlegende Erkennungsmechanismen sind
allerdings angeboren!)
17
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… oder das kleine 1 x 1 der Mustererkennung
Vorverarbeitung
a
M
Merkmalsextraktion
e
Klassifikation
Arbeitsphase
Lernphase
Maschinelles
M
Lernen
Stichprobe
18
{06. Mai 2014}
Trainingsdaten
Datenquellen und -arten
Eigene Aufnahmen
Fernsehbilder, Internet
Öffentliche Datenbanken1
` Ziel: möglichst hohe Varianz in den Trainigsdaten
verschiedene Personen, Alter, Männer/Frauen
Beleuchtungssituationen
Gesichtsausdrücke, Kopfhaltung
Aufnahmesituationen, Kameras
…
Lucey, P.; Cohn, J.F.; Kanade, T.; Saragih, J.; Ambadar, Z.;
Matthews, I., "The Extended Cohn-Kanade Dataset (CK+): A
complete dataset for action unit and emotion-specified
expression," Computer Vision and Pattern Recognition
1
Workshops (CVPRW), 2010 IEEE Computer Society
Conference on , vol., no., pp.94,101, 13-18 June 2010
19
{06. Mai 2014}
Trainingsdaten
Annotation der Daten
` Annotation der „Grundwahrheiten“
Eindeutige Gesichtsmerkmale: Augenmittelpunkte, Nasenspitze, Mundwinkel, …
Metainformation: Gesichtsausdruck, Alter, Geschlecht, …
20
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… oder das kleine 1 x 1 der Mustererkennung
Vorvera
arbeitung
M
Merkmalse
extraktion
Klassifikation
Arbeitsphase
Lernphase
Maschinelles
M
Lernen
Stichprobe
` Unter welchen Aspekten sieht der Computer die Bilddaten an, wie kann er abstrahieren?
21
{06. Mai 2014}
Merkmalsextraktion
Kantenorientierungen
` Einfach und effizient zu berechnen
22
{06. Mai 2014}
Merkmalsextraktion
Census-Merkmale
` Einfach und effizient zu berechnen
` Robust gegenüber Beleuchtungsschwankungen
23
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… oder das kleine 1 x 1 der Mustererkennung
Vorverarbeitung
a
M
Merkmalsextraktion
e
Klassifikation
Arbeitsphase
Lernphase
Maschinelles
Lernen
Stichprobe
` Jetzt haben wir über 20 000 Merkmale pro 24x24 Pixel Bildausschnitt, welche brauche
ich denn nun, um ein Gesicht zu finden? Was macht ein Gesicht aus?
24
{06. Mai 2014}
Maschinelles Lernen
Positiv
Merkmalspool: Kanten,
Census, …
Gesichter
Unterscheidungserscheidung
modell
(Klassifikator)
Negativ
Nicht-Gesichter
Lernverfahren
` Extraktion von Merkmalen aus den Trainingsbildern
` Auswahl von Merkmalen aus dem Merkmalspool
` Erzeugung eines Unterscheidungsmodells mit den gewählten Merkmalen
25
{06. Mai 2014}
Wie lernt ein Computer Gesichter zu erkennen?
… oder das kleine 1 x 1 der Mustererkennung
Vorverarbeitung
a
M
Merkmalsextraktion
e
Klassifikation
Arbeitsphase
Lernphase
Maschinelles
Lernen
Stichprobe
` Wie wird das Klassifikationsmodell angewendet?
26
{06. Mai 2014}
Klassifikation in der Arbeitsphase
` Verschiebung des Detektionsmodells über das Bild
` Vergleich jeder Bildregion mit dem Detektionsmodell
` Absuche skalierter Bilder zur Detektion von Gesichtern unterschiedlicher Größe
27
{06. Mai 2014}
Training von anderen Detektionsmodellen
Positive Emotionen
Merkmalspool: Kanten,
Census, …
Unterscheidungse scheid ng
modell
(Klassifikator)
Negative Emotionen
Lernverfahren
` Analyse möglich von
Emotionen
Geschlecht
Alter
28
{06. Mai 2014}
Anmerkungen zum Verfahren
` Es ist sehr schnell, robust und genau
` Es handelt sich um eine Black Box, d.h. man kann nicht beeinflussen, was darin
passiert
` Es gibt eine riesige Zahl an zusammengesetzten oder mehrdeutigen
Gesichtsausdrücken, z.B. „fröhlich-angeekelt“, „erschrocken-überrascht“,
„interessiert“ oder „verwirrt“ . In welche Kategorie soll man die einsortieren?
29
{06. Mai 2014}
Mimikanalyse durch EMO Scan in Aktion
` Valenz wird aus ganz verschiedenen spezifischen Gesichtsausdrücken gut herausgelesen.
30
{06. Mai 2014}
Welche Ergebnisse liefert EMO Scan?
` Auch unter suboptimalen Aufnahmebedingungen sind die Ergebnisse aussagekräftig.
31
{06. Mai 2014}
Ablauf der Validierung
Elektroden für
Hautleitfähigkeitsmessung (EDA)
HD Camcorder als
obere Benchmark
Webcam
` Studiotest mit n=180 Befragten
` 5 Werbespots mit unterschiedlicher emotionaler Wirkung
` 32 emotionale Bilder (16 positive, 16 negative)
32
Anzahl Vorhersagen
Trefferraten emotionale Bilder
{06. Mai 2014}
32
TREFFERRATE
75.00%
Mittl. Rating
4 POS
7 POS
9 POS
10 POS
11 POS
15 POS
16 POS
17 POS
21 POS
22 POS
24 POS
25 POS
26 POS
27 POS
29 POS
32 POS
1 NEG
2 NEG
3 NEG
5 NEG
6 NEG
8 NEG
12 NEG
13 NEG
14 NEG
18 NEG
19 NEG
20 NEG
23 NEG
28 NEG
30 NEG
31 NEG
Baby
Dollars
Robbe
Skifahren
Hasen
Sonnenuntergang
Fallschirmsprung
Rafting
Wasserrutsche
Eisbecher
Feuerwerk
Wasserskifahren
Welpen
Paarimmeer
Leopardenbabys
Kuessendespaar
Kakerlaken
Muell
Spinneaufkoerper
Schlangen
Ratte
Bissigerhund
Kopfweh
Autowrack
Schiffsuntergang
Brennenderstuntman
Abgase
Schaedel
Zahnarzt
Verzweifelterjunge
Soldaten
Spinne
6.13
4.95
5.66
5.40
5.86
5.57
4.91
5.04
5.48
5.32
5.52
5.06
6.06
5.52
5.84
5.44
2.74
2.38
3.11
2.77
2.01
2.66
2.97
2.19
2.16
2.66
3.08
2.79
2.45
2.52
2.19
3.08
14
14
78.57%
85.71%
EMO Scan EEG-Anbieter
POS
POS
POS
NEG
POS
NEG
POS
POS
POS
POS
NEG
NEG
POS
NEG
POS
POS
POS
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
POS
NEG
NEG
POS
EMO Scan
POS
POS
NEG
POS
NEG
POS
POS
POS
POS
POS
POS
POS
POS
POS
NEG
POS
NEG
POS
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
NEG
{06. Mai 2014}
Mercedes-Spot „Tunnel“
34
{06. Mai 2014}
Ergebnis für Mercedes-Spot „Tunnel“
EMO Scan
16
14
12
10
8
6
4
2
0
-2
-4
-6
-8
-10
-12
-14
` Ergebnisse der Mimikanalyse sind im Einklang mit dem Spannungsbogen der Story.
35
{06. Mai 2014}
Gruppenunterschiede für Mercedes-Spot „Tunnel“
Zwei Gruppen gebildet anhand der Ergebnisse der nachträglichen Befragung mit EMO Sensor:
Mittelwert
gesamt
(100%)
Interessierte (26%)
Begeisterte (46%)
Begehren
Überlegenheit
Stolz
Leidenschaft
Überraschung
Interesse
Neugier
40
30
EMO Scan
20
10
0
-10
-20
-30
0
5
10
15
20
25
30
35
40
45
` Spot polarisiert: Begeisterte fiebern mit, Interessierte reagieren negativ auf Schlüsselstelle.
36
{06. Mai 2014}
Ergebnis für Zahnpasta-Spot mit „Fear Appeal“
EMO Scan
16
14
12
10
8
6
4
2
0
-2
-4
-6
-8
-10
-12
-14
` Schockeffekte zu Beginn funktionieren, allerdings keine Auflösung zum Positiven hin
in der zweiten Hälfte des Spots.
37
{06. Mai 2014}
Online-Test USA und Deutschland
` Online-Studie mit n=500
Befragten pro Land
` 5 Werbespots mit
unterschiedlicher emotionaler
Wirkung
` Eingebettet in AD*VANTAGEFragebogen, dem WerbePretest-Instrument der GfK
38
{06. Mai 2014}
Snickers-Spot USA
39
{06. Mai 2014}
EMO-Scan-Ergebnis für Snickers-Spot USA
60
50
40
30
20
10
0
0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
` Eindrucksvolle Reaktion auf die Story: Positive Emotionen erreichen Höhepunkt bei
den Produktmomenten.
40
{06. Mai 2014}
EMO-Scan-Ergebnis für Snickers-Spot Deutschland vs. USA
60
50
DE
US
40
30
20
10
0
0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
` Gekürzte und synchronisierte Version funktioniert auch in Deutschland, wo Aretha
Franklin weniger bekannt ist: Wie in den USA erreichen positive Emotionen ihren
Höhepunkt bei den Produktmomenten.
41
{06. Mai 2014}
Fazit zu EMO Scan als Marktforschungsinstrument
`
nützliche Ergänzung zu klassischen Befragungen (sekundengenaue Bewertung)
`
einsetzbar im Teststudio sowie in Online-Befragungen
`
kostengünstig (nur Webcam + Internet nötig) und intuitiv verständlich, keine Blackbox
`
genügt höchsten Datenschutzanforderungen (explizites „Opt-in“-Verfahren,
verschlüsselte Übertragung auf GfK-Server, anonymisierte Datenanalyse)
` Exploration neuer Anwendungen: Usability-Forschung, Produktdesign,…
` Nachfrage nach mehr Emotionsdimensionen J Weiterentwicklung der Software
42
{06. Mai 2014}
Der Mensch ist der Maschine immer noch voraus!
Quelle: iStock
` Erkennung von komplexen oder gemischten Gefühlen
` Körpersprache und Mimik spielen eine extrem wichtige Rolle in der menschlichen
Kommunikation, siehe z.B. Ironie
43
{06. Mai 2014}
Was können wir von Smileys lernen?
` Die ersten Emoticons wurden bereits in der Pionierzeit des Internets (1982) eingeführt
westlich
asiatisch
Freude, Lachen
:-)
:-D
(^_^)
Trauer
:-(
:C
(ó_ò)
Ärger
>:(
:@
(-_-) (ò_ó)
Ironie, Augenzwinkern
;-)
Erstaunen
:-0
(^.^)
>^_^<
(^_~)
:-o
(O_O)
` Gesichtsmimik ist sehr wichtig für die „Tonalität“ zwischenmenschlicher Kommunikation
` Bestimmte Bewegungen im menschlichen Gesicht werden mit bestimmten Gefühlslagen
assoziiert
` Das gleiche Gefühl kann über unterschiedliche Gesichtsbereiche ausgedrückt werden
(und es gibt gewisse kulturelle Unterschiede in der Wahrnehmung!)
44
{06. Mai 2014}
Facial Action Coding System
Quelle: http://www.artnatomia.net/uk/index.html, creative commons, Stand Juli 2009
` Individuelle Muskelgruppen (Action Units) bilden die Zutatenliste für jeden
Gesichtsausdruck (Darwin 1872, Hjortsjö 1970, Ekman und Friessen 1975)
` Die automatische Erkennung von AUs ermöglicht die Erkennung aller überhaupt
möglichen Gesichtsausdrücke!
45
{06. Mai 2014}
Facial Action Coding System – Beispiele für Action Units
Action Unit 12
(Lip corner puller)
Action Unit 7
(Lid tightener)
Action Unit 10
(Upper lip raiser)
r)
Action Unit 4
(Brow lowerer)
46
{06. Mai 2014}
Facial Action Coding System – Beispiele für Basisemotionen
Lächeln
Positive Emotion
` “Fröhlichkeit”
Action Unit 12
(Lip corner puller)
“Falsches Lächeln”,
“Pan Am smile”
Action Unit 6
(Cheek raiser)
47
{06. Mai 2014}
Entwicklungsziel: Automatische Erkennung von Action Units
` Automatische Verfolgung von vielen Gesichtsmerkmalen mit Hilfe eines
verformbaren 3-D-Modells kann zur Action-Unit-Erkennung genutzt werden
48
{06. Mai 2014}
Ziel: Emotionserkennung durch strukturelle Mustererkennung
AU 12
AU 6
6
“fröhlich”
AU X
klassische Mustererkennung
M ste e kenn
Inferenzverfahren
(welche AU Kombination entspricht welcher Emotion?)
` Strukturelle Mustererkennung verbindet statistische Verfahren mit syntaktischen
(regelbasierten) Verfahren
` Trennung der Disziplinen: Computerwissenschaften (Fraunhofer) vs. Psychologie
(Emotionspsychologen der Universität Genf um Prof. Klaus Scherer)
` Aus erkannten Action Units kann dann sowohl auf spezifische Emotionen als auch
auf grundlegende Emotionsdimensionen geschlossen werden: Neben Valenz auch
Neuigkeitswert und Kontrollierbarkeit
49
{06. Mai 2014}
Anwendungsbeispiele außerhalb der Marktforschung
… als „Soziales Barometer“ SceneTap
Quelle: screenshot der website www.scenetap.com, Stand Mai 2014
` SceneTap: Wie voll ist meine Lieblingsbar? Wie viele Frauen sind anwesend? Wie ist der
Altersschnitt?
` Bald auch: Wie ist die Stimmung?
50
{06. Mai 2014}
Anwendungsbeispiele außerhalb der Marktforschung
… als „Stimmungsbarometer“ in einer Kunstinstallation
Public Face
Quelle: http://juliusvonbismarck.com/bank/index.php?/projects/stimmungsgasometer/, Stand Mai 2014
` Wie „fühlen“ sich die Menschen in Berlin in diesem Moment?
` Zur Zeit übrigens in Wien zu sehen
51
{06. Mai 2014}
Anwendungsbeispiele außerhalb der Marktforschung
… bei der Mensch-Maschine-Interaktion
Der „humorvolle“
Der
„hum
humor
orvo
volllle“
e R
obot
ob
oter
er b
ei d
er „Ga
Gadg
dget
etSh
Show
ow“
w
Roboter
bei
der
„GadgetShow“
` Können Roboter „menschlicher“ werden?
` Kann ein Computer oder eine Maschine mich besser unterstützen, wenn er meine
Vorlieben kennt?
52
{06. Mai 2014}
Anwendungsbeispiele außerhalb der Marktforschung
… als persönliches Hilfsmittel
Datenbrille (Google Glass)
` In Zukunft: als Hilfsmittel für Autisten oder Sehgeschädigte?
53
VIELEN DANK FÜR
IHRE AUFMERKSAMKEIT!