Crowdsourcing Plattform

mail to thomas.walter@unisg.ch
Online Innovationswettbewerbe und
Crowdsourcing
Kritische Betrachtung von Wissenschaft und Praxis
29. Treffen des Regionalen Arbeitskreises Software-Technologien
18.11.2011, 16.00 Uhr, HTWG Konstanz, Raum F007
1
Agenda
Konzept
Kritische Betrachtung
2
“No matter who you are, most of the smartest
people work for someone else.”
Source: Bill Joy, Co-Founder of Sun-Microsystems
Pic: http://fc06.deviantart.net/fs8/i/2005/281/c/7/Evil_Monkey_by_m288.png
3
Ausgangslage: Zahlreiche Crowdsourcing
Platformen haben sich gegründet.
Screenshots from (1st row left – 3rd row right): 99designs, DreamHeels, Atizo, IdeaBounty, Amazon
Mechanical Turk, threatless, InnoCentive, Presans, Dell IdeaStorm, redesignMe, MyStarbucksIdea,
NineSigma, Cisco iPrize, BetaVine, Clickworker.
4
Die Idee hinter Crowdsourcing ist einfach.
Crowdsourcing Konzept:
Crowdsourcing
• Meist 2 oder 3 Parteien
• Zahlreiche Unterformen
• Diverse Themenbereiche
… is the act of companies or institutions
taking an idea- or concept-seeking
process, once performed by employees,
and outsourcing it to an undefined (and
generally large) group of people in the
internet.
Firms
(=seekers)
“ideation
process”
Crowd
(= solvers)
Ideation contest
charge
reward
Crowdsourcing
Plattform
(= host of idea contest)
…represent electronic marketplaces
which offer the crowdsourcing of
brainstorming (ideation processes for
various firms).
Quelle: Terwiesch, C. and Ulrich, K.T. “Innovation Tournaments: Creating and Selecting Exceptional Opportunities,“
Harvard Business Press, Boston, USA, 2009.
Howe, J. “Crowdsourcing: why the power of the crowd is driving the future of business,“ Crown Business Press, New York,
USA, 2008.
5
Crowdsourcing Plattform Typologie
Firmeneigenes Hosting der Platform:
z.B.
mystarbucksidea
Dell Idea Storm
Tschibo Ideas
IBM jams
Lego Mindstorm
Lufthansa Cargo
Google Prizes
Firms
“ideation
process”
Crowd
reward
Crowdsourcing
Plattform
Verkauf von Crowdsourcing-Produkten
z.B.
99 Designs
Cafepress
Threatless
Spreadshird
Dreamheels
Jujups
Createmytattoo
Naked and angry
“ideation
process”
Crowd
charge
Firm
Crowd
reward
Crowdsourcing
Plattform
Crowdsourcing Brockerage Modell
z.B.
InnoCentive
Nine Sigma
Presans
Idea Bounty
Atizo
redesigbme
Amazon Mech. Turk
Clickworker
“ideation
process”
Firms
charge
Crowd
reward
Crowdsourcing
Plattform
Firmeninternes „Crowdsourcing“
z.B.
BMW
Commerzbank
Swarowski
Audi
Intel
Swisscom
BASF
…
Quellen: http://www.hyve.de/innovationresearch/references.php
http://www.hlp.de/site/de/referenzen/alphabetisch/Referenzen_alphabetisch.html
http://www.innovation-community.de/
http://www.openinnovators.net/list-open-innovation-crowdsourcing-examples/
Firm
Crowdsourcing
Plattform
“ideation
process”
Employee
Crowd
reward
6
Typisches DB-Model einer Crowdsourcing
Platform für Ideen.
Quelle MySQL-DB-dump einer Plattform
7
Agenda
Konzept
Kritischer Blick
8
Wie kann die Wissenschaft den Crowdsourcing
Plattformbetreibern oder den Firmen helfen?
Untersuchungsobjekt
Firmen
Crowdsourcing
Plattform
Crowd
Literaturaufarbeitung (Metastudien)
Qualitative
Forschungsansätze
Experteninterviews, State of Practice Analysen
Experimente, Fokusgruppen, Beobachtungen
Design Science (z.B. Methodenentwicklung)
Cases Studies
Umfragen (als Basis)
Quantitative und
Strukturelle
Forschungsansätze
Social Network Analysis
Text Mining
Deskriptive + Analytische Statistik
Ökonometrische Modelle
9
Welche Probleme können adressiert werden?
Welche methodischen Ansätze kann man nutzen?
Untersuchungsobjekt
Qualitative
Forschungsansätze
Firmen
Crowdsourcing
Plattform
Crowd
Problem: Themenverständnis
Ansatz: Literaturanalyse
Problem: Crowd- und Marktverständnis
Ansatz: Ökonometrische Modelle
Quantitative und
Strukturelle
Forschungsansätze
Problem: Effizientes Plattformdesign
Ansatz: Analytische Statistik
Problem: Ideenqualität messen
Ansatz: Text Mining
Problem: Crowdverhalten
Ansatz: SNA
Notiz: Auf die Beispiele wird im Folgenden einzeln eingegangen.
10
Problem: Themenverständnis
Ansatz: Literaturanalyse
Problemstatement:
„Das kommt mir jetzt alles doch sehr bekannt vor. In den 80er
Jahren hatten wir ja schon Electronic Brainstorming Systeme,
es gab Open Source, dann Mass Customization, Lead User,
Open Innovation, und jetzt Crowdsourcing. Gibt‘s da jetzt
grosse Unterschiede?“
11
Problem: Themenverständnis
Ansatz: Literaturanalyse
Definition
of the
scope
• What is
crowdsourcing?
• Related
terms?
Conceptualisation
of the
scope
• Overview
• Concept
mapping
Literature
Search
Literature
Analysis
• Journal• Database• Keyword-
• Statistics
• Citation
Networks
Definition
of a
Agenda
• Proposal
• Timeline
and/ or
• Backward
• Forward- search
• Concept
Matrix
Quelle: Webster, J., & Watson, R. T. (2002). Analyzing the past to prepare for the future : Writing a
literature review. MIS Quarterly, 26(2), xiii-xxiii.
12
Crowdsourcing ist nicht wirklich was neues.
Konzepte sind stark verwand.
Information
Systems
are not necessarily aligned with
user gen.
innovation
lead user
method
Systematization of
are technically based on
create
innovation
tournament
have less
market focus than
2-sided
markets
sub-process
can be
implemented
with
outside-in
processes
is similar to
crowdsourcing
idea contest
which address/
include/ price
seeking
companies
solver
crowds
can be aggregated to
user innov.
communities
all lead to
which are
open
innovation
can
electr.
market for
ideas
are
similar
user centric
innovation
are
similar
customer cocreation
are phenomena which
can be observed in
swarm
intelligence
are
similar
collective
intelligence
are
similar
wisdom of
crowds
Quelle: Novak, J. D., & Cañas, A. J. (2008). The Theory Underlying Concept Maps and How to Construct and Use
Them, Technical Report IHMC CmapTools, Rev 01-2008, (pp. 1-36). Retrieved from
http://cmap.ihmc.us/Publications/ ResearchPapers/TheoryUnderlyingConceptMaps.pdf.
13
Aber: Das Zitationsnetzwerk zeigt keinen
erkennbaren Ursprung von Crowdsourcing
Visualisierung der Backward
Search auf Basis eines
Literatur-Stocks von 120
wissenschaftlichen Beiträgen
und deren Zitationen (n=2957).
• Extrem niedrige NetzwerkDichte
• Fast keine gemeinsame Basis
In anderen Worten:
• “Jeder zitiert was anderes.”
• “Jeder erfindet‘s laufend neu.”
• Bsp. Querzitationen (blau)
• Bsp. Einzelzitationen (orange)
Quelle: Scott, J. (2000). Social Network Analysis: A handbook (p. 208). London: Sage Publications.
Wassermann, S., & Faust, K. (1994). Social Network Analysis: Methods and Applications (p. 825). New York:
Camebridge University Press.
14
Problem: Crowd- und Marktverständnis
Ansatz: Ökonometrische Modelle
Problemstatement:
„Ich habe ein Henne Ei Problem. Ich brauche eine grosse
Crowd auf meiner Plattform, dass die Firmen kommen, aber
die Crowd kommt nur auf Plattformen wo die Firmen schon
sind. Soll ich die Preise für Firmen senken, oder mein
Marketing erhöhen um Crowd und Firmen anzuwerben?
15
Problem: Crowd- und Marktverständnis
Ansatz: Ökonometrische Modelle
Customer
group A
direct
network
effects
(e.g. users)
access
charge
cross-sided
network
effects
internalize
Customer
group B
(developers)
access
charge
direct
network
effects
Platform
Bild auf Basis von G.G. Parker and M.W. Van Alstyne, “Two-Sided Network Effects: A Theory of Information
Product Design,” Management Science, vol. 51, 2005, pp. 1494-1504.
And: http://upload.wikimedia.org/wikipedia/en/5/54/2sidedmarketstandalone.png
16
Crowdsourcing Plattformen sind vom Prinzip
zweiseitige Märke -> Vorsicht beim Pricing
Paneldaten der Aktivitäten einer
Crowdsourcing Plattform
(Nutzerzuwächse, Aufträge von
Firmen, über 15 Monate (n=501)
zeigen die einen zweiseitigen
Markt.
Anzahl Crowd
Anzahl Firmen
Werbeausgaben
Rewards
1
0,9
0,8
0,7
• Starke direkte und indirekte
Netzwerkeffekte auf Crowdseite
0,6
• Indirekte Netzwerkeffekte auf
Firmenseite
0,4
0,5
0,3
0,2
• Die Netzwerkeffekte wirken stärker
als Marketing-Effekte der Plattform
0,1
0
Wachstum Crowdseite:
Wachstum Firmenseite:
17
Problem: Effizientes Plattformdesign
Ansatz: Analytische Statistik
Problemstatement:
„Wie soll ich denn nun meinen Contest konzipieren? Bringt
das was, wenn ich mehr Geld biete? Welche Parameter habe
ich denn noch an denen ich schrauben kann?“
18
Problem: Effizientes Plattformdesign
Ansatz: Analytische Statistik
Firms
(=seekers)
brandstrength
Crowd
(= solvers)
answer
type
reward
Crowdsourcing Platform
task description
contest duration
specificity
measurable
outcome
amount of ideas
idea quality
platform maturity
Quelle: Thomas P Walter, Andrea Back (2011) Towards Measuring Crowdsourcing Success: An Empirical Study
on Effects of External Factors in Online Idea Contest, 1-12. In The 6th Mediterranean Conference on Information
Systems.Download PDF
19
Man kann sich Ideen kaufen.
Aber: Es ist schwer Qualität nachzuweisen!
Regressionsmodell (OLS) auf
Basis von abgeschlossenen
Ideenwettbewerben (n=74
Wettbewerbe, 25.730 Ideen,
83.245 Bewertungen).
Platformdesign -> Anzahl der Ideen
reward
brand-strength
duration
amount of ideas
• Klare, starke Effekte der
Designelemente auf die Anzahl
eingereichter Ideen.
• Keine (sinnvollen) Effekte auf die
durchschnittliche Ideenqualität.
specificity
market-maturity
Platformdesign -> Qualität der Ideen
duration
• Folgefrage: Wie messe ich die
Qualität denn überhaupt?
idea quality
answer-type
market-maturity
Outcomebasic (Amount, quality) = β0 + β1(Reward) + β2(Duration) + β3(Description Length) + β4(Specificity) + β5(Task Type) +
β6(Market Maturity) + β7(Brand Strength) + ξ
Outcomeextended (Amount, quality) = β0 + β3(Description Length) + β6(Market Maturity) +β8(Reward*Specificity) +
β9(Reward*Brand-Strength) + β10(Task- Type*Duration)+ξ
20
Problem: Ideenqualität messen
Ansatz: Text Mining
Problemstatement:
„Jetzt hab ich den Ideenwettbewerb durchgeführt und viel zu
viele Antworten erhalten. Wer gewinnt das Preisgeld? Soll ich
die denn jetzt alle bewerten? Nach der 50. hab ich doch
vergessen was in der 3. Antwort vorkam. Das kostet mich 2
Wochen.“
21
Problem: Ideenqualität messen
Ansatz: Text Mining
PreProcessing
•
•
•
•
•
Text Mining
Analysetechniken
• Häufigkeitsanalyse
• Textkategorisierung
• Spracherkennung
• Musterekennung
• Sentimentanalyse
Visualisierung
•
•
•
•
•
Tokenization
Stemming
Part-of-speech tagging
Stoppwortbereinigung
Term Document Matrix
Tag Clouds
Tree Maps
Assoziationsgraphen
Theme River
Einfärbungen
Quelle: Feldman, R./ Sanger, J. (2007): The text mining handbook : advanced approaches in analyzing
unstructured data, Cambridge.
Bildbsp. aus Crowdsourcing Plattform
22
Aber: Eine vollautomatisierte Auswertung ist
heute noch Zukunftsmusik.
Erster Erfahrungen mit einem
Beispieldatensatz von in-App
Kundenfeedback (n=1269) zeigt
Potential, aber auch klare Grenzen:
• Viel Pre-Processing notwendig
• Hot Topic Bestimmung mit
Wortfrequenzlisten funktioniert
• Spracherkennung bei >200 Zeichen
hatte 96,3% Genauigkeit
• Spracherkennung bei kürzeren
Texten (< 20 Zeichen) war ungenau
(47,6%)
• Sentimentanalyse zu 68.2% genau
• Ansatz für Ideenwettbewerbe: WortVolantilitäten messen
Quelle: Franke, J et al. (2003): Text mining.: Theoretical aspects and applications, Heidelberg.
Weiss, S. et al. (2010). Fundamentals of Predictive Text Mining, London.
Screenshots aus eigenem Tool
23
Problem: Verstecktes Crowd-Verhalten
Ansatz: Social Network Analysis
Problemstatement:
„Ich habe den verdacht, dass sich die Crowd gegenseitig
kopiert. Ausserdem gibt’s da welche die immer posten, egal
ob sie was beizutragen haben. Das kommt mir vor wie
Gruppenabsprachen.“
24
Problem: Verstecktes Crowd-Verhalten
Ansatz: Social Network Analysis
Die soziale Netzwerkanalyse ist eine
Methode der empirischen
Sozialforschung zur Erfassung und
Analyse sozialer Beziehungen und sozialer
Netzwerke.
Die Anwender einer Crowdsourcing Plattform
erzeugen zahlreiche Soziale Netwerke, z.B.
durch:
• Kontakte/ Freunde (kennt)
• Wettbewerbsteilnahmen (war in einem
Wettbewerb mit)
• Kommentare (hat die Idee von …
kommentiert)
• Ratings (Hat die Idee von … mit …
bewertet)
Quelle: Wassermann, S., & Faust, K. (1994). Social Network Analysis: Methods and Applications (p. 825). New
York: Camebridge University Press.
Beispielbild aus einer Crowdsourcing Plattform
25
Aber: Das Verhalten wird stark vom Plattformdesign
und durch Reward-Strukturen verfälscht.
Ein erster Test mit Solvern eines
Ideenwettbewerbs (n =281) zeigte dass
die am besten vernetzten (5% mit den
meisten Freunden im Wettbewerb)
häufiger prämiert wurden.
• Allerdings haben die besser Vernetzten
auch eine deutlich höhere
Ideenfrequenz (bis zu 30 Ideen pro
Wettbewerb) als die Geringvernetzten.
• Die Anzahl der Freunde im Wettbewerb
hatte keine signifikanten Auswirkungen
auf die Höhe der Prämien.
• Es gibt wohl Power-User die eine
Hamster-Strategie verfolgen,
gleichzeitig gehen Einzelideen oft
unter.
Quelle: Wassermann, S., & Faust, K. (1994). Social Network Analysis: Methods and Applications (p. 825). New
York: Camebridge University Press.
26
Fazit.
Aus Sicht der Praxis:
• Crowdsourcing hat Potential, aber bitte nicht überbewerten.
• Konsolidierung der Plattformen zu erwarten.
• Internalisierung der Platformtechnologien (für internes Ideenmanagement/
Vorschlagswesen hat grösseres Potential).
• Nicht zu vergleichende Plattform-Qualität und Ansprüche (z.B. InnoCentive vs.
Brainstorming Plattformen) fordert Task-Technology Fit.
Aus Sicht der Wissenschaft:
• Man kann einiges auswerten.
• Viele, viele Baustellen.
• Bisher traut sich keiner an den „Nachweis“, dass bei Crowdsourcing nur
unterdurchschnittliche Ideen herauskommen.
• Wichtige Voraussetzung sind konsistente Plattformdaten und genaue
Problembeschreibung.
27
Quellen
Backups für diesen Vortrag gerne auf Anfrage,
thomas.walter@unisg.ch
28
Thomas Walter.
Thomas is a Research Assistant and Doctoral Candidate at Institute of Information
Management, University of St. Gallen. His research concerns with the economics of
crowdsourcing and mobile business solutions. Before joining the institute he worked
as an IT-consultant for Lufthansa Systems in Basel, Lufthansa AG in Frankfurt and
received a masters degree in mechanical engineering and economics from the
Technical Universities of Darmstadt and Eindhoven.
Institute of Information Management
University of St Gallen
Müller Friedberg Strasse 8
9000 St. Gallen, Switzerland
Phone: +41 (0)71 224 2791
Fax: +41 (0)71 224 2716
www.about.me/thomas_walter
29