UlrikaAlmBergvall_In..

2010-09-04
Inlärning
•Icke-associativ inlärning
•Habituering
•Sensitisering
•Prägling
g g
•Associativ inlärning
•Klassisk betingning
•Operant betingning
Orienteringskurs HT 2010
Ulrika Alm Bergvall
Habituering
Sensitisering
• Utsläckning av en medfödd respons
– Respons av återkommande stimulus
– Respons av “ingen konsekvens”
– Stimulusspecifikt
•Funktionen av habituering är att
kunna skilja mellan nya händelser
och välkända händelser och bete
sig på ett för djuret lämpligt sätt.
Prägling
•Irreversibelt
•i alla fall oftast
• Man tolkar stimuli starkare
än vad det är
• Olika typer av stimulus
• Reaktion: fly från fara, äta
Klassisk betingning
•Beskrivet av Konrad Lorenz
•Sensitiv period
• Ökad känslighet för ett
specifikt stimulus
• Moder – avkomma
Stimulus - Stimulus
– Precociala
(borymmare)
• Hjortdjur, höns etc.
• Sexuell prägling
– Arttillhörighet
– Undvika inavel
Ivan Pavlov
1849 - 1936
1
2010-09-04
Klassisk betingning
Klassisk betingning
Före inlärningen
Okonditionerat
stimulus
(mat)
Okonditionerat
respons
(salivering)
Under inlärningen
Konditionerat
stimulus
(klocka)
Okonditionerat
stimulus
(mat)
Okonditionerat
respons
(salivering)
Efter inlärningen
Konditionerat
stimulus
(klocka)
Konditionerat
respons
(salivering)
• Exitatorisk inlärning
– Signalerar US
– Ljus + mat
• Inhibitorisk inlärning
– Signalerar inte-US
– Ljud betyder “inte elchock”
Rescorla – Wagner modellen
Rescorla – Wagnermodellen
• Upprepning av CS i
samband med US
resulterar i en
gradvis ökning av
styrkan av kopplingen
mellan CS och US
• Detta ger testbara
prediktioner
Inlärning (betingning) är en
förändring i styrka av associationen
m ll n klockan
mellan
kl k n och
hm
maten.
t n
Storleken på förändringen beror på
hur lätt CS märks (hur starkt) samt
på styrkan av US (hur viktigt).
Rescorla – Wagnermodellen
Rescorla – Wagner
modellen genererar en negativt
accelerad inlärningskurva
Δ V = förändring av associationens styrka
V = associativ styrka av CS-US
λ = maximal association mellan stimuli S-S
α = associabilitet (magnitud) av CS (0-1)
(överaskning, salience, intensitet)
λ
Assosiationens sty
yrka (V)
Δ V = α (λ-V)
λ-V
ΔV
ΔV
ΔV = α (λ-V)
ΔV
0
1
2
3
4
5
6
7
8
9
10
11
12
13
Presentationer
2
2010-09-04
10
9
8
7
6
5
4
3
2
1
0
Stort vs. litet CS
λ
1
2
3
4
5 6 7 8 9
Presentationer
10 11 12
Associationens sty
yrka
Associationens sty
yrka
Stort vs. litet US
10
9
8
7
6
5
4
3
2
1
0
α
1
S-S inlärning
• Serial conditioning
• Sensory preconditioning
• Second order conditioning
Sensory preconditioning
Träning: Ljus – Ton
Ton – elchock
Test:
I detta fall är det två
”inte så viktiga” stimulus
Ljus ?
• Ljus aktiverar minnet av tonen, som i sin
tur aktiverar minnet av elchocken och leder
till en aversionsreaktion, CR.
2
3
4
5 6 7 8 9 10 11 12
Presentationer
Serial conditioning
Träning: Ljus – Ton - Mat
Test: Ljus ?
•Närvaron av det första elementet ger
djuret en föraning om stimulus två och
djuret reagerar därför som om stimulus
två vore närvarande.
Second order conditioning
Träning: Ton – Elchock
Ljus – Ton
Test:
Ljus ?
Nu är tonen ”viktig” från början...
Det mest effektiva sättet att lära in S-S
3
2010-09-04
Ljus
Ljud
Mat
1.
(blocking)
?
2.
Blockering
Ljud
Ljus
Mat
• En association blockerar uppkomsten
av en annan association.
• Det nya stimulit gav ingen ny
information, förutsade inte något.
I vilket fall lär sig hunden snabbast att associera Ljus med Mat?
Generalisering:
Träning till ett stimulus ger en utvidgad
respons till närliggande stimulus
Instinctive drift
Diskriminering:
Processen att reagera olika på två stimuli
eftersom de ger olika effekter
Operant betingning går över i Klassisk betingning
Breeland & Breeland 1961 The Misbehaviour of Organisms
(som svar på Skinners The Behaviour of organisms)
Operant betingning
Stimulus - Respons
• Instrumentell
betingning, Trial and
error learning
• Djuret
Dj
t lär
lä sig
i förknippa
fö k i
och modifiera sitt
beteende beroende på
dess konsekvens
• Konsekvenserna styr
beteendets
utförandegrad
Operant betingning
Thorndikes pussel-box för katter
4
2010-09-04
Operant betingning
En händelse som ökar sannolikheten för
att ett visst beteende skall utföras kallas
för förstärkning (reinforcer).
Vad som fungerar som förstärkning beror
på
å situationen
sit ti
Positiv bestraffning
• Responsen ger aversion
mot konsekvensen
• Minskning av visat
beteende
Omission training
(”uteblivande-träning”)
• Responsen stoppar
eller förebygger
önskvärd konsekvens
• Minskning av visat
beteende
Positiv förstärkning
• Responsen ger
önskvärd konsekvens
• Ökning av visat
beteende
Negativ förstärkning
• Responsen stoppar
eller förebygger en
icke önskvärd
konsekvens
• Ökning av visat
beteende
Om
förstärkare/bestraffningar
• Det är den upplevda effekten som är viktig
och inte ”intentionen” hos den som delar ut
belöningen/bestraffningen
g
g
• Våra exempel stämmer under ideala
omständigheter...
• Skinner sade: ”Råttan har alltid rätt!”
5
2010-09-04
Förstärkare
• Primär förstärkare
– Medfödd, t.ex. Mat,
vatten eller behov…
• Sekundär förstärkare
– En förstärkare som
parats med en primär
förstärkare
Bestraffningar/Obehag
(Aversives/punishers)
• Berättar inte vad djuret förväntas göra
• Kan välja det ”minst” obehagliga
g och är inte ett
• Kan orsaka stress,, obehag
bra tillstånd att lära sig saker i
• Kan orsaka aversion mot hanteraren, den
som ger bestraffningen
• Skinner: fängelse minskar inte brotten, de
ökar förmågan att undvika fängelse
Catching
• Ett – hitta en sekundär
förstärkare
• Två – belöna det beteende du
vill ha
• Tre – lär djuret att det
endast får belöningen då det
utför beteendet på ditt
kommando
Orsaken till att sekundära
förstärkare fungerar
- Positiv feedback, hjälper djuret
att diskriminera mellan vad det
förväntas göra och ej
- Motverkar effekten av en
tidsförskjutning mellan responsen
och förstärkningen (”bridging”)
- Hög Salience – avviker från
bakgrunden
Shaping
• Djur kan lära sig att utföra
nya och komplexa beteenden
mot att få belöning
• Börja med att belöna det
första lilla steget mot
slutmålet.
• Fortsätt till nästa steg när
75-80% rätt.
Contingency
(osäkerhet)
• Samma mönster för
belöning; om belöningn
kommer ibland i
samband
m
med
m
kommandot och
utförandet av ”spansk
skritt” och ibland utan,
kommer associationen
mellan kommandot och
belöningen minska.
6
2010-09-04
Överskuggning
Rescorla – Wagner
Overshadowing
Δ V = α (λ-V)
λ
Associative strength (V)
• Konditionering till två stimuli kommer
att sluta öka när deras kombinerade
associativa styrka
y
är λ.
• Inget av dessa två stimuli kommer att
ensam kunna nå detta värde. Om de
istället parades med US oberoende av
varandra, skulle de kunna nå λ.
λ-V
ΔV
ΔV
ΔV = α (λ-V)
ΔV
0
1
2
3
4
5
6
7
8
9
10
11
12
13
Trials
Utsläckning
Overshadowing
praktiska konsekvenser
Extinction
• När djuret gör en
association är alla saker
inkluderade i stimulit
• Öka salience (intensiteten,
överraskningen) till det
önskade stimulus så att
det överskuggar de andra
komponenterna!
Session 1
Utsläckning
Session 3
Extinction burst
Ej det samma som att glömma
25
Djuret lär sig att sambandet som en gång
fanns ej längre gäller
15
Lätt att lära den associationen igen
Session 2
20
10
5
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
7
2010-09-04
Belöningsscheman
Partial reinforcement
extinction effect (PREE)
FR- fixed ratio schedule (FR2)
• Alla varaibla schedules leder till lägre
utsläckningshastigheter
– Djuret vet inte när nästa belöning kommer
– Hunden som tigger vid matbordet
– Barnet som skriker efter godis i affären
Råttan trycker två ggr på pedalen för att få en pellets
VR – variable ratio schedule (VR 7)
y
i medeltal
m
7 ggr
gg p
på pedalen
p
för
f att få
f en pellets
p
Råttan trycker
FI – Fixed interval schedule (FI 5 min)
• En belöning med en sannolikhet på 0.7,
ger en bibehållen hög arbetstakt.
Belöningsscheman
Var 5:e minut får råttan en pellets
VI – Variable interval schedule
(VI 7 min)
I medeltal var sjunde minut får råttan en pellets
Partial reinforcement
extinction effect (PREE)
Bäst
Vilar innan nästa jobb
Ju närmare tentan desto mer jobb
• Alla varaibla schedules leder till lägre
utsläckningshastigheter
g
g
– Djuret vet inte när nästa belöning kommer
VR
FR
FI
VI
Respons
300/min
150/min
50/min
– Hunden som tigger vid matbordet
– Barnet som skriker efter godis i affären
• En belöning med en sannolikhet på 0.7,
ger en bibehållen hög arbetstakt.
Time
Lloyd Morgans canon
Vi får aldrig tolka ett beteende
som varande ett resultat
av en högre
hö
psykisk
ki k process
om det kan tolkas vara ett resultat
av en som står lägre
på den psykologiska skalan.
Lloyd Morgan 1904
8