LS 04 Regression zwischen Zeitreihen, ARMA-Modell

MSc Banking & Finance
Kurs 9.3: Forschungsmethoden II
Zeitreihenanalyse
Lernsequenz 04: Regression zwischen Zeitreihen / ARMA-Modelle
November 2014
Prof. Dr. Jürg Schwarz
Folie 2
Inhalt
Ziele ___________________________________________________________________________________________________ 5
Regression zwischen Zeitreihen ____________________________________________________________________________ 6
Modellierung von ARMA(p,q)-Prozessen ____________________________________________________________________ 23
Beispiel zur Modellbildung________________________________________________________________________________ 39
Folie 3
Inhaltsverzeichnis
Ziele ___________________________________________________________________________________________________ 5
Ziele der Lernsequenz 04 ............................................................................................................................................................................................................ 5
Regression zwischen Zeitreihen ____________________________________________________________________________ 6
Regressionsmodell für Zeitreihen ...........................................................................................................................................................................6
Beispiel Prognos / Bundesamt für Energie.................................................................................................................................................................................. 7
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen ................................................................................................................ 8
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen ................................................................................................................ 9
Autokorrelierte Residuen ......................................................................................................................................................................................10
Aufdecken von Autokorrelation.................................................................................................................................................................................................. 11
Massnahmen ............................................................................................................................................................................................................................. 11
Beispiel mit simulierten Daten ................................................................................................................................................................................................... 12
Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt) ............................................................................................................ 13
Tests auf Autokorrelation der Fehlerterme............................................................................................................................................................15
Durbin-Watson-Test .................................................................................................................................................................................................................. 15
Durbin-Watson-Test am Beispiel der simulierten Daten ........................................................................................................................................................... 16
Breusch-Godfrey-Test (siehe auch Tests von Box-Pierce und Ljung-Box) .............................................................................................................................. 17
Cochrane-Orcutt-Methode für autokorrelierte Fehlerterme ...................................................................................................................................18
Spezialfall AR(1)-Modell für den Fehler .................................................................................................................................................................................... 18
Hinweise zu EViews .................................................................................................................................................................................................................. 19
Breusch-Godfrey-Test und Cochrane-Orcutt-Methode am Beispiel der Verkehrsdaten........................................................................................................... 20
Folie 4
Modellierung von ARMA(p,q)-Prozessen ____________________________________________________________________ 23
Deutsches BIP zwischen 1970:Q1 und 2008:Q2 ...................................................................................................................................................................... 23
Zum Vergleich: Simulierter ARMA(2,3)-Prozess zwischen 1970:Q1 und 2008:Q2 .................................................................................................................. 24
Eigenschaften von ARMA-Prozessen ...................................................................................................................................................................25
Korrelogramm: Simulierter AR(1)-Prozess ................................................................................................................................................................................ 26
Theoretische ACF und PACF verschiedener ARMA(1,1)-Prozesse ......................................................................................................................................... 29
Theoretische und empirische ACF und PACF eines simulierten AR (2)-Prozesses................................................................................................................. 30
Stationarität eines AR(p)-Prozesses ......................................................................................................................................................................................... 31
Beispiel mit EViews mit drei simulierten AR(2)-Prozessen ....................................................................................................................................................... 32
Invertierbarkeit eines MA(q)-Prozesses .................................................................................................................................................................................... 33
Zusammenfassung: Charakterisierung des ARMA(p,q)-Prozesses.......................................................................................................................................... 34
Phasen der Modellbildung (nach Box-Jenkins 1970 / 1994) .................................................................................................................................35
Anmerkungen zur Modellidentifikation und Modellspezifikation ................................................................................................................................................ 36
Beispiel zur Modellbildung________________________________________________________________________________ 39
Datengrundlage: Deutsches BIP zwischen 1970:Q1 und 2008:Q2 .......................................................................................................................................... 39
Korrelogramm und Ordnung p und q ......................................................................................................................................................................................... 42
Bestimmung der Ordnungen p und q mit Informationskriterien................................................................................................................................................. 43
Schätzung der Modelle .............................................................................................................................................................................................................. 44
"Equation Diagnostics": Wurzeln der charakteristischen Polynome ......................................................................................................................................... 45
"Equation Diagnostics": Vergleich von theoretischem und empirischem Korrelogram ............................................................................................................. 46
Residualanalyse ........................................................................................................................................................................................................................ 47
Schlussmodell und Prognose .................................................................................................................................................................................................... 48
Folie 5
Ziele
Ziele der Lernsequenz 04
Regression zwischen Zeitreihen / ARMA-Modelle (4 Lektionen mit EViews-Anwendung)
◦ Sie kennen das Problem der Autokorrelation bei der Regression zwischen Zeitreihen.
◦ Sie können autokorrelierte Fehlerterme detektieren
◦ Sie können Verfahren anwenden, um autokorrelierte Fehlerterme auszuschalten.
◦ Sie kennen die wesentlichen Eigenschafteen von ARMA(p,q)-Prozessen.
◦ Sie können Korrelogramme beurteilen.
◦ Sie können eine ARMA(p,q)-Modell mit EViews schätzen.
Folie 6
Regression zwischen Zeitreihen
Regressionsmodell für Zeitreihen
Die Zeitreihe Yt werde durch q weitere Zeitreihen X t(1), X t(2), ... X t(q) beeinflusst
Regressionsmodell
Yt = β0 + β1X(t1) + β 2 X(t 2 ) + ... + βq X(t q) + E t
q
= ∑ β j X(t j ) + E t , mit X(t 0 ) = 1 für alle t = 1,..., T
j=0
Beispiel Prognos / Bundesamt für Energie (2008 und 2010)*
Einfluss der Tagestemperatur auf den Fernwärmebedarf der Stadt Bern
Erster Ansatz: Fernwärmet = β0 + β1 ⋅ Mittlere Tagestemperaturt
t = 1,2,...365 Tage im Jahr
*Temperatur- und Strahlungsabhängigkeit des Energieverbrauchs im Wärmemarkt
*www.bfe.admin.ch/themen/00526/00541/00542/02794/index.html?lang=de&dossier_id=02795 (Stand: November 2014)
Folie 7
Beispiel Prognos / Bundesamt für Energie
Tägliche Einspeisung ins Fernwärmenetz, in Abhängigkeit der mittleren Tagestemperatur.
Indexierte Werte (1 = durchschnittliche Tages-Einspeisung)
Folie 8
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen
Erster Ansatz Prognos / Bundesamt für Energie
Fernwärmet = β0 + β1 ⋅ Mittlere Tagestemperaturt
Die mittlere Tagestemperatur wirkt sich nur simultan auf den Wärmeverbrauch aus.
LS 03
Hier: Zeitverschobene Temperaturen wirken sich aus physikalischen Gründen ebenfalls aus.
Zusätzlich Einfluss von Temperatur des Vortages und Vorvortages (zusätzlich: Strahlung)
Vollständiges Modell: Fernwärmet = β0 + β1⋅Tt + β2⋅Tt-1 + β3⋅Tt-2 + β4 ⋅ Strahlungt + ut
Folie 9
Einspeisung ins Fernwärmenetz
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen
:
Standardisierte Parameter
Achtung: x-Achse ist nicht Zeitachse sondern Nummer der Messung
Tägliche Einspeisung ins Fernwärmenetz an Januartagen (2000 bis 2008):
Effektive Einspeisung (blau ) und geschätzte Einspeisung (rot )
Indexierte Werte (1 = durchschnittliche Tages-Einspeisung im Januar)
Folie 10
Autokorrelierte Residuen
Im Gegensatz zu Modellen ohne Zeitreihencharakter haben
Zeitreihenmodelle häufig autokorrelierte Residuen.
Gründe
Lagstruktur der Variablen nicht richtig spezifiziert (Beispiel Fernwärme: Temperatur der Vortage)
Variable bei der Modellbildung nicht berücksichtigt (Beispiel Fernwärme: Strahlung)
◦ Wenn aufeinanderfolgende Werte der fehlenden Variablen korreliert sind, dann sind die
Residuen im Modell, das diese Variable nicht berücksichtigt, korreliert.
Auswirkungen autokorrelierter Residuen
◦ Gewöhnliche OLS-Schätzer bleiben erwartungstreu ( β = β )
Sie haben aber nicht minimale Varianz. Es gibt genauere Schätzer.
◦ Die Standardfehler (s.e.) der Koeffizienten βi werden verzerrt geschätzt.
◦ Dadurch werden t-Tests und Konfidenzintervalle ungenau.
t=
βˆ i
s.e.(βˆ i )
Die Schätzfehler können zu Missspezifikation des Modells führen.
Folie 11
Aufdecken von Autokorrelation
◦ Grafische Residualanalyse (Scatterplot)
◦ Analyse von Autokorrelationsfunktion (AC) und partieller Autokorrelationsfunktion (PAC)
◦ Durbin-Watson (Lag 1) / Breusch-Godfrey (Lag p)
◦ Box-Pierce / Ljung-Box (Lag p) – auch als Portmanteau-Tests bezeichnet
Massnahmen
1. Hinzunahme zusätzlicher, erklärender Variablen
Beispiel: Strahlung im Beispiel Fernwärme, Saisondummys
2. Berücksichtigung der Lagstruktur der erklärenden Variablen
Beispiel: Temperatur der Vortage im Beispiel Fernwärme
3. Generalized Least Squares Estimator (GLS) => Korrektur der Standardfehler
Beispiel: Prais-Winsten-Schätzer
4. Modellierung und Einbezug der korrelierten Fehler als AR(p)-Modell
Beispiel: Cochrane-Orcutt-Verfahren
Anwendung von GLS respektive Einbezug von korrelierten Fehlern erst dann, wenn
- Alle wichtigen Variablen im Modell vorhanden sind.
- Die Lagstruktur der erklärenden Variablen im Modell genügend berücksichtigt wurde.
Folie 12
Beispiel mit simulierten Daten
Ein Regressionsmodell für simulierte Zeitreihen wird geschätzt
y t = β0 + β1x t + β2 x 2t + Et
y t = β0 + 1⋅ x t + 2 ⋅ x 2t + Et
x t = t / 50
t ∈ {1,100}
Et sei ein AR(1)-Prozess <=> Fehlerterme sind forciert autokorreliert, im Gegensatz zu i.i.d.
E t = −0.65 ⋅ E t −1 + u t
Var u t = 0.1
Simulation mit EViews (100 zufällig erzeugte Zeitreihen {yt} t=1,Y,n mit n = 100)
Eine der zufällig erzeugten
Zeitreihen yt
yt
2xt2
xt
Et
Folie 13
Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt)
Beispiel: Koeffizient β1 (Modellwert ≡ 1)
Standardfehler (s.e.) des Koeffizienten β1
.12
1.15
1.10
.10
1.05
.08
1.00
.06
0.95
.04
0.90
0.85
.02
Ohne
Mit
Ohne
Mit
Werte der Schätzungen von 100 zufällig erzeugten Zeitreihen
Folie 14
Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt)
Koeffizient β1
=> Werte sind vergleichbar
Schätzer sind erwartungstreu
Standardfehler => Werte sind deutlich verschieden
Die Berücksichtigung der korrelierten Fehler (Hier: Cochrane-Orcutt)
liefert kleinere Standardfehler (se) (ca. Faktor ½)
Tabelle: Schätzung des Koeffizienten β1 (Modellwert ≡ 1)
Mittelwert aus den 100 zufällig erzeugten Zeitreihen
Mean
Median
Maximum
Minimum
ohne
Kleinste Quadrate
Koeffizient β1
se
1.0010
0.0925
0.9988
0.0920
1.0898
0.1096
0.8941
0.0674
mit
Cochrane-Orcutt
Koeffizient β1
se
0.9915
0.0427
0.9953
0.0427
1.1135
0.0547
0.8683
0.0355
mit/ohne
Koeffizient β1
99.1%
99.6%
102.2%
97.1%
se
46.2%
46.4%
49.9%
52.6%
Folie 15
Tests auf Autokorrelation der Fehlerterme
Durbin-Watson-Test
Modell Et = ρ ⋅ Et-1 + ut
(AR(1)-Prozess der Fehlerterme <=> Autokorrelation)
Nullhypothese H0: ρ = 0, Alternativhypothese HA: ρ ≠ 0
Teststatistik
N
∑ (R
D̂ =
t
− R t −1 )2
t =2
N
∑R
, mit R t = y t − ŷ t Residuum zum Zeitpunkt t
2
t
t =2
Approximativer Zusammenhang zwischen Durbin-Watson-Statistik und Autokorrelation
ˆ ≈ 2(1 − ρˆ )
D
=> Werte schwanken zwischen 0 (R t = R t-1 ) und 4 (R t = -R t-1 )
Werte nahe bei 2 deuten auf Unkorreliertheit der Fehlerterme hin (siehe auch Hackl 2013)
Nachteil
Durbin-Watson testet nur die erste Autokorrelation (p = 1)
Wenn Fehlerterme einem AR(p)-Prozess mit p > 1 folgen, versagt der Test.
Folie 16
Durbin-Watson-Test am Beispiel der simulierten Daten
3.6
Ohne Korrektur: DW ≈ 3.3
=> deutliches Zeichen für autokorrelierte Fehlerterme
3.2
Kritische Grenzen
2.8
Hackl (2013: Seite 490)
Online (Zugriff: November 2014): www.stanford.edu/~clint/bench/dwcrit.htm
n = 100, α = 0.05, k = 3 => dL = 2.29, dH = 2.37
n = 100, a = 0.05, k = 2 => 3.3 signifikant verschieden von 2
2.4
2.0
Mit Korrektur (Cochrane-Orcutt): DW ≈ 2.0
=> keine autokorrelierten Fehlerterme
1.6
Ohne
Mit
Folie 17
Breusch-Godfrey-Test (siehe auch Tests von Box-Pierce und Ljung-Box)
Modell Et = ϕ1⋅Et-1 +...+ ϕp⋅Et-p + ut
(AR(p)-Prozess der Fehlerterme <=> Autokorrelation)
Nullhypothese H0: ϕi = 0, i = 1,...p, Alternativhypothese HA: ϕi ≠ 0 für mindestens ein i
Teststatistik: Bestimmtheitsmasse der Hilfsregression der Residuen aufeinander
Eigenschaften
Breusch-Godfrey-Test ist allgemeiner als Durbin-Watson-Test
Der Wert von p muss vor dem Test bestimmt werden (Korrelogramm)
Anwendung in EViews am Beispiel von einer der zufällig erzeugten Zeitreihen
Im Output View Residual Tests
Serial Correlation LM test... wählen. Hier: p = 2
Nullhypothese
verwerfen
ϕi ≠ 0
Modellwert ≡ -0.65
Modellwert ≡ -0.00
Folie 18
Cochrane-Orcutt-Methode für autokorrelierte Fehlerterme
Spezialfall AR(1)-Modell für den Fehler
Modell für die Fehler: Et = ϕ ⋅ Et-1 + ut, wobei ut weisses Rauschen
Regressionsmodell einer Zeitreihe, beispielsweise: Yt = β0 + β1X t(1) + β2X t(2) + Et
Bilden der Differenz
Yt* = Yt − ϕYt −1 / Modell für Yt und Yt-1 einsetzen
(2)
(2)
= β0 + β1X(1)
+ Et − ϕ(β0 + β1X(1)
t + β2 X t
t −1 + β2 X t −1 + E t −1 )
(1)
(2)
= β0 (1 − ϕ) + β1(X(1)
− ϕX(2)
t − ϕX t −1 ) + β2 (X t
t −1 ) + E t − ϕE t −1
*
0
= β + β1X
*(1)
t
+ β2 X
*(2)
t
wobei gilt E t − ϕE t −1 = ut
+ ut
Wobei gilt
β0* = β0 (1 − ϕ),
(1)
X*(1)
= X(1)
t
t − ϕX t −1,
X*(2)
= X(2)
− ϕX(2)
t
t
t −1
Das transformierte Modell ist frei von Autokorrelation.
Das transformierte Modell erfüllt die Voraussetzungen des allgemeinen Regressionsmodells.
Nachteil: Um das transformierte Modell zu berechnen, muss ϕ bekannt sein.
Folie 19
Hinweise zu EViews
Tests auf Autokorrelation
◦ Durbin-Watson-Test wird standardmässig im Output eines Modells angezeigt
◦ Breusch-Godfrey-Test kann im Output unter
View Residual Diagnostics Serial Correlation LM Test... gewählt werden
HAC-Schätzer für die Varianz (heteroskedasticity and autocorrelation consistent)
◦ Schätzer nach Newey und West (1987) (korrigiert die Varianz der OLS Schätzung) kann bei
der Spezifikation der Gleichung unter Options gewählt werden.
Cochrane-Orcutt-Methode bei Autokorrelation der Fehlerterme
◦ Das Modell für die Fehlerterme muss bekannt sein. Beispielsweise ein AR(1)-Prozess.
◦ Bei der Spezifikation der Regression werden die Lags der Fehlerterme angegeben.
Folie 20
Breusch-Godfrey-Test und Cochrane-Orcutt-Methode am Beispiel der Verkehrsdaten
260,000
240,000
40000
220,000
20000
200,000
0
180,000
Die verbleibende Zeitreihe
("Residual") enthält nur noch
Saisonalität und Restterm.
-20000
-40000
97
98
99
00
Residual
01
02
Actual
03
04
Fitted
EViews: Method Least Squares
Lineare Trendfunktion
Ft = β0 + β1⋅t + ut t ∈ {1,32}
Ft = 207'143.3 + 1133.867 ⋅ t
DW ist ok, aber nur für Lag 1
Folie 21
Breusch-Godfrey-Test mit p = 4
Die Residuen sind autokorreliert mit Lag 2
Cochrane-Orcutt-Modell mit Lag 2
Folie 22
Cochrane-Orcutt-Methode
Dummy-Variablen (gemäss LS 02)
280,000
280,000
260,000
260,000
240,000
220,000
10000
200,000
5000
180,000
240,000
10000
220,000
5000
200,000
0
180,000
0
-5000
-5000
-10000
-10000
1998
1999
2000
Residual
2001
Actual
2002
2003
Fitted
2004
1998
1999
2000
Residual
2001
Actual
2002
2003
Fitted
2004
Folie 23
Modellierung von ARMA(p,q)-Prozessen
Deutsches BIP zwischen 1970:Q1 und 2008:Q2
BIP (Index: 2000 = 100)
120
100
80
60
40
1 97 0
1975
1980
1985
1990
1995
2000
2 005
Bruttoinlandsprodukt der BRD. Preisbereinigte Quartalsdaten. Quelle: www.bundesbank.de
Folie 24
Zum Vergleich: Simulierter ARMA(2,3)-Prozess zwischen 1970:Q1 und 2008:Q2
Yt = 0.7 + 0.6Yt −1 + 0.4Yt −2 + ut + 0.5ut −1 − 0.3ut −2 + 0.1ut −3
70
60
50
40
30
20
10
0
1 970
(Excel-Tool "ARMA(p,q).xls")
1975
1980
1985
1990
1995
2000
2005
Folie 25
Eigenschaften von ARMA-Prozessen
Aus den Eigenschaften von AR(p)- und MA(q)-Prozessen aus LS 03 folgt:
Jeder stationäre AR(p)-Prozess lässt sich als MA(∞)-Prozess schreiben
Jeder invertierbare MA(q)-Prozess lässt sich als AR(∞)-Prozess schreiben
=> Jeder stationäre Prozess lässt sich beliebig genau durch einen ARMA-Prozess annähern.
ARMA(p,q) Prozesse sind in der Regel nicht eindeutig.
Der gleiche Prozess kann mit verschiedenen Kombinationen von p und q dargestellt werden.
Grundsätzlich gilt:
◦ Modellierung mit kleinen p und q vereinfachen die Analyse.
◦ AR-Repräsentation eignet sich besser für die Schätzung, da die OLS Annahmen erfüllt sind.
◦ MA-Darstellung eignet sich besser für die Berechnung von Varianzen und Kovarianzen.
Folie 26
Korrelogramm: Simulierter AR(1)-Prozess
AR(1)-Prozess Yt = 0.3 + 0.6Yt-1 mit und ohne überlagertem, deterministischem Trend 0.1⋅t
Mit Trend
20
16
12
8
4
0
1975
1980
1985
1990
1 99 5
2000
2005
Ohne Trend
2.4
2.0
1.6
1.2
0.8
0.4
0.0
-0.4
-0.8
1975
1980
1985
1990
1995
2000
2005
Folie 27
EViews-Schätzung zum Prozess Yt = 0.3 + 0.6Yt-1 mit und ohne Trend
Mit Trend
Zeitreihe ist nicht stationär (Trend)
Modell nicht OK
Schätzung der Parameter fehlerbehaftet
Ohne Trend
Zeitreihe ist stationär
Modell OK
Schätzung der Parameter OK
Folie 28
ACF
Eigenschaften der AC- und PAC-Funktion von ARMA(p,q)-Prozessen
Φ(L)Yt = ε t
AR(p)-Prozess:
p=q=1
ρk = ϕk
p,q > 1
ρk = ∑ ϕiρk −i
ρk
p=q=1
φ1 = ϕ1
p,q > 1
φkk = 0
Nicht abbrechende, gedämpfte
Exponentialfunktion oder
Sinusfunktion.
ρ1 =
p
i=1
PACF
MA(q)-Prozess:
Yt = Θ(L)ε t
Modell
für k > p
Die Bestimmung des grössten Lags k,
für den alle nachfolgenden partiellen
Autokorrelationen 0 sind, ergibt die
Ordnung des AR(p)-Prozesses
θ
1
<
2
1+ θ
2
∑
=
q −k
i=1
θi θi + k
q
1 + ∑i=1 θi2
ρk = 0 für k > 1
ρk = 0 für k > q
Wurzel des charakteristischen
Polynoms reell => Exponentialfunktion
Wurzeln des charakteristischen
Polynoms komplex => Sinusfunktion
Siehe auch Zusammenstellung für p + q ≤ 2 im Appendix der Practice zu LS 04.
Folie 29
Theoretische ACF und PACF verschiedener ARMA(1,1)-Prozesse
ϕ1 = 0.8
θ1 = 0.3
ϕ1 = 0.3
θ1 = 0.8
ϕ1 = -0.8
θ1 = 0.3
Quelle: Vorlesungsunterlagen der TU Ilmenau
Quelle: (www.tu-ilmenau.de, November 2010 / Stand November 2014 => nicht mehr zugänglich)
Folie 30
Theoretische und empirische ACF und PACF eines simulierten AR (2)-Prozesses
Quelle: Vorlesungsunterlagen der TU Ilmenau
Quelle: (www.tu-ilmenau.de, November 2010 / Stand November 2014 => nicht mehr zugänglich)
Folie 31
Stationarität eines AR(p)-Prozesses
AR(p)-Modell in der Schreibweise mit Lag-Operator
(1 − ϕ1L − ϕ2L2 − ... − ϕpLp )Yt = α + ut
Charakteristisches Polynom
Φ(L ) = (1 − ϕ1L − ϕ2L2 − ... − ϕpLp )
=> Φ(L)Yt = α + ut
Ein AR(p)-Prozess ist genau dann stationär, wenn alle (komplexen) Nullstellen zi des
charakteristischen Polynoms ausserhalb des Einheitskreises (|z| = 1) liegen. |z| > 1.
Daraus folgt für die Kehrwerte (invertet roots): 1/|z| < 1
Beispiel AR(2): Yt = 0.5 ⋅Yt-1 + 0.5 ⋅Yt-2 + Et
=> Φ(L) = (1 – ϕ1L – ϕ2L2) = (1 – 0.5L – 0.5L2)
Nullstellen von Φ(z): 1 – 0.5z – 0.5z2 = 0
=> z1 = 1.0, z2 = -2.0
Da z1 nicht ausserhalb des Einheitskreises liegt, ist Yt nicht stationär.
Folie 32
Beispiel mit EViews mit drei simulierten AR(2)-Prozessen
Yt = 0.5 ⋅Yt-1 + 0.5 ⋅Yt-2 + Et => z1 = 1.0, z2 = -2.0
10
5
0
-5
-10
-15
-20
-25
1970
1975
1980
1985
ARMA1
1990
1995
ARMA2
2000
2005
ARMA3
Die Inverted AR Roots nahe bei 1 deuten
auf den nichtstationären Charakter hin.
Achtung: Die Scatterplots ARMA1 und ARMA3
lassen vermuten, dass es sich um stationäre
Zeitreihen handelt. Das ist aber nicht so!
Folie 33
Invertierbarkeit eines MA(q)-Prozesses
Ein MA(q)-Prozess
Yt = α + ut + θ1ut −1 + θ2ut −2 + ... + θqut −q
ist immer stationär, unabhängig von den Parametern α und θi.
Damit der MA(q)-Prozess in einen AR(∞) überführt werden kann (Invertierung), muss gelten
Ein MA(q)-Prozess ist genau dann invertierbar, wenn alle (komplexen) Nullstellen zi des
charakteristischen Polynoms ausserhalb des Einheitskreises (|z| = 1) liegen. |z| > 1.
Daraus folgt für die Kehrwerte (invertet roots): 1/|z| < 1
Bedeutung der Invertierbarkeit: Eindeutigkeit eines MA(q)-Prozesses
Verschiedene MA(q)-Prozesse können zu identischen ACF und damit auch PACF führen.
Ein Rückschluss von der Autokorrelationsfunktion auf den erzeugenden Prozess ist nur dann
eindeutig möglich, wenn der MA(q)-Prozesse invertierbar ist.
Folie 34
Zusammenfassung: Charakterisierung des ARMA(p,q)-Prozesses
Modell
AR(p)-Prozess
MA(q)-Prozess
ARMA(p,q)-Prozess
Φ(L)Yt = ε t
Yt = Θ(L)ε t
Φ(L )Yt = Θ(L )ε t
Wurzeln zi von
Φ( z ) = 0 : zi > 1
immer stationär
Wurzeln zi von
Φ( z ) = 0 : zi > 1
Wurzeln zi von
Θ( z) = 0 : zi > 1
Wurzeln zi von
Θ( z) = 0 : zi > 1
Bedingung für
Stationarität
Invertierbarkeit immer invertierbar
Eigenschaften
ACF
unendlich: exponentiell endlich: ρk = 0 für k > q
fallend, gedämpfter Sinus
PACF
endlich: φkk = 0 für k > p unendlich: exponentiell Wie MA(q) ab k > p
fallend, gedämpfter Sinus
Wie AR(p) ab k > q
Anmerkung zur Darstellung der Modelle ohne Intercept α:
Durch die Transformation Yt' = Yt - α wird der Intercept α eines ARMA-Prozesses entfernt.
Folie 35
Phasen der Modellbildung (nach Box-Jenkins 1970 / 1994)
Parameter
schätzer nicht
signifikant
Signifikante
Autokorrelationen
Modellidentifikation
und Modellspezifikation
Modellschätzung
(Schätzung der Parameter)
Modelldiagnose
Überprüfung der Zeitreihe auf Stationarität
Bestimmung der Ordnungen p und q
OLS-Schätzung
Maximum-Likelihood Schätzung
Überprüfung, ob Autokorrelation in den
Residuen des geschätzten Modells vorliegt
Modellanwendung
(Deskription, Prognose,
Diagnose, Kontrolle)
Anwendung des spezifizierten Modells
für verschiedene Zwecke
Folie 36
Anmerkungen zur Modellidentifikation und Modellspezifikation
Überprüfung der Zeitreihe auf Stationarität
◦ Inspektion der Zeitreihenplots
◦ Autokorrelationsfunktion und partielle Autokorrelationsfunktion (Korrelogramm)
◦ Unit-Root-Test (mehr in in LS 05)
Bestimmung der Ordnungen p und q
Wie sollen die Ordnungen p und q des anzupassenden ARMA-Modells gewählt werden?
Es gibt 2 Fehlermöglichkeiten:
◦ p oder q werden zu gross gewählt => Overfitting
◦ p oder q werden zu klein gewählt => Underfitting
Sowohl beim Overfitting als auch beim Underfitting ist der ML-Schätzer nicht mehr konsistent.
Korrekte Bestimmung der Ordnungen p und q ist deshalb von Bedeutung.
Prämisse der Box-Jenkins-Modellierung: So wenige Parameter wie möglich benutzen.
Folie 37
Methoden zur Bestimmung der Ordnungen p und q
Visuelle Inspektion der empirischen ACF und PACF (schwierig ...)
◦ ACF: Die Autokorrelationen sollten sich gemäss Theorie wie eine fallende Exponentialfunktion oder eine gedämpfte Sinuswelle verhalten.
Falls dies nicht erfüllt ist, liegt ein komplizierteres Modell vor, wie z.B. ein ARMA-Modell.
◦ PACF: Die Bestimmung des "cut-offs" bei den partiellen Autokorrelationen, d.h. ab welchem
Lag die folgenden partiellen Autokorrelationen 0 sein können, gibt eine mögliche Schätzung
der Ordnung p.
Die Ordnungen p und q werden in der Regel eher überschätzt.
Folie 38
Bestimmung der Ordnungen p und q mit Informationskriterien
Grundidee: Minimierung eines Informationskriteriums
◦ Mit steigender Ordnung von p und q wird die Anpassung des ARMA-Modells besser.
Die geschätzte Varianz der Residuen σ2p,q ist eine Masszahl für die Anpassung des Modells.
Mit steigender Ordnung von p und q nimmt σ2p,q ab.
◦ Als Korrektur gegen das Overfitting, wird das Anpassungsmass σ2p,q um einen Term ergänzt,
der höhere Wahlen von p und q bestraft.
Am meisten benutzte Informationskriterien
◦ AIC (Akaike-Informationskriterium)
AIC(p, q) = log( σˆ p2,q ) + (p + q)
2
T
◦ SIC (Schwarz-Informationskriterium)
SIC(p, q) = log( σˆ p2,q ) + (p + q)
log( T )
T
◦ HQIC (Hannan-Quinn-Informationskriterium)
HQIC(p, q) = log( σˆ p2,q ) + (p + q)
2 log[log( T )]
T
In der Praxis werden p und q so gewählt, dass nur eines der Informationskriterien minimal wird.
Meistens wird das AIC-Kriterium gewählt, obwohl es eher zu Overfitting führt.
Folie 39
Beispiel zur Modellbildung
Datengrundlage: Deutsches BIP zwischen 1970:Q1 und 2008:Q2
BIP (Index: 2000 = 100
120
100
80
60
40
1 97 0
1975
1980
1985
1990
1995
2000
2 005
Bruttoinlandsprodukt der BRD. Preisbereinigte Quartalsdaten. Quelle: www.bundesbank.de
Folie 40
BIP Wachstumsrate (Prozentuale Veränderung gegenüber Vorjahresquartal)
.08
.06
BIP [%]
.04
.02
.00
-.02
-.04
1970
1975
1980
1985
1990
1995
2000
2005
Strukturbrüche?
1973:1 <=> Ölschock 1973
1980:1 <=> Zweite Ölkrise (Revolution im Iran und Iran-Irak-Krieg)
1991:2 <=> Wiedervereinigung 1989
2000:2 <=> Dotcom-Blase
("Deutschland - deine Rezessionen", www.sueddeutsche.de, Mai 2010, Zugriff: November 2014)
Folie 41
Eigenschaften und Vorbereitung für Modellierung
Überprüfung der Zeitreihe auf Stationarität und Saisonalität
◦ Bruttoinlandsprodukt weist offensichtlich einen Trend auf.
◦ Bruttoinlandsprodukt weist offensichtlich ein Saisonmuster auf (Quartalsmuster).
Transformation zu saisonalen Differenzen in Logarithmen
EViews: gdp_log = log(gdp) - log(gdp(-4))
Yt = (1 – L4)log(BIPt)
= log(BIPt) – log(BIPt-4)
Yt = Wachstumsrate gegenüber dem Vorjahresquartal
Entspricht ungefähr prozentualer Veränderung gegenüber Vorjahresquartal
Folie 42
Korrelogramm und Ordnung p und q
ACF: langsam, monoton abklingend
=> AR-Modell
PACF: signifikante Werte bis k = 4
=> AR(4)-Modell
Anmerkung: Allgemein ist die Interpretation eines signifikanten PACF bei k = 4 eher nicht realistisch. Um nicht nur mit dem einfachsten Modell, das heisst AR(1), weiter zu fahren, wird davon
ausgegangen, dass die PACF bei k = 4 signifikant ist.
Folie 43
Bestimmung der Ordnungen p und q mit Informationskriterien
AIC (Akaike-Informationskriterium)
p/q
p=0
p=1
p=2
p=3
p=4
p=5
q=0
-5.8273
-5.8318
-5.8115
-5.8523
-5.9000
q=1
-5.6146
-5.8157
-5.8828
-5.8922
-5.8946
-5.8876
q=2
-5.6517
-5.8121
-5.8855
-5.8878
-5.8978
-5.9218
q=3
-5.9208
-5.9522
-5.9438
-5.9242
-6.0001
-5.9650
q=4
-5.9186
-5.9436
-5.9335
-5.9236
-6.0128
-5.9981
q=3
-5.8405
-5.8514
-5.8223
-5.7818
-5.8366
-5.7802
q=4
-5.8183
-5.8226
-5.7918
-5.7608
-5.8288
-5.7928
=> ARMA(4,4)- oder ARMA(4,3)-Modell
SIC (Schwarz-Informationskriterium)
p/q
p=0
p=1
p=2
p=3
p=4
p=5
q=0
-5.7869
-5.7711
-5.7301
-5.7502
-5.7769
q=1
-5.5744
-5.7552
-5.8018
-5.7905
-5.7720
-5.7439
q=2
-5.5915
-5.7314
-5.7842
-5.7657
-5.7547
-5.7576
=> ARMA(1,3)- oder ARMA(0,3)-Modell
Folie 44
Schätzung der Modelle
ARMA(4,0)-Modell (
AR(4)-Modell)
Varianz der Residuen
σ2 = (0.012754)2 = 0.000162
ARMA(1,3)-Modell
Varianz der Residuen
σ2 = (0.012137)2 = 0.000147
Bessere Anpassung als AR(4)-Modell
Schlussmodell
ARMA(0,3)-Modell (da AR(1) nicht signifikant)
σ2 = (0.012370)2 = 0.000153
Folie 45
"Equation Diagnostics": Wurzeln der charakteristischen Polynome
Die Kehrwerte der Nullstellen (Inverted Roots) der charakteristischen Polynome für AR(p)- und
MA(q)-Prozesse sollten innerhalb des Einheitskreises liegen.
Inverse Roots of AR/MA Polynomial(s)
1.5
1.0
MA roots
0.5
0.0
-0.5
-1.0
-1.5
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
Kehrwerte der Nullstellen des MA-Polynoms innerhalb des Einheitskreises => invertierbar
Folie 46
"Equation Diagnostics": Vergleich von theoretischem und empirischem Korrelogram
Falls das Modell richtig spezifiziert ist, sollten die beiden Kurven "nahe" sein
( "...should be 'close'.")
Autocorrelation
.8
.4
.0
-.4
2
4
6
8
10
Partial autocorrelation
Actual
12
14
16
18
20
Theoretical
Theoretisches und empirisches
Korrelogram liegen nahe und die
Vorzeichen der Autokorrelationen
und partiellen Autokorrelationen
stimmen überein.
.8
=> ARMA(0,3)-Struktur wird bestätigt
.4
.0
-.4
2
4
6
8
Actual
10
12
14
Theoretical
16
18
20
Folie 47
Residualanalyse
Keine signifikanten Autokorrelationen der Residuen bis zum Lag k = 20.
Die Residuen verhalten sich wie Weisses Rauschen.
Folie 48
Schlussmodell und Prognose
Prognoseintervall
.08
.06
.04
.02
.00
-.02
-.04
1970
Prognoseintervall
1975
1980
1985
1990
1995
Intervall für die Modellschätzung
1. Quartal 1971 bis 2. Quartal 2006
Intervall für die Prognose
2. Quartal 2006 bis 2. Quartal 2008
2000
2005