2. Regressionsanalyse

Galton (1886) untersuchte die Beziehung zwischen der Körpergröße von Eltern und ihren erwachsenen Kindern. Er regressierte die Körpergröße der Kinder auf die Körpergröße der Eltern.

Der Absatz kann auch von Umweltfaktoren wie Wettbewerb, sozio-ökonomischen Einflüssen oder dem Wetter abhängen. Eine weitere Schwierigkeit besteht darin, dass die Werbung selbst ein komplexes Bündel von Faktoren ist, das sich nicht einfach auf Ausgaben reduzieren lässt. Die Wirkung der Werbung hängt auch von ihrer Qualität ab, die schwer zu messen ist, und sie hängt von den eingesetzten Medien ab (z. B. Print, Radio, Fernsehen, Internet). Diese und andere Gründe machen es so schwierig, die Wirkung von Werbung zu messen.

Auf der zu diesem Buch gehörigen Internetseite www.​multivariate.​de stellen wir ergänzendes Material zur Verfügung, um das Verstehen der Methode zu erleichtern und zu vertiefen.

Vgl. Abschn. 2.2.3.3 und 2.2.5.

Bei der Regressionsanalyse kommt es zu dem Problem der Multikollinearität, welches in Abschn. 2.2.5.7 behandelt wird.

In der Statistik spricht man von Assoziation oder Korrelation. Die Begriffe werden oft austauschbar verwendet. Aber es gibt Unterschiede. Assoziation von Variablen bezieht sich auf jede Art von Beziehung zwischen Variablen. Man spricht von einer Assoziation zweier Variablen, wenn die Werte der einen Variablen dazu neigen, auf irgendeine systematische Weise mit den Werten der anderen Variablen aufzutreten. Ein Streudiagramm der Variablen zeigt ein systematisches Muster. Korrelation ist ein spezifischerer Begriff. Er bezieht sich auf Assoziationen in Form eines linearen Trends. Und er ist ein Maß für die Stärke dieser Assoziation. Der Korrelationskoeffizient nach Pearson misst die Stärke eines linearen Trends, d. h. wie nahe die Punkte auf einer geraden Linie liegen. Die Rangkorrelation von Spearman kann auch für nichtlineare Trends verwendet werden.

Diese elementaren Statistiken können leicht mit den Excel-Funktionen MITTELWERT(Matrix) für den Mittelwert, STABW.S(Matrix) für die Standardabweichung in der Stichprobe bzw. STABW.P(Matrix) für die Standardabweichung in der Grundgesamtheit und KORREL(Matrix1; Matrix2) für die Korrelation berechnet werden.

Blalock (1964, S. 51), schreibt: „A large correlation merely means a low degree of scatter … It is the regression coefficients which give us the laws of science.“

Mit dem Optimierungswerkzeug Solver von MS Excel ist es einfach, diese Lösung zu finden, ohne Differentialrechnung oder Kenntnis irgendwelcher Formeln. Man wählt die Zelle, die den Wert von SSR (die Summe unten rechts in Tab. 2.5) enthält, als Zielzelle (Ziel) aus. Die Zellen, die die Parameter a und b enthalten, werden als die veränderbaren Zellen gewählt. Wenn man dann das Ziel minimiert, erhält man die Kleinste-Quadrate-Schätzungen der Parameter innerhalb der veränderbaren Zellen.

Carl Friedrich Gauß (1777–1855) verwendete die Methode 1795 im Alter von nur 18 Jahren zur Berechnung der Umlaufbahnen von Himmelskörpern. Unabhängig davon wurde diese Methode auch von dem französischen Mathematiker Adrien-Marie Legendre (1752–1833) gefunden. G. Udny Yule (1871–1951) wandte sie zuerst auf die Regressionsanalyse an.

Bei der Verwendung von Matrixalgebra zur Berechnung wird der konstante Term als Koeffizient einer fiktiven Variablen behandelt, deren Werte alle gleich 1 sind. Dadurch kann er auf die gleiche Weise wie die anderen Koeffizienten berechnet werden, und die Berechnung wird einfacher.

Dies gilt nur für lineare Modelle und KQ-Schätzung. Das Prinzip der Streuungszerlegung ist auch von zentraler Bedeutung für die Varianzanalyse bzw. ANOVA (vgl. Kap. 3) und für die Diskriminanzanalyse (vgl. Kap. 4).

Dies wird Inferenzstatistik genannt und muss von der deskriptiven Statistik unterschieden werden. Die Inferenzstatistik macht Rückschlüsse und Vorhersagen über eine Population auf der Grundlage einer aus der untersuchten Population gezogenen Stichprobe.

In Abschn. 1.​3 wird kurz auf Grundlagen des statistischen Testens eingegangen.

Für einen einfachen Korrelationskoeffizienten r erhalten wir: \(F_{emp} = \frac{{r^{2} }}{{(1 - r^{2} )/(N - 2)}}\), da J = 1.

Mit Excel können wir den p-Wert berechnen mit der Funktion F.VERT.RE(\(F_{emp}\);df1;df2). Wir erhalten: F.VERT.RE(31,50;3; 8) = 0,00009 oder 0,009 %.

Der Leser sollte sich bewusst sein, dass auch andere Werte für α möglich sind. α = 5 % ist eine Art „Gold“-Standard in der Statistik, der auf Sir R. A. Fisher (1890 – 1962) zurückgeht, welcher auch die F-Verteilung geschaffen hat. Der Anwender muss aber auch die Folgen (Kosten) einer Fehlentscheidung bedenken.

Weitere Kriterien, die zur Modellbewertung und -auswahl entwickelt wurden, sind das Akaike Information Criterion (AIC) und das Bayesian Information Criterion (BIC). Siehe z. B. Agresti (2013, S. 212); Greene (2012, S. 212); Hastie et al. (2011, S. 219–257).

In Abschn. 1.​3 wird auf die Grundlagen des statistischen Testens eingegangen.

Mit Excel können wir den kritischen Wert \(t_{\alpha /2}\) für einen zweiseitigen t-Test berechnen, indem wir die Funktion T.INV.2S(α;df) verwenden. Wir erhalten: T.INV.2S(0,05;8) = 2,306.

Mit Excel können wir den kritischen Wert \(t_{\alpha }\) für einen einseitigen t-Test mit der Funktion T.INV(1 – α;df) berechnen. Wir erhalten: T.INV(0,95;8) = 1,860.

Mit Excel können wir den p-Wert für den rechtsseitigen Test durch die Funktion T.VERT.RE(temp;df) berechnen. Für die Variable Werbung erhalten wir: T.VERT.RE(5,89;8) = 0,00018 oder 0,018 %.

Vgl. z. B. Kmenta (1997, S. 392); Fox (2008, S. 105); Greene (2012, S. 92); Wooldridge (2016, S. 79 ff.); Gelman und Hill (2018, S. 45). Zwischen den Formulierungen der verschiedenen Autoren finden sich leichte Unterschiede.

Dies ergibt sich aus dem Gauß-Markov-Theorem. Siehe z. B. Fox (2008, S. 103); Kmenta (1997, S. 216).

Der zentrale Grenzwertsatz spielt in der statistischen Theorie eine wichtige Rolle. Es besagt, dass die Summe oder der Mittelwert von n unabhängigen Zufallsvariablen zu einer Normalverteilung tendiert, wenn n ausreichend groß ist, auch wenn die ursprünglichen Variablen selbst nicht normalverteilt sind. Dies ist der Grund dafür, dass die Normalverteilung für viele Phänomene angenommen werden kann.

Anscombe und Tukey (1963) demonstrierten die Leistungsfähigkeit grafischer Techniken zur Datenanalyse.

In einem Experiment verändert der Anwender aktiv die unabhängige Variable X und beobachtet Veränderungen der abhängigen Variable Y. Und er versucht, andere Einflüsse auf Y so weit wie möglich fernzuhalten. Für die Gestaltung von Experimenten siehe z. B. Campbell und Stanley (1966); Green et al. (1988).

Die Schweiz war der Spitzenreiter beim Schokoladenkonsum und bei der Anzahl der Nobelpreisträger. Siehe Messerli (2012).

Zur kausalen Inferenz in der Regression siehe Freedman (2012); Pearl und Mackenzie (2018, S. 72). Probleme wie diese sind Themen der Pfadanalyse, die ursprünglich von Sewall Wright (1889–1988) entwickelt wurde, und der Strukturgleichungsmodellierung (Structural Equation Modeling, SEM), vgl. z. B. Kline (2016); Hair et al. (2014); Weiber und Sarstedt (2021).

Einen Mediator mit einem Confounder zu verwechseln, ist eine der tödlichsten Sünden bei der kausalen Schlussfolgerung (Pearl und Mackenzie 2018, S. 276).

Der Ausdruck geht auf Francis Galton (1886) zurück, der den Effekt „regression towards mediocrity“ nannte. Galton interpretierte ihn fälschlicherweise als kausalen Effekt bei der menschlichen Vererbung. Es ist eine Ironie des Schicksals, dass die erste und wichtigste Methode der multivariaten Datenanalyse ihren Namen von etwas erhielt, das das Gegenteil dessen bedeutet, was die Regressionsanalyse bewirken soll. Vgl. Kahneman (2011, S. 175 ff.); Pearl und Mackenzie (2018, S. 53 ff.).

Vgl. Freedman et al. (2007, S. 169). In der ökonometrischen Analyse wird dieser Effekt als Kleinste-Quadrate-Abschwächung (attenuation bias) bezeichnet. Vgl. z. B. Kmenta (1997, S. 346); Greene (2012, S. 280); Wooldridge (2016, S. 306).

In der Psychologie wurden, beginnend mit Charles Spearman (1904), große Anstrengungen unternommen, um die Zuverlässigkeit von Messmethoden empirisch zu messen und daraus Korrekturen für den Regressionseffekt (attenuation bias) abzuleiten. Vgl. z. B. Hair et al. (2014, S. 96); Charles (2005).

Einen Überblick über diese und andere Tests gibt Kmenta (1997, S. 292); Maddala und Lahiri (2009, S. 214).

Aus einer Durbin-Watson-Tabelle würden wir die Werte d_L = 0,97 und d_U = 1,33 und damit 1,33 < DW < 2,67 erhalten (keine Autokorrelation).

Wenn die Fehler normalverteilt sind, dann sind auch die y-Werte, die die Fehler als additive Elemente enthalten, normalverteilt. Und da die Kleinste-Quadrate-Schätzer Linearkombinationen der y-Werte bilden, sind auch die Parameterschätzungen normalverteilt.

Numerische Signifikanztests der Normalität sind der Kolmogorov-Smirnov-Test und der Shapiro-Wilk-Test.

Die Matrix X’X wird singulär und kann nicht mehr invertiert werden.

Numerisch lassen sich diese Flächen durch die Summe ihrer Quadrate ausdrücken: \(SS_{Y} = \sum {\left( {y_{k} - \overline{y}} \right)}^{2}\) und \(SS_{{X_{j} }} = \sum {\left( {x_{jk} - \overline{x}_{j} } \right)}^{2}\).

Siehe Belsley et al. (1980, S. 93).

Sehr kleine Toleranzwerte können zu Berechnungsproblemen führen. Daher lässt SPSS standardmäßig keine Variablen mit T_j < 0,0001 in das Modell einfließen.

Eine weitere Methode, der Multikollinearität zu begegnen, die allerdings den Rahmen dieses Textes sprengt, ist die Ridge-Regression. Mit dieser Methode nimmt man eine kleine Erhöhung der Verzerrung der Schätzer gegen eine große Reduzierung der Varianz in Kauf. Siehe Fox (2008, S. 325); Kmenta (1997, S. 440); Belsley et al. (1980, S. 219).

Ausgezeichnete Behandlungen dieses Themas finden sich in Belsley et al. (1980); Fox (2008, S. 246). SPSS liefert zahlreiche Statistiken.

Dies kann anders sein, wenn die Anzahl der Variablen groß ist. In diesem Fall kann die Erkennung von multivariaten Ausreißern durch Scatterplots schwierig sein. Siehe dazu Belsley et al. (1980, S. 17).

Mit Excel können wir berechnen: p(abs(z) ≥ 1,59) = 2*(1-NORM.S.VERT(1,59;1)) = 0,112.

Hut-Werte sind die Diagonalelemente der sog. „Hut-Matrix“ (hat matrix) H, die bei der rechnerischen Durchführung der multiplen Regressionsanalyse mittels Matrix-Algebra verwendet wird.

Ein modifiziertes Maß für diesen Abstand ist die zentrierte Hebelwirkung \(h^{\prime}_{i} = h_{i} - \frac{J + 1}{N}\) mit \(-1 \le h^{\prime}_{i} \le 1\).

Durch die Verwendung von s(−i) anstelle des Standardfehlers s werden der Zähler und der Nenner in der Formel für die studentisierten gelöschten Residuen stochastisch unabhängig. Siehe Belsley et al. 1980, S. 14.

Siehe Fox 2008, S. 246; Belsley et al. 1980, S. 20.

Mit Excel können wir berechnen: p(abs(t) ≥ 2.46) = T.VERT.2S(2,46;9) = 0,036.

Fehlende Werte sind ein häufiges und leider unvermeidbares Problem bei der Durchführung von Umfragen (z. B. weil Personen die Frage nicht beantworten können oder wollen, oder aufgrund von Fehlern des Interviewers). Der Umgang mit fehlenden Werten in empirischen Studien wird in Abschn. 1.​5.​2 behandelt.

Zur Auffrischung der Grundlagen zum statistischen Testen, bietet Abschn. 1.​3 eine Zusammenfassung der grundlegenden Aspekte.

Seit Albert Einstein (1879–1955) wissen wir zwar, dass dies nicht ganz stimmt. Die Relativitätstheorie sagt uns, dass sich die Zeit mit zunehmender Geschwindigkeit verlangsamt und bei Lichtgeschwindigkeit sogar zum Stillstand kommt. Aber für unsere Probleme können wir dies vernachlässigen.