Supressorvariablen, outliers und schrittweise Regression

Hallihallo,

ich hätte da mal noch ein paar Fragen.

1) zur schrittweisen Regression
- kommt man eigentlich bei forward und backward immer zum gleichen Ergebnis?

2) zur outlier/Leverage
- führen outlier eigentlich immer dazu, dass das R² kleiner wird? Ich hatte mal aufgeschrieben, dass R² größer wird durch outlier. Das kommt mir aber irgendwie nicht logisch vor...
- kann man sich Fälle vorstellen, die leverage oder outlier sind?

3) zu Suppressorvariablen
- einflussreiche Suppressorvariablen haben ja ein signifikantes Beta-Gewicht. Aber das heißt ja auch, dass sie eine signifikante Semipartial- und Partialkorrelation haben. Bei Semipartial- und Partialkorrelation werden ja alle anderen Variablen auspartialisiert auch die bei der die Suppressorvariable den unerwünschten Varianzanteil unterdrückt. Wie kann sie dann alleine einen Einfluss haben? Werden die Semipartial- und Partialkorrelation dann höher als aufgrund der zero-order-Korrelation erwartet und wenn ja warum?
- Es kann ja vorkommen, dass R² größer wird als die Summe der rYj². Ich habe mich gefragt wie man das anhand der Formel für R (Folie 13) erklären kann. Das Vorzeichen des Beta-gewichts der Supressorvariable dreht sich ja gegenüber der zero-order Korrelation um und diese Variable müsste das R² dann ja kleiner machen (wenn auch nicht viel, da die zero-order Korrelation der Supressorvariable mit dem Kriterium ja klein ist). Wie kann dann das R² trotzdem größer werden? Hat der Prädiktor auf den die Suppressorvariable wirkt dann auch ein größeres Beta-Gewicht (im Extremfall, wenn es kaum Überlappungen mit anderen Prädiktoren gibt, sogar größerer als ihre Korrelation mit dem Kriterium) als ohne die Suppressorvariable?

Wäre toll, wenn mir da jemand weiterhelfen kann.
Weiterhin viel Erfolg beim Lernen :-)

Ups eine Frage vergessen:

4) Ballantine:
Wir gehen hier ja davon aus, dass Y=1. Wann wäre Y denn nicht 1 und was würde das dann inhaltlich bedeuten?

danke :-)

mila schrieb:1) zur schrittweisen Regression
- kommt man eigentlich bei forward und backward immer zum gleichen Ergebnis?

nein nicht unbedingt. normalerweise erwähnt herr wagener das auch. beispiel: wenn wir hohe mulitkollinearität und einen supressoreffekt haben, werden wir die betroffene variable bei einer forward gar nicht mit reinnehmen, weil sie kaum mit dem krit. korreliert, bei backward wird sie a ber wohl trotzdem drin bleiben.

2) zur outlier/Leverage
- führen outlier eigentlich immer dazu, dass das R² kleiner wird? Ich hatte mal aufgeschrieben, dass R² größer wird durch outlier. Das kommt mir aber irgendwie nicht logisch vor...
- kann man sich Fälle vorstellen, die leverage oder outlier sind?

outlier verkleinern das beobachtete R² (weil siedie streuung um die regressionsgrade, also residualvarainz vergrößern)
vorstellung:
leverage liegen eher weit links oder weit rechts abseits der regressionsgraden und haben dort eine hebelwirkung
outliers liegen bezgl. der x-achse eher mittig, aber auch zu weit oben oder unten von der regr.-grade und verringern so die korrelation, ohne die steigung zu ändern.

3) zu Suppressorvariablen
- einflussreiche Suppressorvariablen haben ja ein signifikantes Beta-Gewicht. Aber das heißt ja auch, dass sie eine signifikante Semipartial- und Partialkorrelation haben. Bei Semipartial- und Partialkorrelation werden ja alle anderen Variablen auspartialisiert auch die bei der die Suppressorvariable den unerwünschten Varianzanteil unterdrückt. Wie kann sie dann alleine einen Einfluss haben? Werden die Semipartial- und Partialkorrelation dann höher als aufgrund der zero-order-Korrelation erwartet und wenn ja warum?

ja, die regressionskoeffizienten beta werden betragsmäßig größer als die zero order korrelation, das ist ja grade ein erkenungszeichen von suprressoreffekten.
die semipartialkorr. sollte dann auch höher werden als zuvor, weil ja unerwünschte varianz unterdrückt wird, also solche, die nicht korreliert.
man rechnet sozusagen unsystematische bzw unkorrelierende, bösevarianz raus, um die korrelation zu erhöhen.

- Es kann ja vorkommen, dass R² größer wird als die Summe der rYj². Ich habe mich gefragt wie man das anhand der Formel für R (Folie 13) erklären kann. Das Vorzeichen des Beta-gewichts der Supressorvariable dreht sich ja gegenüber der zero-order Korrelation um und diese Variable müsste das R² dann ja kleiner machen (wenn auch nicht viel, da die zero-order Korrelation der Supressorvariable mit dem Kriterium ja klein ist). Wie kann dann das R² trotzdem größer werden? Hat der Prädiktor auf den die Suppressorvariable wirkt dann auch ein größeres Beta-Gewicht (im Extremfall, wenn es kaum Überlappungen mit anderen Prädiktoren gibt, sogar größerer als ihre Korrelation mit dem Kriterium) als ohne die Suppressorvariable?

ja, ich glaube es hängt mit der sache oben zusammen: das beta wird betragsmäßig größer und deshalb wird R² größer. da sich so viel gleichzeitig ändert, ist es schwer, sich genau zu überlegen, was wo genau passiert (zumal es so komplex ist, dass man ja oft keine allgemeingültigen aussagen machen kann).[/quote]
(ich hoffe das hilft irgendwie,was bessres fällt mir nicht ei ngrad )

4) Ballantine:
Wir gehen hier ja davon aus, dass Y=1. Wann wäre Y denn nicht 1 und was würde das dann inhaltlich bedeuten?

ähm, wir gehen meist von einer standard. varianz aus, d.h. jede variable bekommt fläche=1=varianz der variable. deshalb kann man direkt standardisierte maße wie quadrierte semipartialkorr. oder so daran erkennen.

man könnte das ganz auch unstandard. machen, dann hätte jede variable die fläche ihrer eigenen varianz (genauer: quadratsummen), das ist aber unpraktikabel, ist vllt nur manchmal anschaulich bei der ANOVA
ACHUTNG: die flächen sind immer QUADRIERTE korrelationen, also varianzanteile (genauer: quadratsummen), nicht streuungen oder unquadrierte r !