EM-Algorithmus

Huhu

Sorry, dass mir die Fragen so spät kommen! (hab mich vorher leider nicht sooo intensiv mit den Exkursen beschäftigt)

1) Warum genau werden beim EM-Algorithmus Standardfehler tendentiell überschätzt?
Und wie hängt das mit der Unterschätzung des alpha-Fehlers zusammen?

2) Was macht man bei der Markov Chain Monte Carlo Methode (Alternative zu EM)? Oder reicht es mir, zu wissen, dass diese Methode existiert, ohne sie zu verstehen?

Danke schonmal, falls das noch jemand liest und beantwortet

Hey tine,

1) Warum genau werden beim EM-Algorithmus Standardfehler tendentiell überschätzt?
Und wie hängt das mit der Unterschätzung des alpha-Fehlers zusammen?

Habe gerade auf der Folie nachgeschaut - dort steht:
"EM liefert tendenziell Unterschätzungen von Standardfehlern, wodurch bei
Hypothesentests der Fehler I. Art unterschätzt wird."

EM unterschätzt also den Standardfehler. Dadurch wird dein Test auf einem bestimmten alhpa-Niveau (z.B. 0.05) evtl. siginfikant, obwohl er bei korrekten Standardfehler eigentlich nicht signifikant wäre. Dein alpha-Niveau wäre also nur bei korrekt geschätztem Standardfehler 0.05, wenn du ihn unterschätzt, vergrößert du damit die Fehlerwahrscheinlichkeit (z.B. 0.06 [fiktiver Wert]). Da du aber alpha=0.05 annimmst, unterschätzt du also deine Fehlerwahrscheinlichkeit.

2) Was macht man bei der Markov Chain Monte Carlo Methode (Alternative zu EM)? Oder reicht es mir, zu wissen, dass diese Methode existiert, ohne sie zu verstehen?
Sry, keine Ahnung...

LG
Pascal

Hallo,
ich hab zu diesem Thema auch noch eine bzw. ein paar Fragen.

Der zweite Schritt des EM-Algorithmus lautet ja: "(Populations-)parameter (idR Mittelwerte, Varianzen, Kovarianzen) werden aufgrund dieser Daten geschätzt"

Dazu habe ich mehrere Fragen:
1. Was bringt es mir, die Parameter zu schätzen? Habe ich beispielsweise meine fehlenden Daten erstmal durch Mean-Plugging geschätzt und schätze nun anhand aller Daten den Mittelwert, so bleibt dieser ja unverändert. Oder werden in diesem Schritt nur Korrelationen geschätzt? Und wenn ja, was bringt mir das? Bzw. welche Korrelationen schätze ich?

2. sind meine Daten dann also die Werte, die ich habe (die nicht fehlenden) und die geschätzten Werte (fehlenden Werte)?

3. warum werden die Parameter nur geschätzt und nicht berechnet? Wenn ich alle Werte habe, kann ich ja auch richtig rechnen und muss nicht schätzen. Oder heißt es nur geschätzt, da die Ausgangswerte schon geschätzt sind und daher die Parameter sowieso auch nicht komplett richtig sein können, sondern nur geschätzt.


Und dann noch eine allgemeine Frage: Wie kann ich für die fehlenden Werte eine Schätzfunktion anstelle von konkret geschätzten Werten einsetzen?

Und hat Herr Wagener irgendwas zu "direct ML Method" und zu "Markov Monte Carlo" gesagt? Ich hab mir nämlich gar nichts dazu aufgeschrieben...

Ich hoffe, ihr könnt mir helfen!

1) die parameterschätzung wird irgendwie genauer und weicht schon ab. das liegt zum einen daran, dass es über Maximum likelihood gemacht wird (und nicht über kleinste quadrate, d.h. nicht einfach mittelwerte oder streuungen) und außerdem wird ja die "schätzfunktion" eingesetzt. wie genau das aussehen soll weiß ich auch nicht.
geschätzt wird hier soweit ich den EM verstehe, alles mögliche. d.h. sowohl mittelwerte, streuungen, v.a. auch korrelationen, da die uns ja helfen, vernünftige werte einzusetzen.
sorry, genauer weiß ichs auch nicht

2) ja, man macht die neue schätzung anhand des komlettierten datensatzes

3) auch ein einfach berechneter mittelwert ist eine schätzung für den populationsmittelwert, so ist das gemeint: man schätzt (wahre) popul.-parameter

Und dann noch eine allgemeine Frage: Wie kann ich für die fehlenden Werte eine Schätzfunktion anstelle von konkret geschätzten Werten einsetzen?

gute frage, keine ahnung. scheint auf jeden fall gut zu sein

Und hat Herr Wagener irgendwas zu "direct ML Method" und zu "Markov Monte Carlo" gesagt? Ich hab mir nämlich gar nichts dazu aufgeschrieben...

am besten sagt da jemand anderes was dazu.....

daniel

hallo,
ich habe generell ein paar fragen zu dem umgang mir fehlenden werten:

1) beim chi^2 test von little: kann man sagen, dass man die varianz fehlender werte zum mittelwert vergleicht? oder was genau sagt dieser inhaltlich aus?
2) stimmt es, dass sowohl bei allen 3 klassischen ansätzen, als auch bei den 3 neueren (mean plugging, regression substitution...) die streuung und damit die korrelation verändert wird? und wie ist das beim em-algorithmus und der multiplen imputation, hier wird die korrelation doch nicht verändert, oder?
3) herr wagener hat zu den vorteilen des em-algorithmus gesagt, dass er sich nicht unbedingt auf linearmodelle beschränkt, aber doch, wenn man nur mittelwert,streuung und korrelation beachtet.was ist damit gemeint?

liebe grüße
anna

anna_maria schrieb:1) beim chi^2 test von little: kann man sagen, dass man die varianz fehlender werte zum mittelwert vergleicht? oder was genau sagt dieser inhaltlich aus?

steht in den folien: man testet "ob überzufällige unterschiede der variablenmittel in abhäng. von bestimmten mustern fehlender werte existieren"
d.h. ähnlich wie wenn man die missings kodiert mit 0/1 und dann auf anderen variablen einen t-test rechnet: unterscheiden sich andere variablen, wenn wir die missing-klassifikation als gruppe nehmen. bei MCAR dürfte das nicht signifikant werden, bei MAR schon

2) stimmt es, dass sowohl bei allen 3 klassischen ansätzen, als auch bei den 3 neueren (mean plugging, regression substitution...) die streuung und damit die korrelation verändert wird? und wie ist das beim em-algorithmus und der multiplen imputation, hier wird die korrelation doch nicht verändert, oder?

ja, die streuung der werte wird kleiner, damit der standardfehler und deshalb bekommt man eher signifkante ergebnisse. die korrelation wird auch höher, wenn man werte durch regression einsetzt, aber bei den anderen methoden muss das glaub ich nicht zwingend sein. man mus bei der korrelation bedenken, dass sich ja auch die kovarianz ändert, und ich glaube da ist es schwer, allgemein richtige aussagen zu machen.....
deshalb kann ich nicht allgemein sagen, was die korrelation beeinflusst, aber im idealfall wird sie nicht viel größer

3) herr wagener hat zu den vorteilen des em-algorithmus gesagt, dass er sich nicht unbedingt auf linearmodelle beschränkt, aber doch, wenn man nur mittelwert,streuung und korrelation beachtet.was ist damit gemeint?

ich glaube er wollte damit verdeutlichen, dass der EM algorithmus sehr allgemein eingestzt werden kann, über das hinaus, was wir bis jetzt kennen (denn wir kennen ja nur lineare korrelationen).... anscheinend funktioniert EM aber auch mit anderen sachen