ML-Schätzer Lineares Modell < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 17:24 Di 31.03.2009 | | Autor: | grenife |
| Aufgabe | Seien [mm] $Y_1,\ldots,Y_n$ [/mm] Beobachtungen derart, dass für gegebene [mm] $x_1,\ldots,x_n$ [/mm] gilt:
$ [mm] Y_i=\alpha+\beta x_i+Z_i,\ 1\leq i\leq [/mm] n $
wobei [mm] $Z_1,\ldots, Z_n$ [/mm] unabhängige ZVen mit Erwartungswert null und Varianz [mm] $\sigma^2$ [/mm] sind.
Bestimmen Sie die Maximum-Likelihood-Schätze für [mm] $\alpha$ [/mm] und [mm] $\beta$. [/mm] |
Hallo zusammen,
ich frage mich bei dieser Aufgabe ein wenig, wie man ohne Informationen über die Verteilung der [mm] $Z_i$ [/mm] die ML-Schätzer bestimmen soll. Wären sie normalverteilt, wäre es ja das klassische OLS-Modell und die Schätzer ständen in jedem Lehrbuch.
Wäre toll, wenn mir jemand einen Denkanstoß geben könnte.
Viele Grüße und vielen Dank!
Gregor
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 14:05 Mi 01.04.2009 | | Autor: | luis52 |
Moin,
> ich frage mich bei dieser Aufgabe ein wenig, wie man ohne
> Informationen über die Verteilung der [mm]Z_i[/mm] die ML-Schätzer
> bestimmen soll.
Das geht auch nicht. Um den ML-Schaetzer bestimmen zu koennen, brauchst du *irgendeine* Verteilungsannahme. Ich vermute eine schlampige Aufgabenstellung.
vg Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 18:11 Mi 01.04.2009 | | Autor: | grenife |
Hallo nochmal,
die Aufgabe wurde mittlerweile korrigiert, wie erwartet sollen die Störterme [mm] $(0;\sigma^2)$-normalverteilt [/mm] sein.
Hier also mein Lösungsansatz:
Da [mm] $Z_i$ [/mm] normalverteilt ist und die übrigen Größen deterministisch sind, ist [mm] $Y_i$ [/mm] normalverteilt mit [mm] $\mu=\alpha+\beta x_i$ [/mm] und Varianz [mm] $\sigma^2$. [/mm] Der Vektor der Beobachtungswerte [mm] $(Y_i)$ [/mm] ist multivariat normalverteilt mit Erwartungswertvektor [mm] $(\alpha+\beta x_1,\ldots,\alpha+\beta x_n)$ [/mm] und Varianz-Kovarianz-Matrix [mm] $\sigma^2\cdot I_n$.
[/mm]
Die Likelihood für eine Beobachtung ergibt sich dann zu:
[mm] $L(\alpha,\beta|y_i)=f(y_i|\alpha,\beta)=(2\pi\sigma^2)^{-1/2}\exp\left\{-\frac{(y_i-\alpha-\beta x_i)^2}{2\sigma^2}\right\}$
[/mm]
Die Log-Likelihood-Funktion ist dann:
[mm] $\log [/mm] L [mm] (\alpha,\beta|y_i)=-\frac{1}{2}\log(2\pi)-\frac{1}{2}\log(\sigma^2)-\frac{(y_i-\alpha-\beta x_i)^2}{2\sigma^2}$
[/mm]
und für alle Beobachtungen dann
[mm] $\log [/mm] L [mm] (\alpha,\beta|y_1,\ldots,y_n)=\sum_{i=1}^n\left\{-\frac{1}{2}\log(2\pi)-\frac{1}{2}\log(\sigma^2)-\frac{(y_i-\alpha-\beta x_i)^2}{2\sigma^2}\right\}$
[/mm]
ABleitung nach den Parametern liefert:
[mm] $\frac{\partial \log L}{\partial\alpha}=\sum_{i=1}^n\frac{(y_i-\alpha-\beta x_i)}{\sigma^2}$
[/mm]
[mm] $\frac{\partial \log L}{\partial\beta}=\sum_{i=1}^n\frac{(y_i-\alpha-\beta x_i)x_i}{\sigma^2}$
[/mm]
Sind meine Berechnungen soweit richtig? Bin am Zweifeln, da in beiden Normalgleichungen beide Parameter auftauchen. Vielleicht kann mich ja jemand korrigieren.
Vielen Dank und viele Grüße
Gregor
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 16:18 Do 02.04.2009 | | Autor: | luis52 |
Moin,
habe jetzt nicht die Muse, das zu ueberpruefen, aber dem
ersten Eindruck nach ![[ok]](/images/smileys/ok.gif "[ok]") .
vg Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 10:59 Mo 06.04.2009 | | Autor: | grenife |
| Aufgabe | Seien [mm] $\overline{x}=\frac{1}{n}\sum_i^nx_i$, $\overline{X}=\frac{1}{n}\sum_i^nX_i$, $\overline{Y}=\frac{1}{n}\sum_i^nY_i$, $\overline{Z}=\frac{1}{n}\sum_i^nZ_i$, $\hat{\beta}=\frac{\sum_{i=1}^nY_ix_i-n\overline{x}\overline{Y}}{\sum_{i=1}^nx_i^2-n\overline{x}^2}$, \hat{\alpha}=\overline{Y}-\hat{\beta}\overline{x} [/mm] und [mm] $s^2=\frac{1}{n}\sum_i^nx_i^2-\overline{x}^2$.
[/mm]
(i)
Zeigen Sie, dass
[mm] $\hat{\beta}s^2=\frac{1}{n}\sum_1^nx_iY_i-\overline{x}\overline{Y}$
[/mm]
und
[mm] $\hat{\beta}s^2=\beta s^2+\frac{1}{n}\sum_1^nx_iZ_i-\overline{x}\overline{Z}$ [/mm] gilt.
(ii)
Zeigen Sie, dass [mm] $cov(\overline{Y},\hat{\beta})=0$ [/mm] gilt. |
Hallo zusammen,
habe mittlerweile die ML-Schätze bestimmt und hätte noch eine Frage zu einer weiteren Teilaufgabe.
zu (i)
Der linke Ausdruck ergibt:
[mm] $\left(\frac{1}{n}\sum_1^nx_i^2-\overline{x}^2\right)\left(\frac{\sum_{i=1}^nY_ix_i-n\overline{x}\overline{Y}}{\sum_{i=1}^nx_i^2-n\overline{x}^2}\right)$
[/mm]
[mm] $=\left(\frac{1}{n}\sum_1^nx_i^2-\overline{x}^2\right)\left(\frac{\sum_{i=1}^nY_ix_i-n\overline{x}\overline{Y}}{\frac{1}{n}\sum_{i=1}^nx_i^2-\overline{x}^2}\right)=\sum_{i=1}^nY_ix_i-n\overline{x}\overline{Y}=\frac{1}{n}\sum_{i=1}^nY_ix_i-\overline{x}\overline{Y}$
[/mm]
q.e.d.
Bei dem zweiten Teil weiß ich leider nicht, wie ich die Störterme [mm] $Z_i$ [/mm] in die Gleichung mit einbauen kann, vielleicht kann mir ja jemand einen Tipp geben.
zu (ii)
Sieht hier jemand einen einfacheren Weg, als die Kovarianz zu Fuß über $E(XY)-E(X)E(Y)$ auszurechnen?
Vielen Dank und viele Grüße
Gregor
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 16:18 Di 07.04.2009 | | Autor: | wiggle |
Hier meine Lösung:
Du hattest schon herausgefunden, dass
[mm]\hat{\beta}s^2=\frac{1}{n}\sum_1^nx_iY_i-\overline{x}\overline{Y} [/mm]
Der Trick ist, hier einfach für [mm] Y_i [/mm] und [mm] \overline{Y} [/mm] die Formel [mm] {\alpha}+{\beta}*x_i+Z_i [/mm] einzusetzen:
[mm]\hat{\beta}s^2=\frac{1}{n}\sum_1^n(\alpha+\beta*x_i+Z_i)x_i-\overline{x}\frac{1}{n}\sum_1^n(\alpha+\beta*x_i+Z_i)[/mm]
einfach ausmultiplizieren
[mm] \hat{\beta}s^2=\frac{1}{n}\sum_1^n{\alpha}x_i+\frac{1}{n}\sum_1^n{\beta}x_i^2+\frac{1}{n}\sum_1^nZ_ix_i-\overline{x}\frac{1}{n}\sum_1^n{\alpha}-\overline{x}\frac{1}{n}\sum_1^n{\beta}x_i[/mm] [mm] -\overline{x}\frac{1}{n}\sum_1^nZ_i[/mm] [/mm]
Man sieht, dass die beiden Terme mit dem [mm] alpha [/mm] wegfallen, da einmal + und einmal -
die übrigen 4 Terme sind dann
[mm] \hat{\beta}s^2=\frac{1}{n}\sum_1^n{\beta}x_i^2-{\beta}\overline{x}^2+\frac{1}{n}\sum_1^nZ_ix_i-\overline{x}\overline{Z}[/mm]
und damit
[mm] \hat{\beta}s^2={\beta}(\frac{1}{n}\sum_1^nx_i^2-\overline{x}^2)+\frac{1}{n}\sum_1^nx_iZ_i-\overline{x}\overline{Z} [/mm]
Gruß
Timo
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 13:19 Mi 08.04.2009 | | Autor: | grenife |
Hallo nochmal,
hier mein Ansatz zu (ii):
[mm] $cov\left(\overline{Y};\hat{\beta}\right)&=&E\left[\left(\frac{1}{n}\sum_{i=1}^nY_i\right)\left(\frac{1}{ns^2}\sum_{i=1}^n(x_i-\overline{x})Y_i\right)\right]-E\left[\frac{1}{n}\sum_{i=1}^nY_i\right]\cdot E\left[\frac{1}{ns^2}\sum_{i=1}^n(x_i-\overline{x})Y_i\right]$
[/mm]
[mm] $=\frac{1}{n^2s^2}E\left[\left(\sum_{i=1}^nY_i\right)\left(\sum_{i=1}^n(x_i-\overline{x})Y_i\right)\right]-\frac{1}{n^2s^2}E\left[\sum_{i=1}^nY_i\right]\cdot E\left[\sum_{i=1}^n(x_i-\overline{x})Y_i\right]$
[/mm]
[mm] $=\frac{1}{n^2s^2}E\left[\sum_{i=1}^n\sum_{j=1}^n(x_i-\overline{x})Y_iY_j\right]-\frac{1}{n^2s^2}\left[\sum_{i=1}^nE(Y_i)\right]\cdot \left[\sum_{i=1}^n(x_i-\overline{x})E(Y_i)\right]$
[/mm]
[mm] $=\frac{1}{n^2s^2}\left[\sum_{i=1}^n\sum_{j=1}^n(x_i-\overline{x})E(Y_iY_j)\right]-\frac{1}{n^2s^2}\left[\sum_{i=1}^nE(Y_i)\right]\cdot \left[\sum_{i=1}^n(x_i-\overline{x})E(Y_i)\right]$
[/mm]
Da die [mm] $Y_i$ [/mm] auf Grund der Unabhängigkeit der Störterme [mm] $Z_i$ [/mm] ebenfalls stoch. unabhängig sind, gilt [mm] $E(Y_iY_j)=E(Y_j)E(Y_j)$. [/mm] Hieraus folgt
[mm] $=\frac{1}{n^2s^2}\left[\sum_{i=1}^n\sum_{j=1}^n(x_i-\overline{x})E(Y_i)E(Y_j)\right]-\frac{1}{n^2s^2}\left[\sum_{i=1}^n\sum_{j=1}^n(x_i-\overline{x})E(Y_i)E(Y_j)\right]$
[/mm]
$=0$. q.e.d
Wäre nett, wenn jemand meine Lösung kurz kommentieren könnte.
Vielen Dank und viele Grüße
Gregor
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 21:17 Mi 08.04.2009 | | Autor: | wiggle |
Ich würde sagen, da Du wenigstens je einmal in den Doppelsummen die E Werte der gleichen Y's miteinander multiplizierst, kannst Du in wenigstens einem Fall NICHT von der Unabhängigkeit ausgehen!
Ich würde den Beweis mal mit der LInearität der Kovarinaz versuchen; d.h.
seien X,Y Zufallsvariablen; a,b und c reele Zahlen, dann gilt:
Cov(aX+c,bY)= Cov(aX,bY)+Cov(c,bY)
Cov(aX+c,bY)=Cov(aX,bY)
Cov(aX+c,bY)=abCov(X,Y)
auf diese Weise habe ich immer solche Aufgaben gelöst
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 01:24 Do 09.04.2009 | | Autor: | Blech |
![[]](/images/popup.gif) Siehe hier
Das ganze ist etwas gewöhnungsbedürftig, aber mit Vektoren geht's wesentlich schneller und weniger fehleranfällig.
[mm] $\bar [/mm] Y = [mm] \frac1n \mathbf{1}^t [/mm] Y$ (hier ist [mm] $\mathbf{1}^t$ [/mm] der 1-Vektor)
und [mm] $\hat \beta [/mm] = [mm] \frac{x^tY-n\bar x\bar Y}{K}$, [/mm] K ist nicht zufällig, man kann's nach den Rechenregeln für die Kovarianz rausziehen (hier haben wir sogar noch skalare Terme in der Kovarianz). Für die Frage, ob der Term 0 ist, hat der multiplikative Faktor K also keine Bedeutung.
[mm] $Cov(\bar Y,\hat \beta)=0$
[/mm]
[mm] $\Leftrightarrow Cov(\bar [/mm] Y, [mm] x^tY-n\bar x\bar [/mm] Y) = [mm] Cov(\bar [/mm] Y, [mm] x^t [/mm] Y) - [mm] n\bar [/mm] x* [mm] Cov(\bar Y,\bar [/mm] Y)=0$
[mm] $\Leftrightarrow \frac1n \mathbf{1}^t*\underbrace{Cov(Y,Y)}_{=\sigma^2*I}*x [/mm] - [mm] n\bar [/mm] x * [mm] \frac1n \mathbf{1}^t*Cov(Y,Y)*\frac1n\mathbf{1}=$
[/mm]
[mm] $=\sigma^2(\underbrace{\frac1n\mathbf{1}^t x}_{=\bar x} [/mm] - [mm] \bar [/mm] x [mm] \frac1n \underbrace{\mathbf{1}^t\mathbf{1}}_{=n}) =\sigma^2(\bar [/mm] x - [mm] \bar [/mm] x) = 0$
ciao
Stefan
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 11:12 Do 09.04.2009 | | Autor: | grenife |
Vielen Dank! So klappt es in der Tat besser
|
|
|
|
