Normalverteilung: MLS-Schätzer < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 13:42 So 28.09.2014 | | Autor: | GeMir |
| Aufgabe | | Leiten Sie den MLS-Schätzer für [mm] $\sigma^2$ [/mm] im Modell [mm] $X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), [/mm] \ [mm] \mu$ [/mm] bekannt her. |
Die Likelihood-Funktion ist gegeben durch (gemeinsame Dichte von n unabhängigen Zufallsvariablen): [mm] $L(\sigma^2 [/mm] | [mm] x_1, \ldots, x_n) [/mm] = [mm] \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}}$
[/mm]
Die Log-Likelihood-Funktion ist dann gegeben durch:
[mm] $l(\sigma^2 [/mm] | [mm] x_1, \ldots, x_n) [/mm] = [mm] \sum_{i=1}^{n}{\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)}\\
[/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) + \ln\bigg(e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)\Bigg)}\\
[/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) - \frac{(x_i-\mu)^2}{2\sigma^2}\Bigg)}\\
[/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) [/mm] - [mm] \sum_{i=1}^{n}{\frac{(x_i-\mu)^2}{2\sigma^2}}\\
[/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) [/mm] - [mm] \frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}\\
[/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) [/mm] - [mm] \frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$
[/mm]
Notwendige Bedingung: [mm] $\frac{\partial l}{\partial\sigma} [/mm] = 0$
[mm] $\frac{\partial l}{\partial\sigma} [/mm] = [mm] -\frac{n}{\sigma} [/mm] + [mm] \frac{1}{2\sigma^3}\cdot(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2)$
[/mm]
Also:
[mm] $-\frac{n}{\sigma} [/mm] + [mm] \frac{1}{2\sigma^3}\cdot(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2) [/mm] = [mm] 0\\
[/mm]
[mm] -\frac{2n\sigma^2}{2\sigma^3} [/mm] + [mm] \frac{1}{2\sigma^3}\cdot(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2) [/mm] = [mm] 0\\
[/mm]
[mm] \frac{-2n\sigma^2 + (n\bar{x} - 2\mu n\bar{x} + n\mu^2)}{2\sigma^3} [/mm] = 0$
Unter der (sinnvollen) Annahme, dass [mm] $\sigma [/mm] > 0$ ist:
[mm] $-2n\sigma^2 [/mm] + [mm] (n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2) [/mm] = [mm] 0\\
[/mm]
[mm] -2n\sigma^2 [/mm] = [mm] -(n\bar{x} [/mm] - [mm] 2\mu n\bar{x} [/mm] + [mm] n\mu^2)\\
[/mm]
[mm] \sigma^2 [/mm] = [mm] \frac{n\bar{x} - 2\mu n\bar{x} + n\mu^2}{2n}\\
[/mm]
[mm] \sigma^2 [/mm] = [mm] \frac{\bar{x}}{2} [/mm] - [mm] \mu\bar{x} [/mm] + [mm] \frac{\mu^2}{2}\\
[/mm]
[mm] \sigma^2 [/mm] = [mm] \frac{1}{2}(\bar{x} [/mm] - [mm] 2\mu\bar{x} [/mm] + [mm] \mu^2)$
[/mm]
Aber irgendwie habe ich eher [mm] $S^2 [/mm] = [mm] \frac{1}{n}\sum_{i=1}^{n}{(x_i - \mu)^2}$ [/mm] erwartet...
|
|
| |
|
Hallo GeMir,
> Leiten Sie den MLS-Schätzer für [mm]\sigma^2[/mm] im Modell [mm]X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), \ \mu[/mm]
> bekannt her.
Ich nehme an, dass MLS für MaximumLikelihoodSchätzer steht ( und nicht für Minimum Least Square ), sonst hätte deine Rechnung ja nicht so viel mit der Aufgabenstellung zu tun.
> Die Likelihood-Funktion ist gegeben durch (gemeinsame
> Dichte von n unabhängigen Zufallsvariablen): [mm]L(\sigma^2 | x_1, \ldots, x_n) = \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}}[/mm]
>
> Die Log-Likelihood-Funktion ist dann gegeben durch:
>
> [mm]$l(\sigma^2[/mm] | [mm]x_1, \ldots, x_n)[/mm] =
> [mm]\sum_{i=1}^{n}{\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)}\\[/mm]
> =
> [mm]\sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) + \ln\bigg(e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\bigg)\Bigg)}\\[/mm]
>
> =
> [mm]\sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg) - \frac{(x_i-\mu)^2}{2\sigma^2}\Bigg)}\\[/mm]
>
> = [mm]n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg)[/mm] -
> [mm]\sum_{i=1}^{n}{\frac{(x_i-\mu)^2}{2\sigma^2}}\\[/mm]
> = [mm]n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg)[/mm] -
> [mm]\frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}\\[/mm]
> = [mm]n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\sigma}\bigg)[/mm] -
> [mm]\frac{1}{2\sigma^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$[/mm]
OK.
> Notwendige Bedingung: [mm]\frac{\partial l}{\partial\sigma} = 0[/mm]
>
> [mm]\frac{\partial l}{\partial\sigma} = -\frac{n}{\sigma} + \frac{1}{2\sigma^3}\cdot(n\bar{x} - 2\mu n\bar{x} + n\mu^2)[/mm] (**)
Streng genommen solltest du hier nach [mm] $\sigma^2$ [/mm] ableiten. Aber wegen der Kettenregel wird bei deiner Rechnung trotzdem der richtige Schätzer für [mm] $\sigma^2$ [/mm] herauskommen.
> Also:
>
> [mm]$-\frac{n}{\sigma}[/mm] + [mm]\frac{1}{2\sigma^3}\cdot(n\bar{x}[/mm] -
> [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)[/mm]
Es muss statt [mm] $\frac{1}{2\sigma^3}$ [/mm] lauten: [mm] $\frac{1}{\sigma^3}$.
[/mm]
Dieser Fehler zieht sich durch deine Rechnung.
Außerdem sollte da anstatt [mm] $n\bar{x}$ [/mm] stehen: $n [mm] \bar{x^2}$. [/mm] Es wird doch über [mm] $X_i^2$ [/mm] summiert!
> = [mm]0\\[/mm]
> [mm]-\frac{2n\sigma^2}{2\sigma^3}[/mm] +
> [mm]\frac{1}{2\sigma^3}\cdot(n\bar{x}[/mm] - [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)[/mm]
> = [mm]0\\ [/mm]
> [mm]\frac{-2n\sigma^2 + (n\bar{x} - 2\mu n\bar{x} + n\mu^2)}{2\sigma^3}[/mm]
> = 0$
>
> Unter der (sinnvollen) Annahme, dass [mm]\sigma > 0[/mm] ist:
>
> [mm]$-2n\sigma^2[/mm] + [mm](n\bar{x}[/mm] - [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)[/mm] = [mm]0\\ [/mm]
> [mm]-2n\sigma^2[/mm] = [mm]-(n\bar{x}[/mm] - [mm]2\mu n\bar{x}[/mm] + [mm]n\mu^2)\\ [/mm]
> [mm]\sigma^2[/mm] = [mm]\frac{n\bar{x} - 2\mu n\bar{x} + n\mu^2}{2n}\\ [/mm]
>
> [mm]\sigma^2[/mm] = [mm]\frac{\bar{x}}{2}[/mm] - [mm]\mu\bar{x}[/mm] +
> [mm]\frac{\mu^2}{2}\\[/mm]
> [mm]\sigma^2[/mm] = [mm]\frac{1}{2}(\bar{x}[/mm] - [mm]2\mu\bar{x}[/mm] + [mm]\mu^2)$[/mm]
Das 1/2 verschwindet wegen dem Fehler oben, außerdem musst du das mit dem [mm] $\bar{x^2}$ [/mm] korrigieren.
Wenn du das beides tust, erhältst du:
[mm] $\sigma^2 [/mm] = [mm] \overline{X_n^2} [/mm] - 2 [mm] \overline{X_n} \mu [/mm] + [mm] \mu^2$.
[/mm]
Das kannst du in deinen gewünschten Schätzer
[mm] $\sigma^2 [/mm] = [mm] \frac{1}{n}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$ [/mm] (*)
umformen (überzeuge dich davon, indem du (*) ausmultiplizierst).
---
Du solltest dir allerdings bewusst sein, dass deine Rechnung unnötig kompliziert ist. Wieso zum Beispiel rechnest du die Summe am Anfang ( siehe (**) ) überhaupt aus, wenn sie doch gar kein [mm] $\sigma$ [/mm] enthält?
Deine Likelihood-Funktion abgeleitet und nullgesetzt lautet doch einfach:
$0 = [mm] -\frac{n}{\sigma} [/mm] + [mm] \frac{1}{\sigma^3}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$.
[/mm]
Lässt man nun die Summe einfach stehen und stellt nach [mm] $\sigma^2$ [/mm] um, erhält man doch sofort:
[mm] $\gdw \frac{n}{\sigma^2} [/mm] = [mm] \frac{1}{\sigma^3}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$
[/mm]
[mm] $\gdw \sigma^2 [/mm] = [mm] \frac{1}{n}\sum_{i=1}^{n}(X_i [/mm] - [mm] \mu)^2$.
[/mm]
Viele Grüße,
Stefan
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 18:25 So 28.09.2014 | | Autor: | GeMir |
Da habe ich eindeutig zu schnell die Kettenregel angewandt, danke für die gefundenen Fehler!
Jetzt komme ich auch zu [mm] \sigma^2 [/mm] = [mm] S^2 [/mm] und es bleibt zu zeigen, dass sich an der Stelle ein globales Maximum befindet.
Meine zweite Ableitung lautet [mm] \frac{n}{\sigma^2}-\frac{3nS^2}{\sigma^4} [/mm] und sie muss ja immer kleiner Null sein, ich komme aber darauf, dass sie genau dann kleiner Null ist, wenn [mm] \sigma^2 [/mm] < [mm] 3S^2 [/mm] ist...
|
|
|
| |
|
Hallo GeMir,
> Da habe ich eindeutig zu schnell die Kettenregel angewandt,
> danke für die gefundenen Fehler!
>
> Jetzt komme ich auch zu [mm]\sigma^2[/mm] = [mm]S^2[/mm] und es bleibt zu
> zeigen, dass sich an der Stelle ein globales Maximum
> befindet.
>
> Meine zweite Ableitung lautet
> [mm]\frac{n}{\sigma^2}-\frac{3nS^2}{\sigma^4}[/mm]
OK.
> und sie muss ja
> immer kleiner Null sein, ich komme aber darauf, dass sie
> genau dann kleiner Null ist, wenn [mm]\sigma^2[/mm] < [mm]3S^2[/mm] ist...
Darauf komme ich nicht.
Du musst ja für [mm] $\sigma^2$ [/mm] dann [mm] $S^2$ [/mm] einsetzen!
Deine zweite Ableitung der Likelihood $L$ lautet
[mm] $L''(\sigma) [/mm] = [mm] \frac{n}{\sigma^2}-\frac{3nS^2}{\sigma^4}$.
[/mm]
Du hast schon herausgefunden, dass [mm] $L'(\sigma) [/mm] = 0 [mm] \gdw \sigma^2 [/mm] = [mm] S^2$.
[/mm]
Und es ist
[mm] $L''(S^2) [/mm] = [mm] \frac{n}{S^2} [/mm] - [mm] \frac{3n S^2}{S^4} [/mm] = [mm] \frac{-2n}{S^2} [/mm] < 0$,
d.h. ein Maximum!
Viele Grüße,
Stefan
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 19:02 So 28.09.2014 | | Autor: | GeMir |
Danke sehr für eine super-schnelle Antwort, aber somit kriege ich ja nur ein lokales Maximum, kein globales.
|
|
|
| |
|
Hallo GeMir,
> Danke sehr für eine super-schnelle Antwort, aber somit
> kriege ich ja nur ein lokales Maximum, kein globales.
Überzeuge dich davon, dass $L$ eine differenzierbare Funktion in [mm] $\sigma$ [/mm] ist (du kannst annehmen, dass die [mm] $X_i$ [/mm] Konstanten sind - für jede Realisierung sind das ja feste Zahlen).
Du hast nachgewiesen, dass die einzige mögliche Extremstelle [mm] $\sigma^2 [/mm] = [mm] S^2$ [/mm] sein kann, mit dem notwendigen Kriterium [mm] $L'(\sigma) [/mm] = 0$.
Du hast nachgewiesen, dass es sich dabei um ein lokales Maximum handelt.
Das bedeutet, in einer kleinen Umgebung besitzt $L$ kleinere Funktionswerte als an der Stelle [mm] $\sigma [/mm] = S$.
Angenommen, es gäbe eine Stelle, wo die Funktion $L$ nochmal größer wird als dieses lokale Maximum, dann würde folgen, dass zwischen dem lokalen Maximum und dieser Stelle ein lokales Minimum liegen muss. Das aber gibt es nicht, weil du ja oben nur eine einzige mögliche Extremstelle gefunden hast.
Viele Grüße,
Stefan
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 19:37 So 28.09.2014 | | Autor: | GeMir |
Das verstehe ich ja schon, aber irgendwie hätte ich gern etwas "bombensicheres" wie Monotonieuntersuchung (+/- Vorzeichenwechsel) oder Krümmung, die für alle [mm] \sigma-Werte [/mm] negativ wäre (Rechtskrümmung)...
Habe gerade die Grenzwerte [mm] \sigma \rightarrow [/mm] 0 und [mm] \sigma \rightarrow \infty [/mm] angeschaut, beide sind Null, aber trotzdem fühl ich mich mit l''< 0 [mm] \forall \sigma [/mm] zum Beispiel viel sicherer... Komischerweise klappt genau das nicht.
|
|
|
| |
|
Hallo GeMir,
> Das verstehe ich ja schon, aber irgendwie hätte ich gern
> etwas "bombensicheres" wie Monotonieuntersuchung (+/-
> Vorzeichenwechsel) oder Krümmung, die für alle
> [mm]\sigma-Werte[/mm] negativ wäre (Rechtskrümmung)...
Das sind zwar die bombensicheren Methode, aber die sind eben nur für sehr wenige Beispiele erfüllt. D.h. die bringen dir im Allgemeinen nichts, weil sie nicht anwendbar sind.
Die Methode, die ich dir gezeigt habe, ist auch bombensicher (im mathematischen Sinne).
Nochmal explizit aufgeschrieben:
Sei $f: D [mm] \subset \IR \to \IR$ [/mm] eine differenzierbare Funktion (und $D$ ein Intervall) mit nur einer Stelle [mm] $x_0 \in [/mm] D$ mit [mm] $f'(x_0) [/mm] = 0$. Es gelte [mm] $f''(x_0) [/mm] < 0$. Dann ist [mm] $x_0$ [/mm] bereits ein globales Maximum.
Beweis:
Angenommen, es gäbe eine Stelle $y [mm] \in [/mm] D$ mit $f(y) > [mm] f(x_0)$. [/mm] Da [mm] $x_0$ [/mm] ein striktes lokales Maximum ist (notwendige Bedingung laut Voraussetzung erfüllt), gibt es in einer Umgebung von [mm] $x_0$ [/mm] Werte $y'$ mit $f(y') < [mm] f(x_0)$.
[/mm]
Nach dem Zwischenwertsatz für stetige Funktionen gibt es somit eine Zwischenstelle [mm] $\xi \in [/mm] D$ mit [mm] $f(\xi) [/mm] = [mm] f(x_0)$ [/mm] (es gibt eine weitere Stelle, wo die Funktion genau den gleichen Wert wie beim lokalen Maximum annimmt).
Mit dem ![[]](/images/popup.gif) Satz von Rolle folgt, dass im Bereich [mm] $(\xi,x_0)$ [/mm] eine weitere Stelle [mm] $\theta$ [/mm] liegen muss mit [mm] $f'(\theta) [/mm] = 0$. Das ist ein Widerspruch zur Voraussetzung.
> Habe gerade die Grenzwerte [mm]\sigma \rightarrow[/mm] 0 und [mm]\sigma \rightarrow \infty[/mm]
> angeschaut, beide sind Null,
Das ist nett, bringt aber für einen Beweis nicht viel. Viel wichtiger ist die Voraussetzung, dass es keine weiteren Extremstellenkandidaten ( d.h. Werte mit $f' = 0$ ) gibt.
> aber trotzdem fühl ich mich
> mit l''< 0 [mm]\forall \sigma[/mm] zum Beispiel viel sicherer...
> Komischerweise klappt genau das nicht.
Wie gesagt, das kannst du auch nicht erwarten.
Viele Grüße,
Stefan
|
|
|
|
