Maximum Likelihood Schätzer < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 18:55 So 04.04.2010 | | Autor: | wolle238 |
| Aufgabe | Für ein $n [mm] \in \IN$ [/mm] sind [mm] $(X_i)_{i \in \{1, \ldots, n \}}$ [/mm] unabhängige Zufallsvariablen, die jeweils Binomial verteilt seinen zum unbekannten Parameter $p [mm] \in [/mm] (0,1)$ und bekannten Parameter $N [mm] \in \IN_{> 0 }$.
[/mm]
1. Definieren Sie [mm] \textit{Maximum-Likelihood-Schätzer}.
[/mm]
2. Berechnen Sie für gegebene Realisierung [mm] $(x_i)_{i \in \{ 1, \ldots, n \}}$ [/mm] einen Maximum-Likelihood-Schätzer [mm] $\hat{p}$ [/mm] für $p$.
3. Ist [mm] $\hat{p}$ [/mm] erwartungstreu?
4. Ist [mm] $\hat{p}$ [/mm] konsistent? |
So!!
Eigentlich will ich nur wissen, ob ich das so richtig gemacht habe! :)
Meine Lösung zu 1.: (Aus'm Buch abgeschrieben)
Jeder Schätzer [mm] $\hat{p}$ [/mm] für $p$ mit
[mm] \[ P_{\hat{p}} \left( \left\{ \left( x_1, \ldots, x_n \right) \right\} \right) [/mm] = [mm] \underset{p \in [0,1]}{\max} \Pb_p \left( \left\{ \left( x_1, \ldots, x_n \right) \right\} \right) \]
[/mm]
für alle [mm] $x_1, \ldots, x_n \in \{ 0,1 \}$ [/mm] heißt [mm] \textit{Maximum-Likelehood-Schätzer}.
[/mm]
Meine Lösung zu 2.:
Für [mm] $P_p(\{(x_1, \ldots, x_n)\}) [/mm] = [mm] \vektor{n \\ k} (1-p)^{n-k} p^k [/mm] = [mm] f_k(p)$ [/mm] und somit suchen wir das Maximum der Funktion [mm] $f_k(p)$. [/mm] Dieses erhalten wir über die erste Ableitung:
$f'_k(p) = [mm] \vektor{n \\ k} (1-p)^{n-k-1} p^{k-1} [/mm] (k-np)$
Somit erhalten wir die Nullmenge: [mm] $\{ 1, 0, \frac{k}{n} \}$
[/mm]
Um das Maximum zu bestimmen, schauen wir uns die Situation bei $k = 0$ und $k = n$ an, da für alle anderen $k [mm] \in \{1, \ldots, n-1 \}$ [/mm] gilt [mm] $f_k(0) [/mm] = 0 = [mm] f_k(1)$.
[/mm]
Für $k = 0$ gilt: [mm] $f_0(p) [/mm] = [mm] (1-p)^n$. [/mm] Diese hat ihr Maximum bei $p = 0$.
Für $k = n$ gilt: [mm] $f_n(p) [/mm] = [mm] p^n$. [/mm] Diese hat ihr Maximum bei $p = 1$.
Somit muss es ein Maximum bei [mm] $\frac{k}{n}$ [/mm] sein.
Da [mm] $(x_1, \ldots, x_n) \in \{0,1 \}^n$ [/mm] mit $k = [mm] \frac{1}{n} \summe_{i=1}^n x_i$ [/mm] Einsen und $n-k$ Nullen. (oder und warum ??? :) ) Und somit ist die eindeutige Maximum-Likelihood-Funktion $ [mm] \frac{1}{n} \cdot \left( \frac{1}{n} \summe_{i=1}^{n} x_i \right)$.
[/mm]
Bei 3. und 4. hab ich keine Idee, wie ich da vorgehen soll! :( Ich weiß zwar, dass für erwartungstreu [mm] $\mathbb{E}_p [\hat{p}(X_1, \ldots, X_n) [/mm] - p] = 0$ und für konsistent $ [mm] \lim_{n \rightarrow \infty} \mathbb{P}_p(|\hat{p}(X_1, \ldots, X_n) [/mm] - p| [mm] \geq \varepsilon [/mm] ) = 0$ gelten muss, aber nicht, wie ich das zeigen soll! :(
Danke schonmal für eure Hilfe!
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 01:30 Mo 05.04.2010 | | Autor: | Blech |
Hi,
> Für ein [mm]n \in \IN[/mm] sind [mm](X_i)_{i \in \{1, \ldots, n \}}[/mm]
> unabhängige Zufallsvariablen, die jeweils Binomial
Die [mm] $x_i$ [/mm] sind binomialverteilt, *nicht* Bernoulli-verteilt.
> Meine Lösung zu 1.: (Aus'm Buch abgeschrieben)
Wäre es nicht sinnvoller, das in Deinen eigenen Worten zu formulieren? =)
> Meine Lösung zu 2.:
Die entgleist in Zeile 1, weil Du annimmst, die [mm] $x_i$ [/mm] wären Bernoulli Variablen.
Außerdem ergibt für die spätere Definition von k [mm] ($\frac1n \sum_i x_i$ [/mm] ist der Mittelwert der Stichprobe, *nicht* die Zahl der Einsen) die Likelihoodfunktion keinen Sinn, würde ich sagen.
Und wie kommt bei der Ableitung das p in (k-np)?
Irgendwie liest sich das Ganze, als hättest Du nicht nur die Antwort für die 1 aus einem Buch abgeschrieben, nur leider kam die Antwort für die 2 wohl ohne Rechenweg.
zu 3. und 4.:
Nehmen wir mal an, wir hätten wirklich Bernoulli-verteilte [mm] $X_1,\ldots, X_n$, [/mm] wir kriegen eine Stichprobe [mm] $x_1,\ldots,x_n$ [/mm] und wollen p.
Die Zähldichte der Bernoulli-Verteilung ist [mm] $p^x(1-p)^{1-x}$ ($x\in\{0,1\}$ [/mm] einsetzen)
Die Likelihood der Stichprobe ist also
[mm] $L_x(p)=\prod_{i=1}^n p^{x_i}(1-p)^{1-x_i}$
[/mm]
die log-likelihood:
[mm] $l_x(p)=\ln \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i}=\sum_{i=1}^n x_i\ln [/mm] p + [mm] (1-x_i)\ln(1-p) [/mm] =$
mit [mm] $\bar [/mm] x = [mm] \frac1n \sum_i x_i$ [/mm] also:
$= [mm] n\bar [/mm] x [mm] \ln [/mm] p + [mm] (n-n\bar x)\ln(1-p)$
[/mm]
Ableiten, gleich 0 setzen:
[mm] $\frac{n\bar x}{p} -\frac{(n-n\bar x)}{1-p}\overset{!}{=}0$
[/mm]
[mm] $\Rightarrow\ \hat [/mm] p = [mm] \bar [/mm] x$
Der MLE für p ist also das Stichprobenmittel (ach nee)
Ist das erwartungstreu? Wir gehen ja davon aus, daß die einzelnen Werte der Stichprobe Bernoulli(p)-verteilt sind. Für eine zufällige Stichprobe [mm] $X_1,\ldots, X_n$ [/mm] (im Gegensatz zu der tatsächlich gezogenen [mm] $x_1,\ldots,x_n$) [/mm] gilt also
[mm] $\hat [/mm] p = [mm] \frac1n \sum_i X_i$, [/mm] mit [mm] $X_i\sim \text{Bernoulli}(p)$
[/mm]
Der Erwartungswert für [mm] $\hat [/mm] p$ ist also:
[mm] $E(\hat p)=E\left(\frac1n \sum_i X_i\right)=\frac1n\sum_i E(X_i)=\frac1n \sum_i [/mm] p=p$
Denn die [mm] $X_i$ [/mm] sind ja nach Voraussetzung i.i.d Bernoulli(p) verteilt.
Also ist der Erwartungswert des Schätzers [mm] $\hat [/mm] p$ für p, wenn wir eine zufällige Stichprobe reinstecken, gleich p. Damit ist [mm] $\hat [/mm] p$ erwartungstreu.
ciao
Stefan
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:47 Mo 05.04.2010 | | Autor: | wolle238 |
Hmmm....
Danke für deine Antwort...
Ich hab das doch BINOMIAL Verteilt, deswegen steht da ja auch noch ein [mm] $\vektor{n \\ k}$ [/mm] :)
Ich hab das halt nach dem Lösungsweg von unserem Prof probiert.... Und die Ableitung kommt so zu stande:
[mm] \begin{matrix}
f_k'(p) & = & \vektor{n \\ k} \left( - (n - k) (1 - p)^{n - k - 1} p^k + (1 - p)^{n-k} k p^{k-1} \right) \\
& = & \vektor{n \\ k} (1 - p)^{n-k-1} p^{k-1} (- (n-k)p + (1 - p) k ) \\
& = & \vektor{n \\ k} (1 - p)^{n-k-1} p^{k-1} (- np +kp + k - kp) \\
& = & \vektor{n \\ k} (1 - p)^{n-k-1} p^{k-1} (k - np)
\end{matrix} [/mm]
Somit ist und bleibt die Nullmenge ja immernoch [mm] $\left\{ 0, 1, \frac{k}{n} \right\}$.... [/mm] Aber ich komme einfach nicht auf den ML Schätzer.
Ich denke schon, dass das Sinn macht, dass ich das so mache, wie der Prof das geschrieben hat (Das Buch ist von dem und darauf hat er die Vorlesung aufgebaut).
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 14:29 Mo 05.04.2010 | | Autor: | Blech |
Hi,
> Hmmm....
> Danke für deine Antwort...
>
> Ich hab das doch BINOMIAL Verteilt, deswegen steht da ja
Deine Antwort zu 1. sagt nur was für [mm] $x_i\in\{0,1\}$. [/mm] Und in der zu 2. schreibst Du auch $ [mm] (x_1, \ldots, x_n) \in \{0,1 \}^n [/mm] $.
> auch noch ein [mm]\vektor{n \\ k}[/mm] :)
Aber selbst für binomialverteilte [mm] $X_i$ [/mm] ist k doch im allgemeinen keine natürliche Zahl. k ist das Stichprobenmittel und wenn ich n=2, N=5, [mm] $x_1=4$ [/mm] und [mm] $x_2=5$ [/mm] habe, dann ist k=4.5.
Was soll bitte [mm] ${2\choose 4.5}$ [/mm] sein? Und wieso hat es eine Beziehung zur Wkeit, diese Stichprobe zu ziehen?
Die Gleichung mußt Du mir nochmal erklären. Du dürftest n und N zusammengeschmissen haben, weil ich noch weniger sehe, warum überall nur n stehen sollte. Aber selbst wenn da ein N wäre, [mm] ${5\choose 4.5}=?$. [/mm] Und woher wissen wir überhaupt, daß die Wkeit der Stichprobe nur vom Mittelwert abhängt?
Die gemeinsame Zähldichte von n i.i.d. binomial(N,p) Variablen ist
[mm] $P_p(x_1,\ldots,x_n)=\prod_{i=1}^n \left({N\choose x_i}p^{x_i}(1-p)^{N-x_i}\right)=L_x(p)$
[/mm]
und das ist damit auch die Likelihood-Funktion.
Das können wir zusammenfassen:
[mm] $L_x(p) [/mm] = [mm] \left(\prod_{i=1}^n{N\choose x_i}\right)p^{n\bar x}(1-p)^{nN-n\bar x}=Kp^{n\bar x}(1-p)^{nN-n\bar x}$
[/mm]
mit [mm] $n\bar [/mm] x = [mm] \sum_{i=1}^n x_i$ [/mm] und
[mm] $K=\left(\prod_{i=1}^n{N\choose x_i}\right)$ [/mm] ist eine Konstante bzgl p.
Das ergibt die Randfälle für [mm] $\bar [/mm] x=0$, [mm] $\bar [/mm] x=N$ und sonst das Maximum [mm] $\frac{\bar x}{N}$
[/mm]
> Ich hab das halt nach dem Lösungsweg von unserem Prof
> probiert.... Und die Ableitung kommt so zu stande:
Die Ableitung hab ich gestern zu später Stunde verbockt, sorry.
>
> Ich denke schon, dass das Sinn macht, dass ich das so
> mache, wie der Prof das geschrieben hat (Das Buch ist von
> dem und darauf hat er die Vorlesung aufgebaut).
Dann erklär's mir.
ciao
Stefan
|
|
|
|
