Document

4.1 Na podstawie nierówności Cramera – Rao wyznacz dolne ograniczenie dla wariancji
nieobciążonego estymatora wariancji  2 w rozkładzie normalnym N (0,  2 ).
W zadaniu nie ma polecenia wyznaczania estymatora nieobciążonego o minimalnej wariancji
dla  2 , lecz jedynie dolne ograniczenie w nierówności Cramera – Rao:
Nierówność Cramera – Rao
Niech
będzie
estymatorem
gˆ ( X 1 ,... X n )
E gˆ ( X1 ,... X n )  g ( ) ). Wówczas zachodzi:
nieobciążonym
dla
g ( )
(czyli

Var (( gˆ ( X1 ,... X n ))  ( gIn(())) .
2
Zgodnie z treścią zadania: g ( )   2  ( g ( ))2  (2 )2  4 2 . Pozostaje więc wyznaczyć
informację Fishera dla danego modelu. Zaczynamy od zapisania funkcji łącznej gęstości,
następnie liczymy pierwszą i drugą pochodną funkcji wiarogodności:
1
2
n
L( )  f ( X 1 ,... X n ) 
exp(  2  i 1 X i2 )
n

( 2 )
2
n
l ( )  ln L( )  n ln( 2 )  n ln   2  i 1 X i2

l ( ) 
n

l ( )  
1


n

2
3


3

4
n
i 1
X i2

n
i 1
X i2
Obliczamy informację Fishera:
n
3
n
n
3
n
n 3n
I n ( )   El ( )  E ( 2  4  i 1 X i2 )  2  4  i 1 EX i2  2  4 EX 12
 
 
 
Zgodnie ztreścią zadania X 1 ~ N (0,  2 ), czyli EX 1  0, VarX 1   2 . Drugi moment zwykły
wyznaczamy zgodnie ze wzorem:
Var ( X 1 )  EX 12  ( EX 1 ) 2  EX 12  Var ( X 1 )  ( EX 1 ) 2   2  0   2
Ostatecznie informacja Fishera wynosi:
n 3n
n 3n
4n
I n ( )  2  4 EX 12  2  4  2  2
 
 

Dolne ograniczenie na nieobciążony estymator  2 wynosi:
( g  ( ))2
I n ( )

4 2
4n
2
4

n
4.2 Obserwujemy dwie niezależne próby losowe: ( X1 ,... X n ), (Y1 ,...Yn ), przy czym wiadomo,
że zmienne X i mają rozkład wykładniczy o wartości oczekiwanej  , a zmienne Yi rozkład
wykładniczy o wartości oczekiwanej 3. Rozważmy estymator parametru  postaci
ˆ  12 X  16 Y . Wyznacz obciążenie i ryzyko tego estymatora.
Obciążenie:
Eˆ  E( 12 X  16 Y )  12 EX  16 EY  12 EX1  16 EY1  12   16 *3  
Dla estymatora nieobciążonego: b( )  Eˆ    0
Ryzyko:
Dla estymatora nieobciążonego ryzyko jest równe wariancji estymatora:
R( )  Var (ˆ)  Var ( 12 X  16 Y )  {Korzystamy z niezależności obu prób od siebie; wariancja
sumy niezależnych zmiennych losowych jest równa sumie wariancji}  14 Var ( X )  361 Var (Y )

1
4n
Var ( X 1 )  361n Var (Y1 ) 
1
4n
 2  361n (3 ) 2 
1
4n
 2  41n  2 
1
2n
2
4.3 Niech X1 ,... X n będzie próbą prostą z rozkładu o dystrybuancie F ( x)  e1/( x ) , dla x  0.
a) Oblicz estymator największej wiarogodności ˆ nieznanego parametru   0.
Wyznaczmy gęstość:
 F ( x ) 1/( x ) 1
1 1 1 1/( x )
e
(  )( 1) 2 
e
x

x
 x2
f ( x) 
Funkcja wiarogodności:
1   x
L( )  n  2 e n
 n xi
1
1
1
l ( )  n ln( )  2 ln xi 
n
1
1
x

n
Policzmy pierwszą pochodną i przyrównajmy wynik do zera w celu wyznaczenia wartości
parametru maksymalizującego funkcję wiarogodności:
n 1
1
l '( )    2   0
  n x
1

x
n
n
b) Wyznacz obciążenie, wariancję i błąd średniokwadratowy tego estymatora.
1
E  E
x
n
i
n

1
1
E
n n xi
W celu wyznaczenia wartości oczekiwanej i wariancji estymatora warto zacząć od
1
wyznaczenia rozkładu
.
xi
1
1
1
1
 t )  P(  xi )  P( xi  )  1  F ( )
xi
t
t
t
F 1 (t )  P(
xi
1 1
1
 1/
 t
1
F( )  e  t  e 
t
F 1 (t )  1  e
1
 t

xi
Jak nie trudno zauważyć wyznaczony rokład tto rozkład wykładniczy.
1
xi
1
1
Exp( )  (1, )

1
x
n

1
( n , )

i
1
E  E
x
n
1
1 1
E   n  
n n xi n

i
n
Estymator jest nieobciążony, zatem obciążenie wynosi zero!
1
Var  Var
x
n
1
1
1 2 2
 2 Var   2 n 
n
n
n
n xi
i
n
Dla estymator nieobciążonego ryzyko jest równe jego wariancji!
c) Wyznacz informację Fishera w tym modelu. Czy estymator uzyskany w punkcie a) jest
ENMW ( ) ?
W celu wyznaczenia informacji Fishera policzymy drugą pochodną logarytmu funkcji
wiarogodności.
n 1
1
l '( )    2 
  n x
l ''( ) 
n

2

2

3
1
x
n
I n ( )   E (l ''( ))   E (
n

2

2

3
1
n
 x)  
2

n
2
1
n 2
n
E    2  3 n  2

 

n x
3
Zauważmy, że wariancja estymatora jest równa odwrotności informacji Fisher’a, tzn:
wariancja osiąga dolne ograniczenie wyznaczone przez nierówność Cramer’a – Rao.
Estymator ponadto jest nieobciążony, zatem jest ENMW ( ) !
4.4 Sprawdzić, czy ENW jest estymatorem nieobciążonym o minimalnej wariancji parametru
 , jeśli X1 ,... X n jest próbą prostą z rozkładu N ( ,1).
Na ćwiczenia pokazaliśmy, że estymatorem MNW wartości oczekiwanej w rozkładzie
normalnym jest średnia arytmetyczna policzona na podstawie próby prostej wylosowanej z
tego rozkładu.
1
 Xi
n n
1
1
E  E  X i  n  
n n
n

Estymator MNW jest nieobciążony!
Czy mam minimalną wariancję?
Var 
1
1
2
Var
X

nVarX

n i n2
i
n2
n
U nas wariancja pojedynczej realizacji zmiennej losowej wynosi 1.
Var 
1
n
Dolne ograniczenie wariancji estymatora uzyskamy licząc informację Fisher’a dla rozkładu
normalnego. Np. tak:
I n ( )  nI1 ( )
I1 ( )   E (
 2 log f ( x )
1  12 ( x  )
),
f
(
x
)

e
 2
2
2
Powyższy wzór na gęstość uwzględnia fakt, że wariancja tego rozkładu jest równa jeden!
1
1
ln f ( x )   ln 2  ( x   )2   ln 2  ( x 2  2 x   2 )
2
2
 log f ( x ) 1
 (2 x  2 )

2
2
 log f ( x )
 1
2

 2 log f ( x )
I n ( )  nI1 ( )  n(  E (
)  n( 1)  n
 2
1
i widać, że wariancja estymatora jest odwrotnością informacji Fisher’a, czyli ma
n
minimalną wariancję!
Var 
4.5 Niech X1 ,... X n będzie próbą prostą z rozkładu N ( ,1). Wyznacz obciążenie estymatora
T ( X 1 ,..., X n )  ( X ) 2 parametru  2 .
Niech X1 ,... X n będzie próbą prostą z rozkładu N (  ,  2 ) .
Zauważmy, że X
N ( ,
2
n
) (wyprowadzenie tego, faktu pojawiło się na zajęciach)
Skorzystajmy z tożsamości:
2
2
Var X  E X  ( E X )2  E X  Var X  ( E X )2 
2
n
 2
U nas:    ,  2  1
ET ( X 1 ,..., X n )  E ( X ) 2 
1
 2
n
Obciążenie wyznaczymy z definicji:
1
1
 2  2 
n
n
Rozwiązanie alternatywne, umożliwiające poradzenie sobie z bardziej ogólnymi
przypadkami, dla których nie tak łatwo wyznaczyć rozkład średniej z próby.
b( )  E (T ( X 1 ,..., X n )   2 )  ET ( X 1 ,..., X n )   2 
Rozwiązanie tego zadania było proste, ponieważ łatwo możemy wyznaczyć rozkład średniej
policzonej na podstawie próby prostej z rozkładu normalnego. W ogólnym przypadku
należałoby, odwołać się do definicji wartości oczekiwanej.
ET ( X 1 ,..., X n )  E ( X ) 2 
n
n
1
1
2
2
2
E
(
X

...

X
)

E
(
X

...

X

Xi X j )

1
n
1
n
n2
n2
i 1 j 1
j i
Zastanówmy się, ile jest takich iloczynów zmiennych losowych. Zauważmy, że dla każdego
indeksu i mamy n-1 takich iloczynów, (ponieważ indeksy i oraz j nie mogą być sobie równe).
Oznacza to, że takich iloczynów będzie n(n-1).
Do takiego samego wniosku dojdziemy zauważając, że różnych par iloczynów zmiennych
losowych z różnymi indeksami będzie tyle, ile jest dwuelementowych wariacji bez powtórzeń
zbioru n elementowego.
Korzystając z niezależności zmiennych losowych i z tego, że pochodzą z tego samego
rozkładu otrzymamy:
n
n
n
n
E ( X 12  ...  X n2   X i X j )  E ( X 12  ...  X n2 )   E ( X i X j )  nEX 12  n(n  1)( EX 1 ) 2
i 1 j 1
j i
i 1 j 1
j i
bo dla niezależnych zmiennych losowych X o taki samym rozkładzie mamy:
E( X i X j )  E ( X i ) E ( X j )  E ( X1 )2
EX12  (n  1)( EX 1 )2
1
2
E ( X )  2 (nEX1  n(n  1)( EX 1 ) ) 
n
n
2
Ostatecznie (zakładając, że rozkład zmiennej losowej X nie jest normalny) pozostałoby
wyznaczenie drugiego momentu zwykłego, co należałoby w ogólności zrobić z definicji
wartości oczekiwanej (policzyć odpowiednią całkę). Wartość oczekiwaną X jest znana, o ile
znany jest rozkład (i jego parametry) zmiennej X.
4.6 Zmienne X 1 ,..., X n mają rozkład o tej samej wartości średniej  . Wykazać, że statystyka
postaci T 
a1 X1 ... an X n
a1 ... an
ET  E a1 Xa11......aann X n 
jest nieobciążonym estymatorem parametru  .
1
1
E ( a1 X 1  ...  an X n ) 
a1EX 1  ...  an EX n 
a1  ...  an
a1  ...  an
1
( a  ...  an ) 
a1  ...  an   1

a1  ...  an
a1  ...  an
Przy rozwiązaniu skorzystaliśmy z liniowości wartości oczekiwanej:
E ( X  Y )  EX  EY
E (cY )  cEY
4.7* Niech X1 ,... X n będzie próbą prostą z rozkładu normalnego N (  ,  2 ). Wyznaczyć a tak,
żeby estymator T ( X1 ,..., X n )  ai 1| X i  X | był estymatorem nieobciążonym dla parametru
n
 . Wskazówka: Jaki rozkład, dla ustalonego i, ma X i  X ?
( Xi  X )  ( Xi 
1
1
1
1
n 1
1
X 1  X 2  ...  X i ...  X n )  (
Xi   X j )
n
n
n
n
n
n j i
N (  , 2 )
Xi
n 1
Xi
n
1
Xj
n j i
Yi 
n  1 ( n  1)2 2
,
 )
n
n2
n 1 n 1 2
N(
, 2  )
n
n
N(
n 1
1
Xi   X j
n
n j i
N (0,
( n  1)2 2 n  1 2
n 1 2
  2  )  N (0,
 )
2
n
n
n
Dla każdego indeksu i rozkład jest taki sam, taka sama jest wartość oczekiwana i wariancja.
ET ( X1 ,..., X n )  aE i 1| X i  X |  anE | X i  X | anE | Yi |
n
Dla uproszczenia zapisu podstawmy  2 

E | Y |
| y|
2 2


 2 y
0

1
2 2

1
e
y2
2 2
e
y2
2 2
n 1 2

n2
dy
dy
Skorzystaliśmy z symetryczności rozkładu normalnego. Liczenie całki ze zmianę w module
jest kłopotliwe!
Policzmy całkę stosując podstawienie:
y2  t
2 ydy  dt

E | Y | 2 
0
1
2 2

e
y2
2 2

ydy  
0
1
2 2

e
y2
2 2

2 ydy  
0
1
2 2

e
t
2 2
dt 
1
2 2


0

e
t
2 2
dt 

1
2 2
2

2

0
t
1  2 2
e dt  {Funkcja podcałkowa to gęstość rozkładu wykładniczego z
2 2
1
parametrem
1
2
}

2
2
2
2


ET ( X 1 ,..., X n )  anE | Yi | an
2

2

n 1

n
n 1
 a
n
2( n 1)

?
   a 

2( n 1)
4.8* Niech R ( ) i b( ) oznaczają odpowiednio ryzyko i obciążenie estymatora ˆ. Pokazać,
że R( )  Var (ˆ)  b( ) 2 .
R( )  E (ˆ   )  E (ˆ  E (ˆ )  E (ˆ )   )2  E ((ˆ  E (ˆ ))2  2(ˆ  E (ˆ ))( E (ˆ )   )  ( E (ˆ)   )2 ) 
 E (ˆ  E (ˆ ))2  2 E (ˆ  E (ˆ ))( E (ˆ )   )  E ( E (ˆ )   )2
Zauważmy, że:
E (ˆ  E (ˆ ))2  Var(ˆ )
E (ˆ  E (ˆ ))( E (ˆ )   )  ( E (ˆ )   ) E (ˆ  E (ˆ ))  ( E (ˆ)   )( Eˆ  EE (ˆ))  ( E (ˆ)   )( Eˆ  E (ˆ))  0
bo ( E (ˆ )   ) jest stałe i mogliśmy je wyłączy przed znak wartości oczekiwanej.
E ( E (ˆ )   )2  ( E (ˆ)   )2  b( )
Bo ( E (ˆ )   ) jest stałe, a wartość oczekiwana stałej jest równa tej stałej.
Podsumowując:
R( )  Var (ˆ)  b( ) 2 .