3.7 Neyman–Pearson lemma

rs X1,,Xniidf(x1,,xn;θ)이고, $H_0 : =_0, ; ; ; H_1 : =_1 $. 이때 이하를 만족하면 rejection region R은 MP test의 기각역.

k0:

  1. xxR if f(xx|θ1)>kf(xx|θ0).
  2. xxRc if f(xx|θ1)<kf(xx|θ0).
  3. Pθ0(XXR)=α for the prefiexed significance level α.



Proof:

P(XXA|θ)=AL(θ;xx)dxx=Af(xx;θ)dxx

이므로, AC라면

Af(xx;θ)dxxAkf(xx;θ)dxxP(XXA|θ0)kP(XXA|θ1)


마찬가지 방법으로 A(C)c라면 P(XXA|θ0)kP(XXA|θ1).


C의 유의수준이 α라 하고, 유의수준이 동일한 임의의 RR C를 가정하자. 이때 두 RR은 각각

C=(CC)(CCc)C=(CC)(CcC)


로 표현할 수 있으며, 두 RR에 대한 power function은 각각

π(θ)=P(XXC|θ)=P(XXCC|θ)+P(XXCCc|θ)π(θ)=P(XXC|θ)=P(XXCC|θ)+P(XXCcC|θ)


이때 H0에서 두 power의 차이는

π(θ1)π(θ1)=P(XXCCc|θ1)P(XXCcC|θ1)1k{P(XXCCc|θ0)P(XXCcC|θ0)}=1k{P(XXCCc|θ0)P(XXCcC|θ0)+P(XXCC|θ0)P(XXCC|θ0)}=1k{π(θ0)π(θ0)}=0


이에 의해 MP test의 정의를 만족한다. 이때 C의 유의수준이 <α인 경우, π(θ1)>π(θ1)이 되므로, CH1에서의 power인 π(θ1)은 유의수준이 α인 모든 RR의 power보다 크거나 같음을 알 수 있다.





3.7.1 Overview

  • Example
x 1 2 3 4 5 6
f(x|θ0) .01 .02 .02 .05 .10 .80
f(x|θ1) .03 .05 .15 .10 0 .67
$ $ .33 .4 .13 .5 1.19

유의수준이란 기본적으로 H0이 사실인데 H1을 선택할 확률. 선택한 RR에 해당하는 H0H1에서의 density가 각각 있다면, H0에서의 density의 합이 된다. 기각을 해버렸는데 H0가 발생해버렸다는 소리니까.

power란 RR에서의 H1이 발생할 확률.

test 자체가 H1에 마음을 두고 시작하는 거임. power는 무조건 H1에만 직결. 실패하면 어쩌지? 무지성으로 H1 골라버리자. 이랬다가 H0 발생해버리면? 난 망하는거잖아. 이 망함의 risk를 고정해두자. 이게 α.

power function은 H0H1 각각에 대해서 존재한다. 이는 각각에서의 pdf이다.

즉, 표본을 통한 $ $의 값이 크면 H0를 기각할 이유가 없고, 작으면 기각할 근거를 갖는다. 이 값이 얼마나 작아야 기각할 수 있는가는 유의수준에 의해 결정. 이와 같이 rs의 LR을 통해 MP test의 RR을 찾을 수 있다. 이때 RR과 검정법은 실제로 동일한 것이므로 혼돈이 없다는 전제 하에 test라는 단어를 주로 사용한다.

LR(θ0,θ1;xx)=L(θ0;xx)L(θ1;xx) 는 표본의 θ0에 대한 지지 (그리고 θ1에 대한 반증)의 정도를 표현한다고 볼 수 있다.





3.7.2 Generalized LRT

rs XXniidf(xx;θ), H0:θΩ0, H0:θΩ1(=ΩΩ0).

$

(x) = =

$





rs X1,,Xn의 pdf가 f(x;θ),θΩ라고 하자. 확률구간 [L(XXn),U(XXn)]

P[L(XXn)θU(XXn)]=1α

를 만족하면 이를 패러미터 α100(1α)% CI라 부른다.





rs XXn 의 분포가 pdf f(x;θ),θΩ를 따른다 하자. 이때 샘플과 패러미터 θ의 함수인 random quantity T(XXn;θ)의 분포가 패러미터 θ에 의존하지 않으면 이는 pivotal quantity.





H0:θΩ0,H1:θΩΩ0 에 대한 RR C가 이하를 만족하면 이는 UMP test. π가 이 test의 power function이라면

$$

{ ^() _0 } =,

$$

모든 다른 power function에 대해 위의 기각역에서의 power 가 최대.





rs $X_n $ 의 joint pdf가 f(XXn;θ)일 때, LR(θ1,θ2;XXn)=L(θ1;XXn)L(θ1;XXn)θ1<θ2에 대해 T(XXn)의 non-dec 혹은 non-inc라면 L(θ)T(XXn)에 대해 monotone LR를 갖는다.





  • Karlin-Rubin

H0:θθ0,H1:θθ0. Tθ에 대한 SS임을 가정하고, T의 pdf의 family는 MLR을 가짐. then t0, reject H0T>t0 하는 test는 level α의 UMP test이다. 이때, α=Pθ0(T>t0).




L(θ;XXn)T(XXn)에 대해 non-inc인 MLR. 이때

H0:θθ0,H1:θθ0에 대한 level α의 UMP test는 C={XXn:T(XXn)k} 이며, 상수 kP[T(XXn)k|H0]=α에 의해 결정.

H0:θθ0,H1:θθ0C={XXn:T(XXn)k}.





MLE의 불변성

MLE의 함수는 MLE





서로 독립인 rv X Y의 공통된 성공 확률 p의 MLE. f(X)와 f(Y)를 곱해서 쓴다.





XXnU(θ12,θ+12). 이때 LF로 MLE 구하는 건 굳이 log 안 거쳐도 가능함. 안 거쳐야 증명이 깔끔한 부분이 있음.





$$

= f(x;)

$$

에 의해

$$

E {

f(X;)

}^2

E {

f(X;)

}

=0

$$





XU(0,θ)일 때, θ2의 UE는? E(X2)=θ23이므로 T(X)=3X2θ의 UE.





XXnU(θ,θ)일 때, c(X(n)X(1)θ의 UE가 되기 위한 c의 값은?





XXnN(μ,σ2). 이때 cS=c(XiˉX)2n1σ의 UE가 되도록 하는 c의 값은?

Y=(n1)S2sigma2이 카이제곱을 따르는 rv임을 이용하여 E(Y)를 구하라.





Var(aiˆθi)ai=1σ2i1σ2i일 때 최소화.





통계량 S(X)의 분포가 패러미터 θ에 의존하지 않는다면 이는 ancillary statistic.





최소 SS가 존재한다면, 모든 CSS는 MSS이다.