1.1 추론 통계학

• 추론 통계학은 모집단에 대한 어떤 미지의 양상을 알기 위해 통계학을 이용하여 추측하는 과정을 지칭한다.
• 모집단에 대한 추론을 100% 확신하기 위해서는 모집단 전체를 표본으로 조사해야 한다.
• 그러나 비용 또는 시간 등의 이유로 불가능한 경우가 많기 때문에 표본에서 얻은 정보를 가지고 추론한다.¹

추론 통계학, Source: lumenlearning

1.2 추론 통계학의 종류

추론 통계학은 다시 추정과 검정으로 분류할 수 있다.

• 추정(Estimation)은 표본을 통해 모집단 특성이 어떠한가에 대해 추측하는 과정이다.
• 검정(Testing)은 모집단 실제값이 얼마나 되는가 하는 주장과 관련해서, 표본이 가지고 있는 정보를 이용해 가설이 올바른지 그렇지 않은지 판정하는 과정을 나타낸다.

2.1 불편추정량

좋은 추정량이란 무엇일까?

• 추정하고자 하는 모수를 \(\theta\), 추정량을 \(\hat{\theta}\)라 하자.
• 추정량의 편향(bias)이란 추정량의 평균값과 모수값의 차이 \(\mathbb{E}[\hat{\theta}] - \theta\)를 뜻한다.
• 추정량의 편향이 0일 때 (즉, 모수의 추정량의 기댓값이 추정하고자 하는 모수가 될 때), 이 추정량을 불편추정량(unbiased estimator)이라 한다.
• 위에서 언급한 점추정량들은 모두 각 모수의 불편추정량이다.

2.2 예제

• 다음은 어떤 반의 학생들의 키를 조사해서 얻은 것이다.

  169

  166.5

  171.6

  177.5

  169.8

  175.4

  176

  172.1

  172.7

  173

  183.1

  180.5

  173.6

  174.5

  174.6

  165.8

  170

  176.4

  171.7

  174

• 이로부터 학생들의 키의 평균, 분산을 추정한 것은 다음과 같다.

studenth <- c(169, 166.5, 171.6, 177.5, 169.8, 175.4, 176, 
              172.1, 172.7, 173, 183.1, 180.5, 173.6, 174.5, 
              174.6, 165.8, 170, 176.4, 171.7, 174)
mean(studenth) 

## [1] 173.39

var(studenth)

## [1] 17.99147

• sd 함수를 통해 모표준편차를 추정해볼 수도 있다.

sd(studenth)

## [1] 4.241636

sqrt(var(studenth))

## [1] 4.241636

참고: 표본표준편차 \(S\)는 모표준편차 \(\sigma\)의 불편추정량이 아니다.

• 이때 sd함수는 모표준편차가 아닌 표본표준편차를 계산함에 주의하자.

sd(1:10)

## [1] 3.02765

sqrt(sum((1:10-mean(1:10))^2)/9)

## [1] 3.02765

sqrt(sum((1:10-mean(1:10))^2)/10)

## [1] 2.872281

3.1 예

• 모분포가 정규분포 \(N(\mu,\sigma^2)\)일 때 모평균 \(\mu\)의 \(100(1-\alpha)\%\)신뢰구간은 다음과 같이 주어진다. \[\left(\bar{x}-z_{\alpha/2}\frac{\sigma}{\sqrt{n}},\bar{x}+z_{\alpha/2}\frac{\sigma}{\sqrt{n}} \right)\]
• 여기서 \(z_{\alpha}\)는 표준정규분포의 \(\alpha\) 상방분위수를 뜻한다.
• 가령, \(\alpha = 0.05\)일 때 \(z_{alpha/2}\)는 1.959964이다.

3.2 신뢰수준의 의미

표준정규분포에서 50개의 난수를 발생시켜 95% 신뢰구간을 구하는 과정을 1000번 반복 하자. 1000개의 신뢰구간 중에서 실제로 모수를 포함하는 신뢰구간의 비율을 구하여라.

## parameters
alpha <- 0.05 
n <- 50 
mu <- 0 
sigma <- 1 
count <- 0

set.seed(100)
for (i in 1:1000) { 
  x <- rnorm(n, mu, sigma) # sampling
  upper <- mean(x)-qnorm(alpha/2)*(sigma/sqrt(n)) # ci 
  lower <- mean(x)+qnorm(alpha/2)*(sigma/sqrt(n)) # ci
  if ( (lower< mu) & (mu< upper) ) {
    count = count + 1 # whether ci contains mu
  }
}

count/1000

## [1] 0.944

4.1 검정의 오류와 검정력

• 가설검정에서 발생하는 오류의 종류는 다음과 같다.
  • 제1종 오류 (type 1 error): 실제론 귀무가설이 참인데도 검정 결과 대립가설을 채택하는 오류
  • 제2종 오류 (type 2 error): 실제론 대립가설이 참인데도 검정 결과 귀무가설을 채택하는 오류
• 이를 표로 정리하면 다음과 같다.

  		실제 현상
  		\(H_0\) 참	\(H_1\) 참
  검정 결과	\(H_0\) 채택	옳은 결정	제2종 오류
  	\(H_1\) 채택	제1종 오류	옳은 결정

유의수준, 유의확률, 검정력은 다음과 같이 정의된다.

• 유의수준 (\(\alpha\)): 귀무가설 \(H_0\)가 참일 때 대립가설 \(H_1\)을 채택하는 오류를 범할 최대 허용 확률 (= 제 1종의 오류를 범할 확률)
• 유의확률 (p-value): 귀무가설이 맞다고 가정할 때 얻은 결과보다 (대립가설의 방향으로) 극단적인 결과가 실제로 관측될 확률이다. 유의확률이 작을수록 대립가설 \(H_1\)이 참이라는 증거가 강함을 뜻한다.
• 검정력 : 대립가설 특정 값에서 귀무가설 \(H_0\)를 기각시킬 확률. 검정력이 높을 수록 좋은 검정이라 할 수 있다.

유의확률은 대립가설이 참일 확률이 아니다.

4.2 예

모표준편차 \(\sigma\)가 알려져 있을 때, 귀무가설 \(H_0:~\mu = \mu_0\)에 대한 표본평균을 이용한 모평균의 검정은 다음의 Z-검정을 사용한다.

• 검정통계량 : \(Z=\dfrac{\bar{X}-\mu_0}{\sigma/\sqrt{n}}\)
• 대립가설에 따른 기각역과 검정통계량 \(z_0\)에 대한 유의확률 계산 :

4.3 예제

어느 전구의 평균수명이 정규분포 \(N(1500,100^2)\)을 따른다고 하자. 이 때, 새 공법에 의하면 전구의 평균수명이 증가한다고 할 때, \(n=25\)개의 전구를 시험 생산한 결과 \(\bar{X}= 1550\) (시간)으로 나타났다. 이 결과를 통해 새 공법에 의해 전구의 평균수명이 증가했다고 확신할 수 있는가? 유의수준 5%에서 이를 확인하시오.

주어진 문제에서 다음과 같이 가설을 설정하자. \[H_0 : \mu=1500 \quad \text{vs} \quad H_1: \mu>1500\] 모표준편차가 알려져 있으므로, 검정통계량은 \[Z=\frac{\bar{X}-1500}{100/\sqrt{n}} = \frac{1550-1500}{20}=2.5\] 로 계산되고 유의수준 5%에서 기각역은 \(Z>1.645\), 검정통계량이 기각역에 속하므로 귀무가설을 기각할 수 있다. 즉, 유의수준 5%에서 새 공법에 의해 전구의 평균수명이 증가했다고 확신할 수 있다. R을 이용해서는 다음과 같이 유의확률을 계산할 수 있다.

mu = 1500
sd = 100
n = 25
xbar = 1550

## test stat
z_0 <- (xbar - mu) / (sd / sqrt(n))
z_0

## [1] 2.5

## p-value
pvalue <- pnorm(z_0, 0, 1, lower.tail = F)
pvalue

## [1] 0.006209665

## another way
1 - pnorm(z_0, 0, 1)

## [1] 0.006209665