확률 및 통계학 2. 대표값과 기술통계

대표값(representative value)

• 데이터를 대표할 수 있는 값
• 평균, 중앙값, 최빈값, 중앙범위 등이 있음

평균(mean, average)

$$\text{average}=\frac{\text{sum}}{\text{count}}$$

• 평균 = (데이터의 합) / (데이터의 개수)
• 모평균($\mu$): 모집단의 평균
• 표본평균($\overline{x}$): 표본의 평균
• 평균의 단점

  • 이상치(outlier)의 영향을 받음

    $$\begin{array}{ccccc}1& 1& 2& 3& 100\end{array}$$
    • 평균: $\frac{1+1+2+3+100}{5}=21.4$
    • 대부분 1, 2, 3이지만 이상치 100 때문에 평균이 커짐

중앙값(median)

• 크기순으로 배열 했을 때 중간에 위치한 값
  • $n$이 홀수: $\frac{n+1}{2}$번째
  • $n$이 짝수: $\frac{n}{2}$번째와 $\frac{n}{2}+1$번째의 평균
• 이상치의 영향을 거의 받지 않음

• 예)

  $$\begin{array}{ccccc}1& 1& 2& 3& 100\end{array}$$
  • $n=5$이므로 $\frac{5+1}{2}=3$, 3번째 값인 2가 중앙값

최빈값(mode)

• 가장 빈도가 많은 값
• 질적 자료에 사용
• 최빈값이 2개일 경우 이봉자료라고 함

• 예)

  $$\begin{array}{ccccc}1& 1& 2& 3& 100\end{array}$$
  • 가장 많이 관측되는 값: 1

중앙범위(central range)

$$\text{midrange}=\frac{\text{max}+\text{min}}{2}$$

• 중앙범위 =최대값과 최소값의 평균

• 예)

  $$\begin{array}{ccccc}1& 1& 2& 3& 100\end{array}$$
  • 중앙값: $\frac{1+100}{2}=50.5$

백분위수(percentile)

• 위치점 $p\mathrm{\%}$: 비율 $p$만큼이 그 값보다 작고 $(1-p)$만큼이 큰 값
• 백분위수 $p_n$: 위치점 $n\mathrm{\%}$

• 예)

  $$\begin{array}{ccccc}3& 4& 4& 6& 9\\ 4& 3& 6& 7& 8& 9\\ 5& 0& 1& 1& 5& 7& 7& 8& 9\\ 6& 0& 0& 4& 4& 7\\ 7& 1& 5& 8& 8& 8& 9\\ 8& 4& 6& 8& 8\end{array}$$
  • 백분위수 $p_{25}$
    • $32개\times 25\mathrm{\%}=8$, 8번째 수: 48
    • $32개\times 75\mathrm{\%}=24$, 24번째 수: 49
    • 따라서 $p_{25}=\frac{48+49}{2}=48.5$
  • $개수\times p\mathrm{\%}$ 했을 때 정수면 $(1-p)\mathrm{\%}$​도 계산, (정수가 아닌) 실수면 올림만 하면 됨

사분위수(quantile)

• 제1사분위수($Q_1$): $p_{25}$
• 제2사분위수($Q_2$): $\overline{x}$, $p_{50}$
• 제3사분위수($Q_3$): $p_{75}$

십분위수(decile)

• 제1십분위수($D_1$), 제2십분위수($D_2$), …, 제9십분위수($D_9$)
• $D_1=p_{10}$, $D_2=p_{20}$, …, $D_9=p_{90}$

산포도(scatter)

• 자료들이 대표값 주위에서 어느 정도 분포되어 있는지를 나타내는 통계값

범위(range)

$$R=max-min$$

• 범위 = 최댓값 - 최솟값

• 사분위수의 범위($IQR$)

  $$IQR=Q_3-Q_1$$

분산(variance)

• 모집단 분산

  $${\sigma }^2=\frac{\sum _{i+1}^N(x_i-\mu {)}^2}{N}$$
  • $N$: 모수의 개수
  • $x_i-\mu$: 편차

  • 간편식

    $$\sum _{i=1}^k{f}_i(x_i^{\ast }-\mu {)}^2=\sum _{i=1}^k{f}_i{x}_i^{\ast 2}-N{\mu }^2$$
    • $f_i$: $x_i$의 빈도

• 표본 분산

  $$s^2=\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2}{n-1}$$
  • 모분산과 비슷하게 하기 위해 $n$이 아닌 $n-1$로 나눔

• 도수분포표에서의 근사 분산

  $${\sigma }^2=\frac{\sum _{i+1}^N{f}_i(x_i^{\ast }-\mu {)}^2}{N}$$

체비셰프 정리(Chebyshev Inequality)

• 분포 상관 없이, 적어도 $(1-\frac{1}{k^2})\cdot 100\mathrm{\%}$의 자료가 $\mu \pm k\sigma$ 사이에 존재
• 예)

  • 전체의 $90\mathrm{\%}$, $\overline{x}=0.26$, $s=0.005$

    $$\begin{array}{rl}& 1-\frac{1}{k^2}=0.9\\ & k=\sqrt{10}\simeq 3.16\end{array}$$
    • $0.26\pm 3.16\times 0.005$ 범위에 $90\mathrm{\%}$의 자료가 존재

  • 적어도 몇 $\mathrm{\%}$가 0.20, 0.32 사이에 존재

    • 0.20과 0.32의 평균이 $0.26=\overline{x}$이므로 둘 중 하나면 계산하면 됨
    $$\begin{array}{rl}& 0.26-k\times 0.005=0.20\\ & k=12\\ & 1-\frac{1}{k^2}\simeq 0.99305\end{array}$$
    • $99.305\mathrm{\%}$ 사이에 존재

변이 계수(coefficient of variation)

$$V_c=\frac{s}{\overline{x}}\times 100\mathrm{\%}$$

• $V_c$: 변이 계수
• $V_c^2$: 상대 분산
• 변이 계수가 높을 수록 변동성이 높다는 의미
• 예)
  • A주식: 76,300, 77,400, 77,900, 77,200, 76,900, 78,800
    • $\overline{x}=77416.6669$, $s=861$​
    • 변이 계수: $V_c=\frac{861}{77417}\times 100=1.1121$
  • B주식: 6,400, 7,000, 7,400, 6,900, 7,300, 7,600
    • $\overline{x}=7100$, $s=429$
    • 변이 계수: $V_c=\frac{429}{7100}\times 100=6.0422$
  • B주식의 변동성이 A주식보다 높음

왜도(skewness)와 첨도(kurtosis)

• 왜도($a_3$)

  $$a_3=\frac{{\mu }^3}{{\sigma }^3}$$
  • 비대칭성의 의미
    • $a_3<0$: 좌측에 치우쳐짐
    • $a_3>0$: 우측에 치우쳐짐

• 첨도($a_4$)

  $$a_4=\frac{{\mu }^4}{{\sigma }^4}$$
  • $a_4<3$: 완첨(완만)
  • $a_4>3$: 급첨(뾰족)

표준점수(z-score)

$$Z=\frac{x_i-\mu }{\sigma }$$

• 자료의 $i$번째 측정값 $x_i$의 표준점수
• 표준점수는 단위를 없애주기 때문에 서로 다른 자료를 비교하기에 용이
• 예)
  • A의 점수: 700점, $\mu$: 500점, $\sigma$: 100점
    • 표준점수: $Z=\frac{700-500}{100}=2$
  • B의 점수: 24점, $\mu$: 18점, $\sigma$: 6점
    • 표준점수: $Z=\frac{24-18}{6}=1$
  • A가 B보다 시험을 잘봄

이상치 검출

• 이상치(outlier): 일반적이지 않은 값
  • 데이터의 일반적인 범위에서 벗어난 값

• 일반적으로 $Q_1-1.5IQR$보다 작거나 $Q_3+1.5IQR$보다 크면 이상치

• 예)

  $$\begin{array}{ccccc}12.81& 14.95& 15.83& 15.97& 19.90\\ 18.34& 19.82& 19.94& 20.62& 36.73\\ 20.88& 20.93& 20.98& 21.15& 22.24\\ 23.16& 22.24& 23.16& 23.56& 35.78\end{array}$$
  • $Q_1=\frac{18.34+19.82}{2}=19.08$, $Q_3=\frac{23.16+22.24}{2}=22.70$, $IQR=22.70-19.08=3.62$
  • $Q_1-1.5IQR=19.08-5.43=13.65$, $Q_3+1.5IQR=22.70+5.43=28.13$
  • 따라서 $12.81$과 $35.78$, $36.73$은 이상치

상자그림(box plot)

• 사분위수와 측정값의 최대값, 최소값을 이용해 그린 그림
  • 주식 차트에서 볼 수 있음

• 그리는 방법

  1. $M$(최대값)과 $m$​(최소값)을 탐색
     • 혹시 이상치일 수도 있으니 2, 3개씩 탐색
  2. $Q_1$, $Q_2$, $Q_3$, $IQR$, $Q_1-1.5IQR$, $Q_3+1.5IQR$ 계산
  3. 2를 바탕으로 이상치 탐색

  4. 상자 그림에 표시

     

     • 주의: $Q_2$는 비율에 따른 위치에 그려야 함($Q_1=1$, $Q_2=2$, $Q_3=4$이라면 $Q_2$는 $Q_1$과 $Q_3$를 $1:2$로 내분하는 곳에 위치)
  5. 이상치에 대한 정보 서술
     • 있는 경우: “이 자료에는 $n$개의 이상치($a$, $b$, …)가 존재한다.”
     • 없는 경우: “이 자료에는 이상치가 없다.”

이변량 자료의 분석

• 이변량 자료: 변수가 2개인 자료

• 2차원 히스토그램

  

• 산점도(scatter)

  

• 리그레쏘그램(regressogram)

  

상관 분석

• 공분산

  $$s_{XY}=\frac{1}{n-1}\sum (x_i-\overline{x})(y_i-\overline{y})$$

• 표본상관계수

  $$\begin{array}{rl}{r}_{XY}& =\frac{s_{XY}}{s_X{s}_Y}\\ & =\frac{1}{n-1}\sum (\frac{x_i-\overline{x}}{s_X})(\frac{y_i-\overline{y}}{s_Y})\\ & =\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum (x_i-\overline{x}{)}^2\sum (y_i-\overline{y}{)}^2}}\end{array}$$
  • $r_{XY}$이 1에 가까울 수록 선형
  • $-1\le r_{XY}\le 1$
    • $-1\le r_{XY}<0$: $x$가 증가할 때, $y$ 감소
    • $r_{XY}=0$: 선형성 없음
    • $0<r_{XY}\le 1$: $x$가 증가할 때, $y$ 증가

  • 예)

    $$\begin{array}{ccccccccccc}X& 3& 6& 5& 2& 7& 8& 5& 3& 6& 5\\ Y& 70& 80& 75& 65& 70& 95& 80& 70& 85& 80\end{array}$$
    • 평균: $\overline{x}=5$, $\overline{y}=77$
    • 표준편차: $s_X=1.886$, $s_Y=8.882$
    • 공분산: $S_{XY}=12.778$
    • 표본상관계수: $r_{XY}=\frac{s_{XY}}{s_X{s}_Y}=0.763$
      • 상관계수가 0.763으로 양의 상관계수이므로 두 변량 사이에 상력한 양의 상관관계가 있다.