[DL]03. Standard Distributions

📌 목차

1. Discrete Variables
2. The Multivariate Gaussian
3. Periodic Variables
4. The Exponential Family
5. Nonparametric Methods
cf. Hypothesis Testing

 

🧐  preview: Density Estimation

확률분포와 그 특성에 대해 알아보고자 한다.

[확률밀도 추정: Density Estimation]
유한한 관측값 집합 x₁, . . . , x_N이 주어졌을 때, 확률 변수 x의 확률 분포 p(x)를 모델링하는 것
기본적으로 밀도추정은 불균형하며, 무한히 많은 확률분포가 유도될 수 있기에 적절한 분포를 선택하는 것이 기계학습의 fitting측면에서 중요하다 할 수 있다.

[Main Interest]:
Gaussian Distribution with discrete variables
Maximum Likelihood
이때, 기본적으로 관찰된 data는 i.i.d로 가정한다.

---

[non-parametric density estimation]:
∙ 매개 변수 접근법의 한계점: 특정한 분포의 기능 형태를 가정한다는 것
→ 이는 특정 응용에 부적절
→ 대안적인 접근법으로 "비매개변수 밀도추정법" 사용:
Dataset의 크기에 따라 분포의 형태가 달라지는 것으로 분포형태가 아닌, "모델복잡성을 제어"
ex) Histogram, nearest neighbors and kernels에 기반한 3가지 non-parametric방법에 대해 고려.

∙ 비매개 변수 접근법의 한계점: 모든 훈련 데이터를 저장한다는 것

∙ Deep Learning: 
매개 변수 모델(유연한 분포를 고려하는 효율성) + 비매개 변수 방법(일반성)
→ 많지만 고정된 수의 매개 변수를 가진 신경망에 기초, 다양한 분포를 고려.

 

 

 

 

 

 

 

---

1. Discrete Variables

1.1  Bernoulli distribution

이진확률변수 x ∈ {0, 1}에 대해, x = 1의 확률은 매개 변수 μ이라 하자.
x = 1의 확률: p(x=1 | μ) = μ이다. (0 ≤ μ ≤ 1).
x = 0의 확률: p(x=0 | μ) = 1 − μ.
∴ x에 대한 확률 분포 = 베르누이분포:

이 분포가 정규화되어 있고, 평균 및 분산 아래와 같다:

---

Maximum Likelihood Estimation

[Bernoulli distribution의 likelihood함수]
이제 x의 관측값으로 이루어진 데이터 집합 D = {x₁,...,x_N}에 대해
μ에 대한 관측치가 p(x|μ)에서 독립적으로 추출되었다는 가정 하에 아래와 같다:

[Maximum Likelihood Estimation]
이제, 이 likelihood함수 최대화로 μ값을 추정해보자.

위 likelihood of Bernoulli distribution 함수의 핵심은 관측치 x가 ∑x를 통해서만 의존한다는 점이다.
∴ ln p(D|μ)를 μ에 대해 미분하여 0으로 놓으면 MLE값을 얻을 수 있다:

이를 μ_ML로 표시하며 sample mean이라 한다.

---

1.2  Binomial distribution

Dataset size: N
binary variable: x
x의 관측치 수: m

이 m에 대한 분포를 이항분포라 하며, 이는 아래와 같다:

여기서 (N m) ≡ N! / (N-m)!m!은 N개의 동일한 객체 중에서 m개의 객체를 교체없이 선택하는 방법의 수이다.
아래 그림은 N = 10 , μ = 0.25에인 이항분포 그래프이다.

cf) 이 결과는 미적분을 사용하여 직접 증명할 수도 있다.

---

1.3  Multinomial distribution

이진변수: 둘 중 하나를 갖는 양을 설명 시 사용.

One-hot Encoding:

다만, 우린 K가지 상태 중 하나를 갖는 이산변수와 훨씬 근접함.
이때, 변수표현을 위해 1-of-K scheme = "One-Hot Encoding" 방법이 사용됨.

이 방법에서 변수는 K차원 벡터 x에 의해 나타나며, 여기서 요소 x_k 중 하나는 1이 되고 나머지 요소는 모두 0이 된다.
ex) K = 6이고 ,변수의 특정 관측치가 x₃ = 1에 해당한다면?

x_k = 1의 확률을 매개 변수 μ_k로 표시하면 x의 분포는 p(x|μ)로 주어지며, 여기서 μ = (μ₁, . . . , μ_k)^T이다.
μ_k ≥ 0 및 ∑_k μ_k = 1 제약을 따를 때, 분포는 아래와 같다:

이 분포는 Bernoulli분포를 2개 이상의 결과로 일반화 한 것으로 볼 수 있는데,
이 분포가 정규화 되어있음은 아래 식으로 확인 가능하다:

---

Sufficient Statistics (충분통계량):

이제 N개의 독립적인 관측치 x₁,...,x_N의 데이터 집합 D에 대해 Likelihood함수 p(D|μ)는 아래와 같다:

이 식에서 Likelihood함수가 N개 data point를 통해서만 K개 양을 나타내는 것을 
이 분포에 대한 충분통계량이라 하며 아래와 같이 표현한다:

---

MLE with Lagrange multiplier:

이제, μ에 대한 MLE를 위해 μ_k에 대한 ln p(D|μ)를 최대화를 해야하는데,
이때 μ_k는 합이 1이라는 제약 조건을 고려해야한다.
이는 라그랑지 승수 λ를 사용하여 최대화 가능하다:

위 식에서 μ_k에 대한 도함수를 0으로 놓으면:

이제 위 식에을 제약 조건 ∑_k μ_k = 1에 대입하여 라그랑지 승수 λ를 구할 수 있다.
따라서 우리는 μ_k에 대한 최대 우도 해를 다음과 같이 얻는다:

---

Multinomial Distribution:

위의 μ_k는 x_k = 1인 경우의 관측값 N에 대한 비율이며,
이때, μ와 총 관측 수 N에 대한 조건부 m1, ..., mk의 결합 분포도 고려할 수 있는데 좌측 식에 따르면, 이 결합분포는 아래와 같다.

위의 m에 대한 결합분포를 다항분포, Multinomial Distribution이라 한다.
cf) 이진변수는 이항분포에 의해 표현하거나 K=2로 두고 1-of-2변수로 표현가능하다.
cf) K≥2인 경우에 Multinoulli Distribution이라고도 부른다.

 

 

 

 

 

 

 

 

 

 

 

 

 

---

2. The Multivariate Gaussian

prev.

 D차원 벡터 x에 대해 다변량 Gaussian분포는 아래와 같다:

μ: D차원의 평균 벡터.
Σ: D × D 의 Covariance Matrix.
det Σ: Σ의 행렬식.

CLT:  N → ∞일 때 가우시안에 수렴할 것

Gaussian Distribution은 최대 엔트로피, CLT 등에서 많이 확인할 수 있었다. 이는 다변량에서도 성립하기에 이에 대해 알아보자.

 

2.1  Geometry of the Gaussian

Gaussian분포에 대해 기하학적으로 고려해보자.
x에 대한 함수적 의존성은 아래 2차 형태로 나타난다:

∆: μ에서 x까지의 Mahalanobis Distance (cf. Σ=I 일 때, euclidean distance로 축소.)

Σ가 대칭행렬일 때, 손실이 없다.
이제, Σ에 대한 고유벡터 방정식을 고려하자:

i = 1, ... , D

Σ가 실수이고 대칭 행렬이므로
∙ eigen value는 실수
∙ eigen vectors는 orthonormal set을 만족.
(cf. orthonormal: 정규직교)

∴ Σ는 고유벡터를 사용하여 다음과 같은 형태로 표현될 수 있다:

마찬가지로 공분산 행렬의 inverse도 다음과 같은 형태로 표현될 수 있다:

Σ^-1을 Mahalanobis Distance 제곱식에 대입하자:

{y_i}: 기존 x_i좌표에 대해 shift 및 rotate된 orthonormal vectors u_i로 정의된 새로운 좌표계.
이제, 벡터 y = (y₁,...,y_D)^T를 형성하면

여기서 U는 행이 u_i^T로 주어지는 행렬로. u_i^Tu_j = I_ij식으로부터 U가 orthogonal matrix임을 알 수 있다.

---

∴ Gaussian Density는 ∆²가 일정표면상일 때 일정.
모든 고유값 λ_i가 양수 → 이러한 ∆²는 타원체를 나타냄.
이때, 그 중심은 μ에 있으며 축은 ui를 따라 정렬.
축의 방향으로의 스케일링 요소는 λ_i^1/2로 주어진다.

정부호 행렬과 반정부호 행렬

→ Gaussian분포가 잘 정의되려면 Σ의 모든 고유값 λ_i가 무조건 양수!
이때, λ가 모두 양수인 대칭행렬을 positive definite(양의 정부호)라 한다.
if not) 분포가 올바르게 정규화❌

→ latent variable model에서 λ_i 중 하나 이상이 0인 경우,
분포는 특정 차원의 부분 공간으로 제한되고 특이하게 되는데,
모든 고유값이 비음수인 공분산 행렬을 positive semidefinite(양의 반정부호)라 한다.

---

이제 y_i에 의해 정의된 새로운 좌표계의 Gaussian분포형태를 살펴보자.
x→y계로 갈 때, Jacobian Matrix J에 대해 요소는 다음과 같다:

행렬 U의 정규직교성(orthonormality)을 사용하면 J의 제곱은:

∴ |J|=1이고, 공분산 행렬의 행렬식 |Σ|은 그 고유값들의 곱이므로:

∴ y_j 좌표계에서의 Gaussian분포
= 독립된 D개의 단변량 Gaussian분포의 곱:

∴ eigen vector는 결합확률분포를 새로운 shift 및 rotated좌표로 정의.
이를 통해 결합확률분포가 독립적인 분포의 곱으로 분해된다.
→ y좌표계 분포의 적분은 다음과 같다:

이는 다변량 가우시안 N (x | μ,Σ)가 실제로 정규화되어 있음을 의미한다.

 

---

2.2  Moments

cf) 요약: 1차 모멘트 = 평균 μ, 2차모멘트 = 분산 E[xx^T]

이제 Gaussian분포의 moments와, moments로 μ와 Σ를 알아보자.

위 식은 x에 대한 기댓값 식이며, z = x - μ를 사용해 변수를 변경했다.

지수가 z의 구성 요소에 대한 짝수 함수, (-∞, ∞)에서 적분이 수행
→ (z + μ)의 항은 대칭에 의해 사라진다.

 

이로써 μ를 Gaussian분포의 평균이라 부른다.

∙ Gaussian의 1차 moments: μ (= 평균)

---

이제 Gaussian의 2차 moments를 고려해보자.
cf) 단일 변수의 경우 E[x²]가 2차 moments.
다변량 가우시안의 경우 E[x_ix_j]로 주어지는 D²의 2차 moments로 행렬 E[xx^T]를 형성.
이 행렬은 다음과 같이 쓸 수 있다:

여기서도 z = x - μ를 사용하여 변수를 변경.
μz^T 및 μ^Tz를 포함하는 교차 항은 다시 대칭에 의해 사라진다.
μμ^T 항은 상수이며 정규화된 가우시안 분포이기 때문에 적분 자체는 1이다.

zz^T를 포함하는 항을 고려해보면, 다시 한번 공분산 행렬의 고유벡터 전개식인 (3.28)과 고유벡터 집합의 완성을 사용하여 다음과 같이 쓸 수 있다:

여기서 중간 라인의 적분은 i = j가 아닌 경우에는 대칭에 의해 사라지므로 결과적으로 아래 식을 얻는다.

---

단일 랜덤 변수의 분산을 정의할 때 두 번째 모멘트를 가져가기 전에 평균을 뺐으므로
다변량 경우에도 평균을 뺀 채로 정의된 랜덤 벡터 x의 공분산을 고려하는 것이 편리하다:

특정한 경우인 가우시안 분포의 경우, E[x] = μ와 E[xx^T]결과를 함께 사용하면:

행렬 Σ가 가우시안 분포에서 x의 공분산을 지배하므로 이를 공분산행렬이라한다.

 

---

2.3 Limitations.

[Gaussian분포의 주요 한계점]:
일반 공분산 대칭행렬 Σ:
∙ D(D + 1)/2개의 독립적인 매개 변수를 가짐.
∙ μ에서 또 다른 D개의 독립적인 매개 변수가 존재.
∴  총 D(D + 3)/2개의 매개 변수가 존재, 행렬 조작 cost⇧

→ sol) Σ의 제한된 형태의 사용.

i) 공분산 대각행렬을 갖는 경우( Σ = diag(σ_i²)) 이 모델에서는 총 2D개의 독립적인 매개 변수가 존재하며, 해당 모델의 밀도등고선은 축에 정렬된 타원형으로 주어진다. (b)에 해당

ii) Σ을 I 행렬에 비례하도록 제한할 수도 있는데, 이를 등방성 공분산이라고한다. (c)에 해당
모델에서 D + 1개의 독립적인 매개 변수가 생성되며 등방성 표면의 등고선이 된다.
일반, 대각 및 등방성 공분산 행렬의 세 가지 가능성은 아래그림에 설명되어 있다.

(a): 일반적인 gaussian분포, (b): Diagonal인 gaussian분포, (c): Identity matrix일때의 분포.

장점) 분포의 자유도 수를 제한, 공분산 행렬의 역을 빠르게 계산
단점)
∙ 확률 밀도의 형태 및 데이터의 흥미로운 상관 관계를 제한.
∙ Gaussian분포는 그자체로 본질적인 단일최댓값(= uni-modal)
→ multi-modal distribution에 좋은 근사치 제공이 불가능. (= 유연하지 않음.)
→ 다만 이는 latent variable의 도입으로 해결가능.

---

2.4 Conditional distribution

다변량 Gaussian의 주요특성:
두 변수가 jointly Gaussian이라면, 다른 것을 기준으로 한 조건부분포와 주변분포가 Gaussian이라는 것.


① 조건부 분포의 경우:

x ~ N (x|μ, Σ)의 D차원 벡터
x를 두 부분집합 x_a와 x_b로 분할하고 일반성을 잃지 않을 때,
x_a를 x의 첫 M개 구성 요소로,
x_b를 나머지 D - M개의 구성 요소로 가질 수 있으므로 우측과 같다.

또한 평균 벡터 μ와 공분산행렬 Σ의 해당 분할을 아래와 같이 정의하자.

공분산 행렬의 대칭성 Σ^T = Σ는 다음을 의미한다:
Σ_aa와 Σ_bb가 대칭이므로 , Σ_ba = Σ_ab^T이다.
많은 상황에서 공분산 행렬의 역인 정밀도 행렬을 사용하는 것이 편리하다:

precision matrix

실제로 Gaussian 분포의 몇 가지 속성은 공분산을 통해 가장 자연스레 표현.
다른 속성은 정밀도를 통해 더 간단한 형태를 가지므로
정밀도 행렬의 분할된 형태는 아래와 같다:

이때, 벡터 x의 분할 x = [x_a, x_b]^T에 해당한다.
여기서 대칭 역행렬도 대칭이므로 Λ_aa와 Λ_bb가 대칭이고 Λ_ba = Λ_ab^T이다.



유의점:
 Λ_aa가 단순히 Σ_aa의 역이 아니다. (분할된 역행렬과 그 분할의 역에 대한 구분이 중요.)

ex) Gaussian분포의 지수항을 정의하는 2차식을 고려.
for. 조건부 Gaussian 분포 p(x_a|x_b)의 평균과 공분산을 찾기 위해
이때, 관측 값으로 x_b를 고정, 결과 식을 정규화→ x_a에 대한 유효한 확률 분포를 얻음
위 방식은 조건부 분포를 평가할 수 있음을 확률의 곱셈 법칙으로 알 수 있다.


명시적으로 정규화하는 대신에는 Gaussian분포의 지수항에서 완전제곱수를 통해 더 효율적으로 고려하여 정규화 계수를 얻을 수 있는데, 일반적인 이차형식을 사용하면 아래와 같다:

x_a에 대한 함수로 볼 때 이는 다시 이차형식이므로 해당 조건부 분포 p(x_a|x_b)는 Gaussian이다.
이 분포는 그 평균과 공분산에 의해 완전히 특성화되므로 위 식으로 p(x_a|x_b)의 평균과 공분산을 식별해보자.

이를 보통 "완전제곱수(Completing the Square)"라 하는 Gaussian분포와 관련된 일반적인 도식으로
여기서 Gaussian의 지수항에서 지정된 계수행렬을 x의 공분산역행렬로 결정해야 하는 일이라고 하는데,
이때 문제는 그 결과로 평균과 공분산을 얻는 것이다.

이런 문제는 일반적인 가우시안 분포 N (x|μ, Σ)의 지수항을 아래처럼 사용할 수 있으므로 간단히 해결가능하다.

'const': x와 독립적인 항

Σ의 대칭성에 따라 일반적인 이차식으로 위 식처럼 표현하면
즉시 x의 이차항에 있는 계수행렬을 공분산 역행렬 Σ^-1로
x의 일차항의 계수를 Σ^-1μ로 동일하게 할 수 있으므로 μ를 얻을 수 있다.

---

이제 이 절차를 조건부 가우시안 분포 p(x_a|x_b)에 적용하여 지수항이 아래와 같이 주어진 경우의 결과를 알아보자:

이 분포의 평균과 공분산을 각각 μ_a|b와 Σ_a|b라 하자.
위 식에서 지수항의 이차형식을 고려해 보.
x_b를 상수로 간주할 때 ,x_a에 대한 이차항을 모두 추출하면 아래와 같다:

이때, p(x_a|x_b)의 공분산(정밀도의 역)은 아래와 같다:

이제 x_a에 대한 1차항을 모두 포함하는 위 식의 모든 항을 고려해보자: (이때, Λ^T_ba = Λ_ab.)

아래 일반적인 형태 식의 논의에서 이 표현의 x_a에 대한 계수는 Σ_a|b^-1μ_a|b와 같아야 하므로 아래와 같다:

위 결과는 원래 joint distribution, p(x_a, x_b)의 분할된 정밀도 행렬로 표현되므로
해당 분할된 공분산 행렬의 용어로도 표현가능하다.
이때, 아래처럼 분할된 역행렬에 대한 다음 항등식을 사용하자:

여기서 M은 아래와 같다:

M^-1은 왼쪽에있는 행렬에 대한 행렬 D에 대한 Schur complement이다.

아래 정의에 따라 위의 [A B C D]^-1에 적용하면,

다음을 얻는다:

이때, 조건부 분포 p(x_a|x_b)의 평균과 공분산에 대한 다음 식:

이제, 도출된 아래 두 식을 비교해보자:

조건부 분포 p(x_a|x_b)는 분할된 공분산 행렬 용어로 표현될 때, 더 간단한 형태를 가짐을 알 수 있다.
조건부 분포 p(x_a|x_b)의 평균인 μ_a|b는 x_b의 선형 함수이며
위 식의 아래항에서 주어지는 공분산은 x_b와 독립적이다.
이것은 선형 가우시안 모델의 예이다.

---

2.5 Marginal distribution

if) 결합 분포 p(x_a, x_b)가 Gaussian →조건부 분포 p(x_a|x_b)도 Gaussian
이제 우리는 주변분포에 대해 알아보도록 하자.

위 식에서 알 수 있듯, 주변분포 역시 Gaussian이다.
즉, 이 분포 계산 시, 결합 분포 지수항의 이차형식에 중점을 두어 주변 분포 p(x_a)의 평균과 공분산을 알아보기위해 분할된 정밀도 행렬을 사용하면 아래 식과 같다:

이제, x_b와 관련된 항을 고려한 후, integration을 용이하게 하기 위해 완전한 제곱을 수행하는 것으로 x_b에 대해 integration을 하자. 여기서 x_b를 포함하는 항만 추출하면 아래와 같다:

 

이때, m은 좌측과 같이 정의된다.

이를 통해 x_b에 대한 의존성이 Gaussian분포의 표준 이차형식으로 표현되었음을 알 수 있다.
이는 위 식의 우항 중 첫항에 해당하며 x_b에 의존하지 않는 항(다만 x_a에 의존)이 추가적으로 존재한다. 
따라서 이 이차형식의 지수를 취하면 위 식에서 필요한 x_b에 대한 적분은 아래 식과 같다:

이 적분은 정규화되지 않은 Gaussian의 적분이다.
∴ 이 식의 결과는 정규화 계수의 역수가 된다. 


Multivariate Gaussian분포 식에서 주어진 정규화된 Gaussian형태에서 이 계수가 평균과 무관하며 공분산 행렬의 행렬식에만 의존한다는 것을 알고 있으므로 x_b에 대한 완전제곱을 통해 x_b를 적분하여
Marginal distribution식의 좌측항의 contribution 중 x_a에 의존하는 유일한 항으로 남게된다.

이는 위 식의 오른쪽 마지막 항이며 이때 m은 위와 같습니다.

이 항을 좌측식에서 나온 x_a에 의존하는 나머지 항들과 결합하면 아래와 같다.

이때, 'const'는 x_a에 독립적인 양을 나타낸다.

이때, 공분산은 아래와 같다:

위 공분산은 분할된 정밀도 행렬을 이용하여 표현되는데, 우리는 분할된 공분산 행렬의 대응하는 분할로 다시 쓸 수 있다. 

이러한 분할된 행렬들은 위의 행렬과 관련되어있다.

이제, 위의 관계식을 이용하면, 아래 식을 얻는다:

따라서 주변 분포 p(x_a)가 주어진 평균과 공분산을 가지게 됨을 아래 식으로 직관적으로 이해할 수 있다:

주변 분포의 경우에는 평균과 공분산이 분할된 공분산 행렬의 용어를 사용하여 가장 간단하게 표현되며,
조건부 분포의 경우에는 분할된 정밀도 행렬이 더 간단한 표현을 얻을 수 있도록 한다.
우리가 분할된 가우시안의 주변 및 조건부 분포에 대한 결과는 다음과 같이 요약될 수 있다.
주어진 결합 가우시안 분포 N (x|μ, Σ)가 있고 Λ ≡ Σ^-1 및 다음 분할을 가지면, 아래와 같다:

조건부 분포는 아래와 같고:

주변 분포는 아래와 같다:

우리는 이러한 조건부 및 주변 분포의 아이디어를 두 변수를 포함하는 예제를 사용하여 다변수 가우시안에 관련된 조건부 및 주변 분포를 설명하는데, 이에 대해 아래그림에서 확인가능하다.

 

---

2.6 Bayes' theorem

3.2.4 및 3.2.5 절에서는 우리가 벡터 x를 두 하위 벡터 x = (x_a, x_b)로 분할한 가우시안 p(x)를 고려했고, 
조건부 분포 p(x_a|x_b) 및 주변 분포 p(x_a)에 대한 식을 찾았으므로 조건부 분포 p(x_a|x_b)의 평균이 x_b의 선형 함수임을 주목했었다.

이제 주어진 Gaussian Marginal Distribution p(x)와 가우시안 조건부 분포 p(y|x)를 가정해보자.
p(y|x)의 평균은 x의 선형 함수이고, 공분산은 x와 독립인 선형-가우시안 모델의 예이다(Roweis와 Ghahramani, 1999).

이때, 주변 분포 p(y)와 조건부 분포 p(x|y)를 찾아보자. 
이는 몇 가지 종류의 생성 모델에서 발생하는 구조이며 여기에서 일반적인 결과를 유도하는 것이 편리하다.

---

주변 및 조건부 분포를 아래처럼 가정했다 하자:

이때, μ, A, b는 평균을 조절하는 매개변수이고, Λ 및 L은 정밀도 행렬이다.
x의 차원이 M이고 y의 차원이 D이면 행렬 A의 크기는 D × M이다.

먼저 x와 y에 대한 결합 분포를 찾아보기 위해 z = [x, y]로 정의한 후, 결합분포의 log를 취하자:
(이때, const는 x와 y에 대해 독립적인 항)

이전과 마찬가지로 z의 구성 요소에 대한 제곱 함수이기 때문에 p(z)는 가우시안 분포입니다. 

이 가우시안의 정밀도는 아래와 같다:

따라서 z에 대한 가우시안 분포의 정밀도 행렬은 아래와 같다:

정밀도행렬에 역을 취함으로써 공분산 행렬을 찾을 수 있다:

유사하게 우리는 z에 대한 가우시안 분포의 평균을 찾을 수 있는데,
lnp(z) 식의 선형 항을 식별하여 주어진다.

이는 위 식에서 주어진 것과 같다.
다변수 가우시안의 이차형식에 대한 완전제곱 결과로 얻은
이전의 결과인 아래 식을 사용해보자.

이를 이용하면, z의 평균은 아래 식으로 주어진다:

---

이제, cov[z]를 사용하면, 아래 식을 얻는다:

이제, x를 제거하고 y에 대해 주변 분포 p(y)의 식을 찾아보자.
Gaussian Random Vector의 부분집합에 대한 주변분포 → 분할된 공분산 행렬을 사용하여 특히 간단한 형태를 취할 수 있다.
좀 더 구체적으로, 평균과 공분산은 각각 아래와 같다:

여기에 아래 식을 사용하면

주변 분포 p(y)의 평균과 공분산은 아래와 같이 주어진다:

이 결과의 특별한 경우는 A = I인 경우로 주변 분포는 두 가우시안의 합성으로 축소되며,
여기서 convolution의 평균은 두 가우시안의 평균의 합이고
convolution의 공분산은 그들의 공분산의 합이다.

---

마지막으로 조건부 p(x|y)에 대한 표현을 찾아보자. 
조건부 분포에 대한 결과는 주로 분할된 정밀도 행렬의 용어를 사용하여 가장 쉽게 표현된다.
이때, 조건부 분포 p(x|y)가 주어진 경우 평균 및 공분산은 아래와 같이 주어진다:

이 조건부 분포의 평가는 Bayes의 정리의 한 예시로
이때, p(x)를 x에 대한 사전 분포(prior)로 해석된다.
변수 y가 관측되면 조건부 분포 p(x|y)는 x에 대한 사후 분포(posterior)이다.
주변 및 조건부 분포를 찾은 후에는 효과적으로 결합 분포 p(z) = p(x)p(y|x)를 p(x|y)p(y)의 형태로 나타낸다.

---

[결과 요약]
x에 대한 주변 가우시안 분포와 x가 주어진 경우 y에 대한 조건부 가우시안 분포가 아래와 같이 주어질 때:

y의 주변 분포와 y가 주어진 경우 x의 조건부 분포는 아래와 같다:

---

2.7 Maximum Likelihood

다변량 가우시안 분포에서 i.i.d의 {x_n} Dataset: X = (x₁,...,x_N )^T와, Log Likelihood함수가 아래와 같이 주어질 때,

해당 분포의 매개변수에 대한 MLE를 진행해보자.

먼저, Likelihood함수는 Dataset에 대해 아래 두 값에 의존한다.
이때, 두 값은 Gaussian Distribution의 Sufficient Statistics로 알려져있다.

참고식 1.

참고식 1.에 의해 μ에 대한 Log Likelihood도함수는 다음과 같다:

MLE:
μ: 이 도함수를 0으로 설정, ML의 평균에 대한 해를 얻는다. 최대 우도 추정의 평균에 대한 해를 얻을 수 있다:
이는 Dataset point의 평균값이다.

Σ: Log Likelihood함수식을 Σ에 대해 최대화하는 것은 더 복잡하다.
가장 간단한 방법은 대칭 제약 조건을 무시하고 결과적인 해가 요구되는 대로 대칭인지를 보여주는 것이다.
→ [Magnus&Neudecker의 대안적 유도방법]: 명시적으로 대칭 및 양의 정부호 제약 조건을 부과.

결과는 위와 같이 μ 및 Σ에 대한 결합 최대화의 결과이므로 μ_ML이 포함되어 있다. 
이때, μ_ML은 Σ_ML에 의존하지 않으므로 먼저 μ_ML을 계산한 다음 이를 사용하여 Σ_ML을 평가해야한다.

따라서 ML값의 기댓값을 실제분포하에서 계산하면 위와 같다.

[❗️유의할 점❗️]:
평균에 대한 MLE기댓값은 실제 평균과 같지만,
공분산에 대한 MLE 기댓값이 실제 값보다 작기 때문에 편향되어 있다는 것.
이 편향을 수정하려면 다른 추정량을 정의하면 된다:

 

---

2.8 Sequential estimation

MLE는 전체 Dataset을 한번에 고려하는 일괄처리(batch)방법이다.
Sequential방법은 Data point를 한번에 하나씩 처리 후 버리는 방법이다.

---

평균 μ에 대한 최대 우도 추정치의 결과를 고려해보자:

μ_ML^(N):관측값 N을 기반 평균.
이제, 최종 datapoint x_N의 contribution을 분리하면 아래와 같다:

해석)
(N-1)개의 데이터 포인트를 관측한 후, μ을 μ_ML(N −1)로 추정
이제 data point x_N을 관측 → 우리는 오래된 추정치를 '에러 신호' (x_N − μ_ML^(N−1))의 방향으로 작은 양만큼 이동 → 수정된 추정치 μ_ML^(N)를 얻음.

이때, N이 증가함에 따라 연속적인 data point에서의 contribution이 줄어든다는 점에 유의해야한다.
즉, data point수가 증가함에 따라 각각의 data point가 전체 결과에 미치는 영향이 작아진다는 것이다.

 

---

2.9 Mixtures of Gaussians

[Gaussian분포의 주요한계]
아래 Figure 3.6(a)에 나와 있는 예시를 보자.
(Old Faithful Dataset: Yellowstone National Park의 Old Faithful 지옥 화구의 폭발을 272번 측정한 데이터;
(가로 축): 폭발지속시간, (세로 축): 다음 폭발까지의 시간)

이때, Dataset은 2개의 cluster를 형성하는데, 단순 Gaussian분포는 이 구조를 포착할 수 없다.
2개의 Gaussian을 합성한 것이 이 Dataset구조를 훨씬 더 잘 나타낼 것으로 기대하는데, 이는 Figure 3.6(b)에서 확인가능하다.

합성 Gaussian 모델:
Gaussian처럼 기본적인 분포의 선형조합으로 이뤄진 확률적 모델.

---

보다 일반적으로 혼합 모델은 이진 변수에 대한 베르누이 분포의 혼합과 같이 다른 분포의 선형 조합으로 구성될 수 있는데,
Figure 3.7에서 Gaussian의 선형조합이 매우 복잡한 밀도를 생성함을 확인가능하다:

∙ 충분한 수의 가우시안을 사용하고
∙ 평균 및 공분산뿐만 아니라 선형 조합에서의 계수를 조정
→ 거의 모든 연속 분포를 원하는 정확도로 근사화할 수 있다.

따라서 아래와 같은 K개의 Gaussian밀도의 합으로 표현되는 형식의 Mixture Gaussian을 고려가능하다.

각 가우시안 밀도 N (x|μ_k , Σ_k )는 혼합의 구성 요소이며 각각 자체의 평균 μ_k 및 공분산 Σ_k를 갖는다.
아래 Figure 3.8은 3가지 구성 요소가 있는 2차원 Gaussian Mixture의 등고선 및 표면을 볼 수 있다.

이때, 위 p(x) 식의 π_k를 혼합 계수라고하는데, 이 식의 양변을 x에 대해 적분하고 p(x)와 개별 가우시안 구성 요소가 모두 정규화되어 있다는 사실을 고려하면 아래 식이 된다:

N(x|μ_k , Σ_k) ≥ 0이고 모든 k에 대해, π_k ≥0이 p(x) ≥ 0의 충분조건. 
이때, 이 조건을 위 조건과 결합하면 아래와 같다:

따라서 혼합 계수가 확률로 해석될 수 있는 조건을 충족시키고 혼합 분포의 이러한 확률적 해석이 매우 강력하다는 것을 보여준다.
합과 곱의 법칙에서 주변 밀도는 아래와 같은데, 이는 p(x)식과 같음을 볼 수 있다:

이때, π_k = p(k)를 k번째 구성 요소를 선택할 사전 확률로 볼 수 있고
 N(x|μ_k,Σ_k) = p(x|k)를 k에 조건을 둔 x의 확률로 볼 수 있는데,
이는 posterior 확률 p(k|x) 또는 책임이라고도 불리는 사후 확률이라 한다. 

Bayes' Theorem에 따르면 posterior는 이와 같다.

Gaussian Mixture는 π, μ, Σ에 의해 결정되는데, 이 값 결정방법 중 하나는 MLE이다.
(이때 π ≡ {π₁,...,π_K}, μ ≡ {μ₁,...,μ_K}, 및 Σ ≡ {Σ₁,...Σ_K} 로 표기됨.)

---

p(x)에서 Log Likelihood는 아래와 같이 주어진다:

이때, 단번에 single Gaussian보다 훨씬 복잡함을 알 수 있기에 매개 변수에 대해 MLE의 해는 더 이상 닫힌 형태의 해가 아니다. 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

3.  Periodic Variables

prev.

Gaussian: 기본 골조로써 중요하긴 하나 연속확률밀도모델로써 부적절한 상황이 존재.
ex) 주기성을 갖는 변수일 때. (ex. 풍향, 달력시간, ...)

이런 주기적 변수의 양은 편의성을 위해 각도좌표(극좌표) 0 ≤ θ < 2π를 사용한다.

이때, 주기변수에 대한 명확하고 특별한 접근방식이 필요한데, 
Gaussian같은 전통적인 분포의 적용의 접근은 원점의 임의적인 선택에 강하게 의존하는 결과를 제공하기 때문이다:
ex) 예를 들어 θ1 = 1° 및 θ2 = 359°에서 두 관측치에 대해 표준 단변량 가우시안 분포를 사용하여 모델을 만든다면
원점을 0°: 표본 평균=180°, 표준 편차=179°
원점을 180°: 표본평균=0°, 표준 편차=1°

---

3.1 Von Mises distribution

주기변수 θ의 관측치 Dataset D = {θ₁, . . . , θ_N}의 평균을 평가하는 문제를 살펴보자. (이때, θ는 라디안 단위로 측정)
이미 간단한 평균인 (θ₁ + · · · + θ_N)/N이 좌표에 강하게 의존함을 위에서 보였으므로
평균의 불변 측정을 찾기위해 관측치를 단위원 위의 점으로 볼 수 있다.
∴ 대신 ∥x_n∥ = 1 (n = 1,...,N)인 두 차원 단위 벡터 x₁,...,x_N로 설명될 수 있는데, 아래 그림처럼 나타낼 수 있다:

대신 이 벡터들 {x_n}의 평균을 계산하면 아래와 같다:

이제, 이 평균의 해당 각도 ˉθ를 찾을 수 있다.
명백히 이 정의는 둘 사이(평균의 위치, 각도좌표의 원점)가 독립적임을 보장한다.

주의할 점:
x가 일반적으로 단위원 안에 위치한다는 것.
관측치의 직교 좌표는 x_n = (cos θ_n, sin θ_n)으로 주어지며,
우리는 샘플 평균의 직교 좌표를 x = (rcos ˉθ, rsin ˉθ)로 쓸 수 있다.
이를 위 평균 ˉx식에 대입하고 x₁ 및 x₂ 성분을 동등하게 하면 아래 등식을 도출할 수 있다: 

여기에 tan θ = sin θ/ cos θ 항등식을 사용하면 ˉθ를 구할 수 있다:

이제, 이 결과가 MLE로 자연스레 도출되는 것을 살펴보자.

---

 

Von Mises Distribution = 원형 정규분포

Von Mises분포는 Gaussian의 주기적일반화 분포이다.
관례적으로 주기=2π 분포 p(θ)를 고려한다. θ에 대한 정의된 어떤 확률 밀도 p(θ)는 단순히 비음수이고 1로 적분되어야 할 뿐만 아니라 주기적이어야하므로 p(θ)는 아래 3조건을 만족해야 한다:

p(θ+2π)=p(θ)에 따라 p(θ + M2π) = p(θ)이며 여기서 M은 임의의 정수이다.
이 3가지속성을 만족하는 Gaussian과 유사한 분포를 쉽게 얻을 수 있다.

---

다음과 같이 두 변수 x = (x₁ , x₂)에 대한 Gaussian분포를 고려하자.
이때, 평균 μ = (μ₁, μ₁)이고, 공분산 행렬 Σ = σ²I이며, 여기서 I 는 2 × 2 항등 행렬이다:

이때, 상수 p(x)의 등고선은 원형으로 아래 그림과 같다.

---

이제 일정 반지름의 원 위에서의 이 분포값을 고려해 보자.
이 분포는 구성에 따라 주기적이지만 정규화되지 않을 것이다.
이 분포의 형태를 결정하려면 직교 좌표 (x₁, x₂)에서 극좌표 (r, θ)로 변환하여
x₁ = rcosθ, x₂ = rsinθ로 작성해야하고,
또한 평균 μ를 극좌표로 변환하여 μ1 = r0 cosθ₀, μ2 = r0 sinθ₀로 작성해야 한다.
그 후 이러한 변환을 아래 이차원 Gaussian분포에 대입하자.

이제, 단위 원 r = 1에서만 관심이 있으므로 θ에 대한 의존성에만 주의하자.
Gaussian분포의 지수에 중점을 두면 아래와 같다:

 

이때, 'const'는 θ에 독립적인 항이다.
또한, 아래 삼각함수 항등식을 사용했다:

이제 m = r₀/σ²로 정의하면 p(θ)의 단위원 상의 분포에 대한 최종 표현을 얻는다:

이것이 바로 폰 미제스 분포 또는 원형 정규분포라 불리는 분포이다!


θ₀: 분포의 평균, m: 집중(concentration) 매개 변수(≒ Gaussian 역분산(= 정밀도))
I₀(m): 정규화 계수(이는 첫 번째 종류의 수정된 베셀 함수로 알려져 있다.)
이 함수는 큰 m에 대해서는 분포가 근사적으로 Gaussian이 된다.

Figure 3.11: 폰 미제스 분포

---

---

이제 폰 미제스 분포의 매개 변수 θ₀ 및 m에 대한 MLE값을 구해보자.
Log Likelihood함수:

θ₀에 대한 도함수를 0으로 놓으면 아래와 같다.

θ₀를 구하기 위해 삼각 함수 항등식 sin(A-B) = cosBsinA - cosAsinB를 사용하면, 아래 등식을 얻는다:

이는 앞서 이차원 카테시안(Cartesian) 공간에서 관측치의 평균으로 볼 때 얻은 결과인

임을 알아차릴 수 있다.

마찬가지로 Log Likelihood함수를 m에 대해 최대화하고
I₀′ (m) = I₁(m) (Abramowitz and Stegun, 1965)을 사용하면 아래와 같다:

이때, θ₀^ML에 대한 MLE 해로 대체하면, (θ 및 m에 대한 합동 최적화):

함수 A(m)은 Figure 3.12에 나와있다.
따라서 삼각 함수 항등식 cos(A-B)로 A(m_ML)의 우항을 아래처럼 쉽게 계산할 수 있다:

이때, 함수 A(m)은 숫자로 뒤집을 수 있다.

폰 미제스 분포의 한 가지 한계점: 단봉성
다중모양을 처리할 수 있는 주기 변수를 모델링하기 위해서
→ 폰 미제스 분포의 혼합체를 형성함으로써, 유연한 프레임워크를 얻는다.

 

 

 

 

 

 

 

---

4.  The Exponential Family

prev.

혼합 모델를 제외하면, 이번 장에서의 모든 분포들을 "지수족"이라 부른다.
지수족의 특성에 대해 알아보자.

x에 대한 지수족 분포는 매개 변수 η가 주어진 경우 아래 분포로 정의된다:

&eta;:분포의 자연 매개 변수(natural parameters)

u(x): x함수
g(η): 분포 정규화(normalized) 계수이므로 아래를 만족:

---

[Bernoulli Distribution]:

위와 같이 정의되는데, 이를 μ에 대해 풀면 아래 식을 얻는데, 이를 Logistic Sigmoid함수라 부른다.

얻을 수 있으며, 여기서 (3.143)은 로지스틱 시그모이드 함수로 불립니다.
따라서 Bernoulli 분포에 1 - σ(η) = σ(−η)를 이용하면, 표준 표현은 아래와 같다:

---

[Multinomial Distribution]:

여기서의 μ_k식을 Softmax함수 혹은 정규화지수(normalized exponential)라 부른다.

---

[Gaussian Distribution]:

 때로는 u(x) = x를 통해 제한된 Gaussian사용이 가능하다.

그러나 이는 f(x)가 정규화된 밀도일 때 아래 식도 정규화된 밀도가 됨을 고려하면, 다소 일반화 될 수 있다:

s>0의 scale변수

이를 결합하면 아래 형태로 표현되는 제한된 지수족 클래스 조건부밀도를 얻는다.

주의할 점: 각 클래스가 자체의 매개변수 벡터 λ_k를 가지고 있지만
클래스가 동일한 스케일 매개변수 s를 공유한다고 가정한다는 것.

---

4.1  Sufficient statistics

MLE로 일반 지수족 식의 매개 변수 벡터 η를 추정해보자:

식 2 양변을 η에 대해 미분:

이후 식 재배열하고 다시 식 2를 사용하면:

식 3

u(x)의 공분산: g(η)의 이계도함수로 표현가능.
∴ 지수족분포 정규화 시, 간단한 미분으로 모멘트를 찾을 수 있다.

---

i.i.d의 dataset X = {x₁ , . . . , x_n}에 대한 Likelihood함수:

lnp(X|η)의 η에 대한 gradient = 0이라 하면, 아래와 같은 조건을 얻을 수 있다:

식 4

이는 원칙적으로 η_ML을 얻기 위해 해결할 수 있는 조건으로
MLE의 해가 식1의 충분통계량(sufficient statistics)인 ∑_n u(x_n)을 통해
데이터 자체를 저장할 필요가 없다는 점에 주목하자.

이때, N → ∞의 극한을 고려하면 식 4의 오른쪽 항은 E[u(x)]가 되며, 
식 3과 비교하여 이 극한에서 η_ML이 실제 값 η와 동일하게 됨을 알 수 있다.

ex)
Bernoulli Distribution:
함수 u(x)는 x만으로 주어지므로 데이터 포인트 {x_n}의 합만 유지하면 됨.

Gaussian Distribution:
u(x) = (x, x²)^T이므로 {x_n} 및 {x²_n}의 합을 모두 유지한다.

 

 

 

---

5. Nonparametric Methods

prev.

[밀도모델링에 대한 모수적(parametrix) 접근]:
Dataset에서 결정되는 소수의 parameter들로 규정되는 특정기능적형태의 확률분포를 알아보자.

위 접근의 중요한 한계점:
선택한 밀도가 데이터를 생성하는 분포의 모형으로부터 벗어날 수 있음.
→ 부정확한 예측 성능을 초래 가능.

ex) Multi-modal의 Data일 때, Gaussian으로는 분포의 측면을 포착하기 힘들다.
(∵ Gaussian은 uni-modality)
이에 대해 분포의 형태에 대한 적은 가정을 하는 밀도추정의 몇가지 비모수적 방법(Histogram, KDE 등)을 고려해볼 것이다.

---

5.1  Histograms

단일 연속 변수 x에 대한 histogram밀도모델의 특성을 살펴보자.

표준 히스토그램: x를 폭 ∆_i로 구분, 다음 i번째 bin에 속하는 x의 관측치 수 n_i를 count.
🤔 이 count를 정규화 된 확률 밀도로 변환하려면?
→ 간단히 총 관측 수 N과 bin의 폭 ∆_i로 나누어 각 bin에 대한 확률 값을 얻는다:
이때, ∫p(x)dx = 1인 것이 쉽게 확인가능하며, 종종 bin은 동일한 폭 ∆_i = ∆를 가지도록 선택된다.
cf) bins: 막대기 개수를 의미.

위 그림은 히스토그램 밀도 추정의 예시로 
2개의 혼합 Gaussian의 녹색 곡선분포에서 Data 추출,
세 가지 다른 bin 폭 ∆에 해당하는 히스토그램 밀도 추정의 예가 표시.
 ∙ ∆가 매우 작은 경우: 밀도 모델은 매우 뾰족 = 기본 Dataset에 없는 구조
 ∙ ∆가 너무 큰 경우: 너무 매끄럽고 결과적으로 녹색 곡선의 이중 모양 특성을 포착❌
 ∙ ∆의 최적 값은 원칙적으로 ∆의 중간 값에서 얻어진다
원칙적으로 히스토그램 밀도 모델은 bin의 가장자리 위치의 선택에도 의존하지만
이는 일반적으로 bin 폭 ∆보다 훨씬 중요하지는 않다.

---

장단점 (feat. 차원의 저주)

히스토그램 방법은 후술되는 방법들과 다른 특성을 갖기에 histogram계산 이후 Dataset자체가 필요없어진다.
→ Dataset이 큰 경우 유리 & Data point가 순차적으로 도착 시 쉽게 적용 가능.
→ 이는 빠른 시각화에는 유리하나 대부분의 밀도추정응용 시에는 부적합함을 의미.


Prob) 추정 된 밀도가 데이터를 생성 한 기본 분포의 특성이 아닌 bin 가장자리에 의한 이산성을 갖는다는 것.
Limit) 차원에 따른 스케일링:
D 차원 공간의 각 변수를 M 개의 bin으로 나누면 총 bin 수는 M^D.
D와의 이 지수적인 스케일링은 차원의 저주(Curse of dimensionality)의 한 예시로 고차원 공간에서 지역 확률 밀도의 의미 있는 추정치를 얻기 위해 필요한 데이터 양이 방대 할 것임을 의미한다.


important Lesson)

① 특정 위치에서 확률 밀도를 추정시, 해당 지점의 일부 근처에 있는 Data point를 고려해야함.
이런 locality개념은 어떤 종류의 거리 측정을 가정해야 함을 의미. (ex) 여기서는 유클리드 거리를 가정.)
locality 속성은 bin에 의해 정의, bin 폭은 local영역의 공간범위를 나타내는 자연스러운 'smoothing' 매개 변수가 존재. 

② 좋은 결과를 얻으려면 smoothign매개 변수의 값이 너무 크지 않아야 하며 너무 작지 않아야 한다.
다항식의 차수 M 또는 정규화 매개 변수 값 λ이 중간 값에 최적화된 것과 비슷.
그렇기에 Dimension Scaling에 좀 더 나은 2가지 nonparametric기술인 Kernel Density와 K-NN에 대해 알아보자.

---

5.2  Kernel Densities

가정에 따르면 어떤 알려지지 않은 확률 밀도 p(x)에서 D-차원 공간(유클리드 공간으로 가정.)으로부터 관측치가 추출되고 p(x)의 값을 추정해보자. 
Locality에 대한 이전 논의에서 x를 포함하는 작은 영역 R을 고려해 볼 때, 이 영역과 연관된 확률 질량은 아래와 같다:

 

이제 p(x)에서 추출 된 N개의 관측치로 구성된 Dataset을 수집했다 가정하자.
각 Data point가 R 영역 내에 위치할 확률 P가 있으므로
영역 R 내에 위치한 점의 총 수 K는 이항 분포를 따른다:

점의 평균 비율이 E[K/N] = P이고, 이 주변의 분산이 var[K/N] = P(1 - P)/N이므로
큰 N에 대해서 이 분포는 평균 주변에 날카롭게 피크될 것이므로 아래와 같다:

그러나 영역 R이 확률 밀도 p(x)가 대략적으로 해당 영역 전체에서 상수일 만큼 충분히 작다고 가정하면 P ≃ p(x)V로 표현할 수 있다. 여기서 V는 R의 부피이므로 위의 K에 대한 등식과 아래 P에 대한 등식을 결합하면, 

밀도 추정치는 다음과 같은 형태로 얻을 수 있다:

위의 p(x)의 유효성은 R 영역이 밀도가 대략적으로 해당 영역 전체에서 상수이며
동시에 R 내에 떨어지는 점의 수 K가 이항 분포가 날카로운 피크를 가지도록 충분히 크다는 두 가지 모순된 가정에 의존한다.

---

위의 p(x)결과를 2가지 방법으로 활용가능하다.
① Data에서 V의 값을 결정→K의 값을 얻는 것으로 고정. (이는 아래 5.3의 K-NN기법을 도출한다)
② 우리는 V를 고정하고 데이터에서 K를 결정. (이는 커널 접근을 도출한다.)

K-NN과 Kernel밀도 모두 V가 N과 함께 축소되고 K가 N과 함께 적절한 속도로 증가함에 따라 N → ∞로 수렴한다. (Duda 및 Hart, 1973).

---

먼저 Kernel방법에 대해 자세히 알아보자.
일단 영역 R을 x를 중심으로 한 작은 초입방(hypercube)으로 취한다.
이 영역 내에 있는 점의 수 K를 세기 위해 아래와 같은 함수를 정의하는 것이 편리하다.

위 함수는 원점을 중심으로 하는 단위 큐브를 나타내는 것으로 커널 함수의 예시이며
이 문맥에서는 Parzen window라고도 한다.
위 함수에서 (x - x_n)/h의 양이 1이 될 것이며, 그렇지 않으면 0이 되므로 이 cube내의 Data point 총 수는 아래와 같다:

이 식을 k(u)에 대입하면 x에서 추정 된 밀도에 대한 아래와 같은 결과를 얻는다:

이때, 차원 D에서 한 변이 h인 초입방의 부피로 V = h^D를 사용하며, 함수 k(u)의 대칭성을 사용하여 이 방정식을 이제 x를 중심으로 하는 단일 큐브 대신 N 데이터 포인트 중심의 N 큐브로 해석할 수 있다.

위의 커널 밀도 추정기식 p(x)는 히스토그램 방법이 겪었던 문제(= 즉 큐브의 경계에서의 인위적인 불연속성 문제와 동일한 문제)가 발생한다.
더 부드러운 커널 함수를 선택하면 더 부드러운 밀도 모델을 얻을 수 있으며, 흔히 선택하는 것은 Gaussian이므로 다음과 같은 커널 밀도 모델이 생성된다:

여기서 h는 가우시안 구성 요소의 표준 편차이므로 우리의 밀도 모델은 각 데이터 포인트 위에 가우시안을 배치하고 전체 데이터 세트에서 기여를 합산 한 다음 N으로 나누어 밀도가 올바르게 정규화된다.

위 그림에서는 이 모델 위의 p(x)식을 히스토그램을 적용하기 위해 이전에 사용한 Dataset에 적용한다.

이를 통해 h가 평활화 매개 변수의 역할을 하며,
작은 h에서의 잡음 감도와 큰 h에서의 과도한 평활화 간의 균형을 유지하는 것을 볼 수 있다.
즉, h의 최적화는 모델 복잡성 문제로 히스토그램 밀도 추정에서 bin 폭의 선택이나 곡선 맞춤에 사용되는 다항식의 차수와 유사하다.

위 p(x)식에 커널 함수 k(u)를 사용하여 p(x)를 선택할 수 있으며,
결과적으로 얻어진 확률 분포가 어디에서나 음수가 아니며 1로 적분되도록하는 아래 조건에 따라야 한다.

p(x)식에 의해 주어진 밀도 모델 클래스를 Kernel밀도 추정기 또는 Parzen 추정기라고한다.
[장점]: 'train' 단계에서 계산이 필요하지 않아 저장소만 필요.
[단점]: Dataset크기가 선형으로 증가, 평가 비용이 크게 증가.

---

5.3  Nearest-neighbors

Kernel기반의 밀도추정의 단점: 하나는 커널 폭을 제어하는 매개변수 h가 모든 커널에 대해 일정하게 고정된다는 것

데이터 밀도가 높은 지역: 큰 h 값이 과도한 스무딩을 유발→데이터에서 추출할 수 있는 구조를 희석.
But❗️ h 값을 줄이면: 데이터 공간의 밀도가 작은 곳에서는 노이즈가 많은 추정값을 얻을 수 있다.
∴ h의 최적 선택은 데이터 공간 내 위치에 따라 다를 수 있다.
이 문제는 밀도 추정을 위한 Nearest Neighbors 방법으로 해결된다.

따라서 로컬 밀도 추정에 대한 일반적인 결과인 p(x) = K/NV 식으로 돌아가
V를 고정하고 데이터에서 K의 값을 결정하는 대신에,
고정된 값 K를 가지고 V의 적절한 값을 찾기 위해 데이터를 사용한다.

이를 위해 x 주변에 위치한 작은 구를 고려하고
해당 구에 정확히 K개의 데이터 포인트가 포함될 때까지 구의 반지름을 증가시킨 후,
V를 해당 구의 부피로 설정하여 밀도 p(x)를 추정하는 이 기술을 K-Nearest Neighbors라 한다.

위 그림에서는 매개변수 K의 여러 선택을 사용하여 동일한 데이터 세트에 대해 Figures 3.13 및 3.14에서 사용된 것과 같이 설명되어 있.
K의 값이 이제 스무딩의 정도를 결정하고 K가 너무 크지 않고 너무 작지 않은 최적의 선택이 있음을 다시 확인가능하다.
K -NN에 의해 생성된 모델은 전체 공간에 걸쳐 통합되지 않으므로 실제로 밀도 모델은 아니다.

이 장을 이후, 밀도 추정의 K-최근접 이웃 기술을 classification task로 확장하는 방법을 살펴볼 것이다.
이를 위해 K-최근접 이웃 밀도 추정 기술을 각 클래스에 별도로 적용하고 베이즈 이론을 사용합니다.

N_k 점으로 구성된 클래스 C_k의 데이터 세트가 있을 때 새로운 점 x를 분류하려면?
→ 해당 클래스에 대한 K-NN추정 기술을 적용, 베이즈 이론을 사용.

 x를 포함하는 정확히 K개의 점이 포함 된 구를 그리면
이 구의 부피를 V로 사용하여 각 클래스와 관련된 밀도의 추정치를 얻는다(3.187). 
비조건부 밀도는 (3.188)로 주어지고 클래스 사전 확률은 (3.189)로 주어집니다. 

이제 베이즈 이론을 사용하여 (3.187), (3.188) 및 (3.189)를 결합해 클래스 소속의 사후 확률(posterior)을 얻을 수 있다.

[Step 1]
오분류 확률을 최소화하려면 새로운 점 x를 K-최근접 점을 식별하고
그 중에서 대표자가 가장 많은 클래스K_k/K에 할당한다.

[Step 2]
따라서 테스트 포인트를 분류하려면 훈련 데이터 세트에서 K 개의 가장 가까운 포인트를 식별하고
그 세트 중에서 대표자가 가장 많은 클래스에 새로운 포인트를 할당한다.

이때, 동점은 임의로 해결할 수 있는데, K = 1인 특별한 경우는 Nearest Neighbor 규칙이라고하며
test point는 단순히 훈련 세트에서 가장 가까운 포인트와 동일한 클래스에 할당된다.
이런 개념은 아래 그림에서 볼 수 있다:

(K = 1)의 K-NN classifier의 주요점:
N → ∞일때의 오류율*2 < 최적 분류기의 최소 오류율
이 최적의 classifier는 실제 클래스 분포를 사용하는 것이다.(Cover and Hart, 1967)

---

지금까지 K-NN방법과 Kernel밀도추정기의 단점:
전체 Train Dataset을 저장해야하므로 Dataset이 크면 Cost가 많이 발생.

이러한 효과는 (근사적인) 근접 이웃을 데이터 세트를 체계적으로 검색하지 않고
효율적으로 찾기 위해 트리 기반 검색 구조를 구축하여 상쇄할 수 있지만, 이런 비모수적 방법은 여전히 심각한 제약이 있다.

반면 간단한 모수적 모델은 표현할 수있는 분포의 형태에 있어서 매우 제한적이므로 따라서 매우 유연하면서도 모델의 복잡성을 훈련 세트의 크기와 독립적으로 제어할 수 있는 밀도 모델을 찾아야 하는데, 이를 위해 Deep Learning을 활용할 수 있다.

 

 

 

 

---

cf. Hypothesis Testing (가설 검정)

Statistical Hypothesis Testing

∙ 통계적 가설검정: 통계적 추론의 일종으로 귀무가설과 대립가설로 나타낸다.
모집단의 실제 값에 대해 "표본정보로 가설의 합당성 여부를 검정하는 과정"


∙ Null Hypothesis: 귀무가설(H₀)은 처음부터 버릴 것을 예상하는 가설.
→ 의미없는 경우의 가설.

∙ Alternative Hypothesis: 대립가설(H₁)은 귀무가설에 대립되는 명제.
→ 귀무가설처럼 검정을 직접수행이 불가
→ 귀무가설을 기각함으로써 반증의 과정을 거쳐 증명.

---

가설검정 예시

ex) 전국 만 20세 이상의 평균키가 170cm라는 주장을 통계적으로 검증하자.

---

Step 1. H₀, H₁ 설정.

∙ Null Hypothesis: 20세 이상의 성인남성평균키는 170cm와 같다(= 차이가 없다).
∙ Alternative Hypothesis: 20세 이상의 성인남성평균키는 170cm와 다르다.

이제, 수집된 표본 데이터로 귀무가설의 accept/reject여부를 판단해야한다.

---

Step 2. 유의수준(significance level) α 결정.

accept / reject할 "유의수준" 설정. (보통 1%나 5% 즉, α값을 0.01이나 0.05로 설정.)
또한, 양측검정할 것인지 단측검정할 것인지도 설정해야한다. (양측일 때는 α/2값을 적용.)

---

Step 3. 표본수집, 검정통계량계산, p-value계산.

표본 수집 후, 검정통계량을 계산한다.

[검정통계량; Test Statistics]: 수집데이터로 계산한 "확률변수"
ex) 정규분포의 Z값.
이때, Z값은 표본 수, 표본 평균, 표본표준편차로 구할 수 있다.

[p-value]: 검정통계량으로 계산된 확률
즉, 추출한 표본통계량이 나타날 확률
= 귀무가설을 accept할 지 안할지의 확률.

이런 검정통계량은 분포함수에 따라 Z, t, F, ꭓ²통계량 등이 사용될 수 있고,
이에 상응하는 p-value(= 검정통계량이 나올 확률)를 계산할 수 있다.

---

Step 4. p-value ≤ α면 H₀기각, p-value > α 면 H₀ 채택.

Step 3에서 계산된 p-value와 유의수준 α를 비교.

if p_value < α:
    H1 accept
    
else:
    H0 accept

다만, p-value > α일 때, 관측확률이 유의수준보다 크다는 뜻은 귀무가설분포내에서 표본을 추출하다 우연히 발생하는 차이라 볼 수 있기에 귀무가설을 기각할 수 없는 것이다.

---

t-Test : 두 Sample그룹의 평균 비교.

∙ t-Test:
t-분포를 따르는 통계적 가설검정법.
- 귀무가설: 두 집단 평균이 동일
- 대립가설: 두 집단 평균이 다름

∙ t-Test 종류
- 단일표본 t-Test: 표본과 모집단의 평균이 다른지를 판다.
- 독립 t-Test: 두 독립표본의 평균을 비교
- 대응표본 t-Test: 동일표본대상으로 일정시간간격으로 2번 data수집, 데이터평균의 차이를 검증.

---

 

ꭓ²-Test: 적합도∙독립성∙동질성 검정

---

∙ 적합도 검정(Goodness of fit)

1개 변수에 대해, 이 변수가 기대되는 분포를 따르는지 아닌지에 대한 검정.

즉, 실제로 관측된 값과 곧 일어날 것으로 기대하는 값을 비교하는 것.

주사위를 6번 던져 1자(점 한 개), 2자(점 두 개), 3자, 4자, 5자, 6자가 나온 비율은

귀무가설: 변수 x의 관측분포와 기대분포가 같다.

대립가설: 변수 x의 관측분포와 기대분포가 다르다.

 

---

∙ 독립성 검정(Test of Independence)

2개 변수가 서로 상관이 없고 독립적이라고 기대.

즉, 관찰빈도와 비교해 서로 연관되어 있는지 기대빈도의 진위 여부를 판단.

​

[예 1]

기침약 브랜드 A B C.

150명 환자를 대상으로

기침약의 효과가 있는지 없는지 측정

귀무가설:  변수 x, y는 서로 독립

대립가설:  변수 x, y는 독립이 아님

 

---

∙ 동질성 검정(Test of Homogeneity)

2개의 변수 관계를 검정하는 독립성 검정와 달리,

동질성 검정은 각 그룹들이 동질성을 가진 것인지에 대한 검정

​

[예]

남자와 여자의 흡연율 차이에 대해 흡연 조사.

 

귀무가설: 남자와 여자의 흡연율 확률분포가 동일

대립가설: 남자와 여자의 흡연율 확률분포가 다름

 

 

카이제곱 검정을 수행하기 전에 다음 가정이 충족되어 검정이 유효한지 확인해야 한다.

​

1. 무작위

무작위 표본 또는 무작위 실험을 사용하여 두 표본에 대한 데이터를 수집

​

2. 범주형 / 카테고리(categorical) 데이터

변수는 범주형 데이터

​

위 조건이 충족되면 카이제곱 검정.

---

 

F-value와 ANOVA: 분산 분석

ANOVA(Analysis of Variance)

통계학에서 2개 이상 다수의 집단을 서로 비교할 때

집단의 분산, 총 평균, 각 집단의 평균차에 의해 생긴 집단 간 분산의 비교를 통해 만들어진 f 분포를 사용해 가설을 검정하는 방법.

F-value: 잔차 오차로 인한 분산과 그룹평균의 분산에 대한 비율로 계산한 '분산'의 비율을 척도로 이용한다.

ANOVA의 가설

귀무가설(H0): 모든 샘플 평균이 동일

대립가설(Ha): 적어도 1개의 샘플 평균이 다름

[예]

7일 동안 4명의 판매원의 판매를 기록, 각 판매원의 하루 판매는 아래와 같다

※ 영업 사원들 서로 다른 요일의 판매 차이가 있는지 판단

 

d

---

ꭓ²-Test: 적합도∙독립성∙동질성 검정

∙ 적합도 검정(Goodness of fit)

1개 변수에 대해, 이 변수가 기대되는 분포를 따르는지 아닌지에 대한 검정.

즉, 실제로 관측된 값과 곧 일어날 것으로 기대하는 값을 비교하는 것.

주사위를 6번 던져 1자(점 한 개), 2자(점 두 개), 3자, 4자, 5자, 6자가 나온 비율은

귀무가설: 변수 x의 관측분포와 기대분포가 같다.

대립가설: 변수 x의 관측분포와 기대분포가 다르다.

---

∙ 독립성 검정(Test of Independence)

2개 변수가 서로 상관이 없고 독립적이라고 기대.

즉, 관찰빈도와 비교해 서로 연관되어 있는지 기대빈도의 진위 여부를 판단.

​

[예 1]

기침약 브랜드 A B C.

150명 환자를 대상으로

기침약의 효과가 있는지 없는지 측정

귀무가설:  변수 x, y는 서로 독립

대립가설:  변수 x, y는 독립이 아님

---

∙ 동질성 검정(Test of Homogeneity)

2개의 변수 관계를 검정하는 독립성 검정와 달리,

동질성 검정은 각 그룹들이 동질성을 가진 것인지에 대한 검정

​

[예]

남자와 여자의 흡연율 차이에 대해 흡연 조사.

 

귀무가설: 남자와 여자의 흡연율 확률분포가 동일

대립가설: 남자와 여자의 흡연율 확률분포가 다름

 

 

카이제곱 검정을 수행하기 전에 다음 가정이 충족되어 검정이 유효한지 확인해야 한다.

​

1. 무작위

무작위 표본 또는 무작위 실험을 사용하여 두 표본에 대한 데이터를 수집

​

2. 범주형 / 카테고리(categorical) 데이터

변수는 범주형 데이터

​

위 조건이 충족되면 카이제곱 검정.

---

∙ ꭓ²-test 예제

어떤 동네의 주민 1,000명의 흡연 여부, 폐암 여부에 따른 분포(관찰 빈도)가 다음과 같다고 하자. 

관찰 빈도	흡연자	비흡연자	총합
폐암 환자	75	125	200
정상인	225	575	800
총합	300	700	1000

이 표를 보고 폐암 환자가 더 많다고 할 수 있는지에 대한 검정이 카이 제곱 검정이다. 카이 제곱 검정을 하는 과정은 다음과 같다.

1) 기대 빈도 산출

2) 카이 제곱 검정량 산출

3) 자유도 산출

4) p-value 계산

 

 

1) 기대 빈도 산출

2) 카이 제곱 검정량 산출

 

 

 

이 값을 잘 생각해보면, 관찰 빈도와 기대 빈도의 차이가 클수록 카이 제곱 검정량이 커진다는 것을 알 수 있다. 즉, 아무 관련성이 없다고 가정했을 때 예상되는 기대 빈도보다 더 많은 양이 관찰되거나, 훨씬 적은 양이 관찰된다면 카이 제곱 검정량이 커진다는 것이다. 따라서 너무나도 당연한 소리지만, 카이 제곱 검정량이 클수록 예상하지 못했던 결과라는 뜻이고, 유의미한 관련성이 있다는 뜻이다.  (따라서, 카이 제곱 검정량이 클수록 p-value가 작아지는 방식의 디자인이 필요하다.)

 

3) 자유도 산출

자유도=(열의 개수−1)×(행의 개수−1)=1자유도=(열의 개수−1)×(행의 개수−1)=1

4) p-value 계산

다음 두 가지 과정을 생각해보도록 한다.

 i) ɑ=0.05로 하였을 때 유의미한 관련성이 있다고 할 수 있는가?

자유도가 1인 카이 제곱 분포에서 카이 제곱 검정량이 0~3.84 사이일 때 적분 값이 0.95다. 즉, 아래 그림에서 빨간색 영역의 면적이 0.95, 파란색 영역의 면적이 0.05다. 따라서, 자유도가 1일 때, 카이 제곱 검정량이 0에서 3.84 사이로 관찰될 확률은 95%라는 뜻이고, 동시에 3.84 이상 관찰될 확률은 5%라는 뜻이다. 그러므로, 산출된 카이 제곱 검정량이 3.84보다 크면 유의미한 관련성이 있다는 것인데, 위 폐암-흡연의 카이 제곱 검정량은 6.6964였으므로 유의미한 관련성이 있다고 결론 내릴 수 있다.

 

ii) 그래서 p-value가 몇인데?

0부터 산출된 카이 제곱 검정량인 6.6964까지의 자유도가 1인 카이 제곱 함수의 적분 값(아래 그림 초록색 영역)은 0.9903394이다. 따라서 p-value는 1에서 초록색 영역 넓이를 뺀 0.0097 (아래 그림 보라색 영역)이다. 즉, p-value는 산출된 카이 제곱 검정량에서부터의 카이 제곱 함수의 적분 값을 의미한다.

---

 

🧐 정리

∙ 
ㅇ