[DL]04. Single-layer Networks: Regression

📌 목차

1. Linear Regression
2. Decision Theory
3. Bias-Variance Trade-off

 

🧐  preview: Linear Regression

Linear Regression의 기본개념 중 일부를 알아보고자 한다.
이전 장에서 다항식곡선 fitting맥락에서 간단히 다뤘었다.

Linear Regression모델은 학습가능한 parameter를 갖는 Single Layer 신경망으로
비록 단일 레이어 신경망이 실제 응용에서는 매우 제한적일지라도,
이들은 간단한 분석적 특성을 갖기에 후속 장에서 심층신경망에 대한 논의를 위해 핵심 개념을 알아보자.

 

 

 

 

 

 

---

1. Linear Regression

prev.

회귀의 목표는 D-차원 벡터 x의 값이 주어졌을 때 하나 이상의 연속적인 목표 변수 t의 값을 예측하는 것입니다. 일반적으로는 N개의 관측치 {x_n}, 여기서 n = 1, . . . , N 및 해당하는 목표 값 {t_n}으로 이루어진 교육 데이터 세트가 주어지며, 목표는 x의 새로운 값에 대한 t의 값을 예측하는 것입니다.

이를 위해 훈련 데이터에서 학습할 수 있는 매개변수 벡터 w를 나타내는 함수 y(x, w)를 정의합니다. 회귀에 대한 가장 간단한 모델은 입력 변수들의 선형 조합을 포함하는 것입니다: y(x, w) = w₀ + w₁x₁ + ... + w_Dx_D (4.1), 여기서 x = (x₁, . . . , x₁)^T입니다.

때로는 이 형태의 모델을 특별히 선형 회귀라고 합니다. 이 모델의 주요 특성은 w₀, ..., w_D 매개변수의 선형 함수임입니다. 그러나 이는 또한 입력 변수 xi의 선형 함수이기도 하며, 이는 모델에 중요한 제한을 부여합니다.

 

1.1  Bias Functions

우리는 (4.1)로 정의된 모델 클래스를 확장함으로써 입력 변수의 고정 비선형 함수의 선형 결합을 고려할 수 있습니다. 이는 다음과 같은 형태의 것입니다. (4.2) 여기서 φ_j (x)는 기저 함수라고 불립니다. 지수 j의 최대값을 M - 1로 표시하면이 모델의 총 매개 변수 수는 M이 될 것입니다. 매개 변수 w0는 데이터에서 임의의 고정 오프셋을 허용하며 때로는 편향 매개 변수라고도 합니다 (통계적 의미의 편향과 혼동해서는 안 됨). 종종 편의상 값이 φ₀(x) = 1인 추가적인 더미 기저 함수를 정의하여 (4.2)가 (4.3)이 되도록 할 수 있습니다. 여기서 w = (w₀, ..., w_M-1)^T 및 φ = (φ₀, ..., φ_M-1)^T입니다. 우리는 모델 (4.3)을 Figure 4.1에 나타낸 것처럼 신경망 다이어그램을 사용하여 표현할 수 있습니다. 비선형 기저 함수를 사용함으로써 함수 y(x, w)가 입력 벡터 x의 비선형 함수가 될 수 있도록 허용합니다. 그러나 (4.2) 형태의 함수는 w에 대해 선형이라고 불립니다. 이 매개 변수의 선형성은 이러한 모델 클래스의 분석을 크게 단순화시키는 역할을 합니다. 그러나 이것은 몇 가지 중요한 제한도 야기합니다. 딥 러닝의 출현 이전에 머신 러닝에서는 입력 변수 x의 고정된 전처리 또는 특성 추출이라고도 하는 {φ_j (x)} 기저 함수 세트를 사용하는 것이 일반적이었습니다. 목표는 결과 학습 작업을 간단한 네트워크 모델을 사용하여 해결할 수 있는 충분히 강력한 기저 함수 세트를 선택하는 것이었습니다. 불행히도 간단한 응용 프로그램 이외의 것에는 적합한 기저 함수를 수동으로 만드는 것은 매우 어려웠습니다. 딥 러닝은 데이터 집합 자체에서 데이터의 필요한 비선형 변환을 학습함으로써 이 문제를 피합니다. 우리는 이미 다항식을 사용한 곡선 피팅을 통해 회귀 문제의 예를 만났습니다. 다항식 함수 (1.1)은 x가 단일 입력 변수이고 기저 함수가 φ_j (x) = x_j로 정의되는 경우 (4.3)의 형태로 표현될 수 있습니다. 기저 함수의 여러 가능한 선택지가 있습니다. 예를 들어 (4.4) 여기서 μj는 입력 공간에서 기저 함수의 위치를 지배하고 매개 변수 s는 공간적 규모를 지배합니다. 이러한 것들은 일반적으로 '가우시안' 기저 함수라고 불리지만 확률적 해석을 갖추어야 하는 것은 아닙니다. 특히 정규화 계수는 중요하지 않습니다. 이러한 기저 함수는 학습 가능한 매개 변수 wj에 의해 곱해지기 때문입니다. 또 다른 가능한 기저 함수 선택은 (4.5)와 같은 시그모이드 기저 함수입니다. 여기서 σ(a)는 (4.6)으로 정의된 로지스틱 시그모이드 함수입니다. 동등하게 로지스틱 시그모이드와 관련이 있는 탄젠트 기저 함수를 사용할 수도 있습니다. 왜냐하면 tanh(a) = 2σ(2a) - 1이기 때문에 로지스틱 시그모이드 함수의 일반적인 선형 조합은 입력-출력 함수의 동일한 클래스를 나타낼 수 있기 때문입니다. Figure 4.2에서 이러한 기저 함수의 다양한 선택지가 설명되어 있습니다. 또 다른 가능한 기저 함수 선택은 삼각 함수의 확장인 푸리에 기저입니다. 각 기저 함수는 특정 주파수를 나타내며 무한한 공간 범위를 가집니다. 반면에 입력 공간의 유한한 영역에 국한된 기저 함수는 다양한 공간 주파수로 이루어져야 합니다. 신호 처리 응용에서는 공간과 주파수 모두에 국한된 기저 함수를 고려하는 것이 흔히 있으며 이는 웨이블릿 (Wavelets)이라는 함수 클래스로 이어집니다(Ogden, 1997; Mallat, 1999; Vidakovic, 1999). 이들은 또한 단순화를 위해 상호 직교로 정의됩니다. 웨이블릿은 입력 값이 시간 순서의 연속적인 시간 점이거나 이미지의 픽셀과 같은 정규 격자 위에 있는 경우에 가장 적합합니다. 그러나 이 장의 대부분의 토론은 기저 함수 세트의 선택과 관련이 없으며, 특별한 기저 함수 형태를 지정하지 않겠습니다. 수치적 설명을 위한 것을 제외하고 표기법을 간단하게 유지하기 위해 여기에서는 단일 대상 변수 t의 경우에 중점을 둘 것입니다. 그러나 간단히 여러 대상 변수를 처리하는 데 필요한 수정 사항을 간략히 소개할 것입니다.

---

1.2  Likelihood Function

우리는 데이터에 다항 함수를 맞추는 문제를 해결하기 위해 제곱합 오차 함수를 최소화하는 방식으로 접근했으며, 또한 이 오차 함수를 가우시안 노이즈 모델을 가정한 최대 우도 해법으로 도출할 수 있다는 것을 보였습니다. 이제 이 토론으로 돌아가 최소 제곱 방법과 최대 우도와의 관계를 더 자세히 살펴보겠습니다. 이전과 마찬가지로 대상 변수 t가 결정론적 함수 y(x, w)에 가우시안 노이즈가 첨가된 형태로 주어진다고 가정합니다. (4.7)이고, 여기서 ε는 평균이 0이고 분산이 σ²인 가우시안 랜덤 변수입니다. 따라서 (4.8)로 쓸 수 있습니다. 이제 입력값 X = {x₁, ..., x₁}과 해당하는 대상 값 t₁ ..., t₁의 데이터 세트를 고려해 봅시다. 대상 변수 {t_n}을 t로 나타내는데, 여기서 서체를 사용하여 단일 다변량 대상의 단일 관측값과 구별하도록 합니다. 이러한 데이터 포인트가 (4.8) 분포에서 독립적으로 추출된다는 가정을 하면 매개변수 w와 σ²에 대한 우도 함수의 표현을 얻을 수 있습니다. (4.9)이며, 여기서 (4.3)을 사용했습니다. 우도 함수에 대한 자연로그를 취하고, 단일 변수 가우시안에 대한 표준 형식(2.49)을 사용하면 (4.10)이라는 결과를 얻을 수 있습니다. 여기서 제곱합 오차 함수는 (4.11)에 의해 정의됩니다. (4.10)의 첫 두 항은 w를 결정할 때 상수로 처리될 수 있습니다. 따라서 앞서 본 것처럼 가우시안 노이즈 분포 하에서 우도 함수를 최대화하는 것은 제곱합 오차 함수 (4.11)를 최소화하는 것과 동등합니다.

---

1.3  Maximum Likelihood

우리가 우도 함수를 작성한 후, 최대 우도를 사용하여 w와 σ²를 결정할 수 있습니다. 먼저 w에 대한 최대화를 고려해 봅시다. 로그 우도 함수 (4.10)의 w에 대한 기울기는 (4.12) 형태를 가집니다. 이 기울기를 제로로 설정하면 (4.13)이 됩니다. w에 대해 풀어주면 (4.14)가 되는데, 이는 최소 제곱 문제에 대한 정규 방정식으로 알려져 있습니다. 여기서 Φ는 N×M 행렬로, 디자인 행렬이라고 불리며 그 원소는 Φ_nj = φ_j(x_n)로 주어지므로 (4.15)입니다. 양이 (4.16)은 Moore-Penrose 유사 역행렬(Moore–Penrose pseudo-inverse)로 알려져 있습니다 (Rao and Mitra, 1971; Golub and Van Loan, 1996).

이는 정사각형이 아닌 행렬에 대한 행렬 역행렬의 개념을 일반화한 것으로 볼 수 있습니다. 실제로 Φ가 정사각형이고 가역적이면 성질 (AB)−1 = B−1A−1을 사용하여 Φ† ≡ Φ−1임을 알 수 있습니다. 이 시점에서 편향 매개 변수 w0의 역할에 대한 어떤 통찰력을 얻을 수 있습니다. 편향 매개 변수를 명시적으로 만들면 오차 함수 (4.11)는 (4.17)이 됩니다. w0에 대한 도함수를 0으로 설정하고 w0에 대해 풀면 (4.18)이 되며 여기서 (4.19)를 정의했습니다. 따라서 편향 w0은 대상 값의 평균과 기저 함수 값의 가중 평균 간의 차이를 보상합니다. 우리는 또한 분산 σ²에 대한 로그 우도 함수 (4.10)를 최대화할 수 있으며, 이는 (4.20)을 주고 있습니다. 그래서 분산 매개 변수의 최대 우도 값은 회귀 함수 주변의 대상 값의 잔차 분산에 의해 주어집니다.

---

 

1.4  Geometry of Least Squares

이 시점에서 최소 제곱 해법의 기하학적 해석을 고려하는 것이 유익합니다. 이를 위해 t_n으로 주어진 N 차원 공간을 고려하면 t = (t₁, ..., t_N)^T는 이 공간의 벡터입니다. 각 기저 함수 φ_j(x_n), N 데이터 포인트에서 계산된 것,은 또한 동일한 공간에 벡터로 표현될 수 있으며 이를 φ_j로 표시합니다. Figure 4.3에서 설명된 것처럼 φ_j는 Φ의 j번째 열에 해당하며, φ(x_n)은 Φ의 nth 행의 전치에 해당합니다. 기저 함수의 수 M이 데이터 포인트 수 N보다 작은 경우, M 개의 벡터 φ_j(x_n)는 차원이 M인 선형 부분 공간 S를 구성합니다. y를 n = 1, ..., N일 때 y(x_n, w)로 주어진 N 차원 벡터로 정의합니다. y는 벡터 φ_j의 임의의 선형 조합이므로 M 차원 부분 공간 어디에든 위치할 수 있습니다. 제곱합 오차 (4.11)는 따라서 y와 t 사이의 제곱 유클리드 거리에 해당합니다(1/2의 배수를 제외하고). 따라서 w에 대한 최소 제곱 해법은 subspace S 내에 위치하고 t에 가장 가까운 y의 선택에 해당합니다. 직관적으로 Figure 4.3에서 이 해법이 t를 subspace S로의 수직 투영에 해당함을 예상할 수 있습니다. 이는 실제로 Φw_ML로 y에 대한 해법이 주어지고 이것이 수직 투영의 형태를 취함을 확인함으로써 쉽게 확인할 수 있습니다. 실제로 정규 방정식의 직접적인 해법은 Φ^TΦ가 특이에 가까울 때 수치적인 어려움을 야기할 수 있습니다. 특히 두 개 이상의 기저 벡터 φ_j가 공선성을 띄거나 거의 공선성을 띌 때 결과적인 매개변수 값은 큰 크기를 가질 수 있습니다. 실제 데이터 세트를 다룰 때 이러한 근접한 퇴화는 흔하지 않지 않습니다. 결과적인 수치적인 어려움은 특이 값 분해 또는 SVD (Deisenroth, Faisal, and Ong, 2020) 기술을 사용하여 해결할 수 있습니다. 정규화 항을 추가하면 행렬이 퇴화가 있더라도 특이하지 않음이 보장됩니다.

---

 

1.5  Sequential Learning

최대 우도 해법(4.14)은 전체 훈련 세트를 한 번에 처리하는 일괄 처리 방법으로 알려져 있습니다. 이는 대규모 데이터 세트에 대해 계산 비용이 많이 들 수 있습니다. 데이터 세트가 충분히 크다면, 데이터 포인트가 하나씩 고려되고 각 제시 후에 모델 매개변수가 업데이트되는 순차 알고리즘인 순차 알고리즘, 또는 온라인 알고리즘을 사용하는 것이 가치 있을 수 있습니다. 순차 학습은 데이터 관측이 연속적으로 발생하고 모든 데이터 포인트가 볼 때까지 예측이 이루어져야 하는 실시간 응용 프로그램에도 적합합니다. 확률적 경사 하강법, 또는 순차 경사 하강법이라고도 알려진 기술을 적용하여 순차 학습 알고리즘을 얻을 수 있습니다. 오차 함수가 데이터 포인트에 대한 합인 경우 E = ∑nEn, 데이터 포인트 n이 제시된 후 확률적 경사 하강법 알고리즘은 (4.21)을 사용하여 매개변수 벡터 w를 업데이트합니다. 여기서 τ는 반복 횟수를 나타내며, η는 적절히 선택된 학습 속도 매개변수입니다. w의 값은 어떤 시작 벡터 w⁽⁰⁾로 초기화됩니다. 제곱 오차 함수 (4.11)의 경우 이는 (4.22)를 주어지며, 여기서 φ_n = φ(x_n)입니다. 이는 최소 평균 제곱 또는 LMS 알고리즘으로 알려져 있습니다.

---

 

1.6  Regularized Least Squares

과적합을 제어하기 위해 오차 함수에 정규화 항을 추가하는 개념을 이전에 소개했습니다. 이로 인해 최소화해야 하는 총 오차 함수는 다음과 같은 형태를 가집니다 (4.23), 여기서 λ는 정규화 계수로 데이터 종속적 오차 ED(w)와 정규화 항 EW(w)의 상대적 중요성을 제어합니다. 정규화 항의 가장 간단한 형태 중 하나는 가중치 벡터 요소들의 제곱의 합으로 주어집니다 (4.24). 만약 우리가 또한 (4.25)에 주어진 제곱 합 오차 함수를 고려한다면, 전체 오차 함수는 다음과 같아집니다 (4.26). 통계에서 이 정규화 항은 매개변수 값을 제로로 수축시키기 때문에 매개변수 수축 방법의 한 예를 제공합니다. 그것은 오차 함수가 여전히 w의 이차 함수로 유지되는 장점이 있으며, 따라서 그 정확한 최소화 값은 닫힌 형식으로 찾을 수 있습니다. 특히 (4.26)의 w에 대한 기울기를 제로로 설정하고 이전과 같이 w에 대해 해결하면 (4.27)을 얻습니다. 이는 최소제곱 솔루션 (4.14)의 간단한 확장을 나타냅니다.

---

 

1.7  Multiple Outputs

지금까지 단일 대상 변수 t가 있는 상황을 고려했습니다. 어떤 응용 프로그램에서는 K > 1 대상 변수를 예측하고 싶을 수 있으며, 이들은 대상 벡터 t = (t₁ , . . . , t_k )^T로 통칭합니다. 각 t 구성 요소에 대해 다른 기저 함수 집합을 도입하여 여러 독립적인 회귀 문제로 진행할 수 있습니다. 그러나 더 일반적인 접근 방식은 대상 벡터의 모든 구성 요소를 모델링하는 데 동일한 기저 함수 집합을 사용하는 것입니다. 이로 인해 다음과 같은 형태가 됩니다 (4.28), 여기서 y는 K 차원 열 벡터이고, W는 매개변수의 M × K 행렬이며, φ(x)는 이전과 같이 요소가 φ_j(x)인 M 차원 열 벡터입니다. 이는 다시 한 계층의 매개변수를 가진 신경망으로 나타낼 수 있습니다. Figure 4.4에 표시된 것처럼입니다. 대상 벡터의 조건부 분포를 형식 (4.29)의 등방성 가우시안으로 취한다고 가정해 봅시다. t₁, . . . , t₁의 관측치 세트가 있다면 이를 t^T_n이 주어지는 행렬 T로 결합할 수 있으며, 크기가 N × K인 행렬 X로 x₁, ..., x_N의 입력 벡터를 결합할 수 있습니다. 그런 다음 로그우도 함수는 (4.30)으로 주어집니다. 이전과 마찬가지로 W에 대해 이 함수를 최대화할 수 있으며, 이는 (4.31)을 제공합니다. 여기서 입력 특징 벡터 φ(x₁ ), . . . , φ(x_N )을 행렬 Φ로 결합했습니다. 각 대상 변수 tk에 대해 이 결과를 조사하면 (4.32)가 나오며, 여기서 t_k는 n = 1, . . . N의 구성 요소 t_nk를 갖는 N 차원 열 벡터입니다. 따라서 회귀 문제의 해결은 서로 다른 대상 변수 간에 분리되며 모든 벡터 wk에 공유되는 단일 의사 역행렬 행렬 Φ†만 계산하면 됩니다. 임의의 공분산 행렬을 갖는 일반적인 가우시안 노이즈 분포로의 확장은 간단합니다. 다시 한 번 K 개의 독립적인 회귀 문제로 분리됩니다. 이 결과는 W 매개변수가 가우시안 노이즈 분포의 평균만을 정의하고 있으며, 다변량 가우시안의 평균에 대한 최대 우도 솔루션이 공분산과 독립적이라는 사실을 알고 있기 때문에 예상 가능합니다. 이제부터는 편의상 단일 대상 변수 t만을 고려할 것입니다.

 

 

 

 

 

 

 

 

 

 

 

 

---

2. Decision Theory

prev.

우리는 회귀 작업을 조건부 확률 분포 p(t|x)를 모델링하는 것으로 정의했으며, 조건부 확률의 특정 형태로는 매개변수 w에 의해 조절되는 x-의존적 평균 y(x, w)과 매개변수 σ²에 의한 분산을 가지는 가우시안(4.8)을 선택했습니다. w와 σ²는 최대우도를 사용하여 데이터에서 학습될 수 있습니다. 결과적으로 (4.33)으로 표현되는 예측 분포가 됩니다. 예측 분포는 새로운 입력 x에 대한 t의 값에 대한 불확실성을 나타냅니다. 그러나 많은 실용적인 응용 프로그램에서는 전체 분포를 반환하는 대신 특정 값을 예측해야 하는 경우가 많습니다. 특히 특정 작업을 수행해야 하는 경우입니다. 예를 들어 종양을 치료하기 위한 방사선의 최적 레벨을 결정하려면 모델이 방사선 용량에 대한 확률 분포를 예측하고, 그 분포를 사용하여 특정 용량을 결정해야 합니다. 이런 경우 우리의 작업은 첫 번째 단계에서는 추론 단계로 나뉩니다. 추론 단계에서는 훈련 데이터를 사용하여 예측 분포 p(t|x)를 결정합니다. 두 번째 단계는 의사 결정 단계로, 이 예측 분포를 사용하여 일정 기준에 따라 최적의 특정 값을 f(x)로 결정합니다. 이를 위해 예측 분포 p(t|x)와 f에 의존하는 손실 함수를 최소화합니다. 직관적으로 우리는 조건부 분포의 평균을 선택할 것입니다. 따라서 f(x) = y(x,w_ML)을 사용할 것입니다. 이 직관이 어떤 경우에는 맞을 수 있지만, 다른 상황에서는 매우 나쁜 결과를 낼 수 있습니다. 따라서 이것이 언제 적용되며 어떤 가정 하에서 적용되는지를 이해하기 위해 이를 공식화하는 것이 유용하며, 이를 수행하는 프레임워크를 의사 결정 이론이라고 합니다. 우리가 예측에 대한 최적값 f(x)를 선택할 때 실제 값이 t일 때 일종의 패널티 또는 비용이 발생합니다. 이는 손실로 나타내며 L(t, f(x))로 표기합니다. 물론 우리는 t의 실제 값을 모르기 때문에 L 자체를 최소화하는 대신 (4.34)에서 주어진 것처럼 입력과 대상 변수의 결합 분포 p(x, t)에 가중치를 부여하여 평균 또는 기대 손실을 최소화합니다. 회귀 문제에서 일반적으로 사용되는 손실 함수의 선택은 L(t, f(x)) = {f(x) - t}²로 주어집니다. 이 경우 기대 손실은 (4.35)로 표현됩니다. E[L]을 최소화하기 위해 우리의 목표는 f(x)를 선택하는 것입니다. 완전히 유연한 함수 f(x)를 가정한다면, 우리는 미분 가변의 계산을 사용하여 이를 형식적으로 수행할 수 있습니다. (4.36)으로 주어진 결과를 얻습니다. f(x)에 대해 풀어나가고 확률의 합과 곱 규칙을 사용하여 (4.37)을 얻습니다. 이는 x에 대한 조건부 평균이며 회귀 함수로 알려져 있습니다. 이 결과는 Figure 4.5에서 설명된 것과 같습니다. 이는 다변수 대상 변수를 나타내는 벡터 t로 확장할 수 있으며, 이 경우 최적 해는 조건부 평균 f⋆(x) = E[t|x]입니다. 가우시안 조건부 분포의 경우 (4.8) 형태로, 조건부 평균은 단순히 (4.38)입니다. (4.37)를 유도하는 또 다른 방법으로는 회귀 문제의 본질을 더 잘 이해할 수 있는 방식으로 유도할 수 있습니다. 최적 해가 조건부 기대값인 지식을 바탕으로 제곱 항을 다음과 같이 확장할 수 있습니다. {f(x) - t}² = {f(x) - E[t|x] + E[t|x] - t}² = {f(x) - E[t|x]}² + 2{f(x) - E[t|x]}{E[t|x] - t} + {E[t|x] - t}² 표기를 단순하게 유지하기 위해 E[t|x]를 Et[t|x]로 사용합니다. 손실 함수 (4.35)에 대입하고 t에 대한 적분을 수행하면 교차 항이 없어지고 손실 함수를 (4.39) 형태로 얻습니다. 우리가 결정하려는 함수 f(x)는 첫 번째 항 에만 나타나며, 이 항은 f(x)가 E[t|x]와 같을 때 최소화됩니다. 이 경우 이 항은 없어집니다. 이는 우리가 이전에 유도한 결과일 뿐이며, 최적의 최소제곱 예측자는 조건부 평균으로 주어집니다. 두 번째 항은 x에 대해 평균화된 t의 분포의 분산이며 대상 데이터의 내재적 변동성을 나타내며 손실 함수의 기본 최솟값으로 간주될 수 있습니다. 제곱 손실은 회귀를 위한 손실 함수의 유일한 선택이 아닙니다. 여기서 우리는 제곱 손실의 간단한 일반화 중 하나인 민코프스키 손실을 간단히 검토합니다. 그 기대값은 (4.40)으로 주어지며 q = 2의 경우 예상된 제곱 손실로 감소합니다. 여러 q 값에 대한 f - t에 대해 |f - t|^q 함수는 Figure 4.6에서 플로팅됩니다. E[Lq]의 최솟값은 q = 2의 경우 조건부 평균, q = 1의 경우 조건부 중앙값 및 q → 0의 경우 조건부 모드입니다. 가우시안 노이즈 가정은 x가 주어졌을 때 t의 조건부 분포가 단일 모양임을 의미하며, 이는 일부 응용 프로그램에는 부적절할 수 있습니다. 이 경우 제곱 손실은 매우 나쁜 결과로 이어질 수 있으며 더 정교한 접근 방식이 필요합니다. 예를 들어 우리는 가우시안의 혼합을 사용하여 다중 모드 조건부 분포를 만들어 이를 해결할 수 있습니다. 이는 역 문제의 해결에서 자주 발생합니다. 이 섹션에서는 회귀 문제에 대한 의사 결정 이론에 중점을 두었으며, 다음 장에서는 분류 작업에 대한 유사한 개념을 개발할 것입니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

---

3.  Bias-Variance Trade-off

prev.

지금까지 회귀에 대한 선형 모델에 대한 논의에서 우리는 기저 함수의 형태와 개수가 모두 주어진 것으로 가정했습니다. 또한 최대우도를 사용하면 데이터 세트 크기가 제한된 경우 복잡한 모델을 훈련시킬 때 심각한 과적합이 발생할 수 있음을 보았습니다. 그러나 과적합을 피하기 위해 기저 함수의 개수를 제한하면 모델이 데이터의 흥미로운 경향을 캡처하는 유연성이 제한되는 부작용이 발생합니다. 많은 매개변수를 가진 모델에 대한 과적합을 제어하는 정규화 항이 있더라도 정규화 계수 λ에 적절한 값을 어떻게 결정할지에 대한 문제가 발생합니다. 가중치 벡터 w 및 정규화 계수 λ에 대한 정규화된 오류 함수를 최소화하는 해를 찾는 것은 분명히 옳지 않은 접근 방식입니다. 왜냐하면 이는 λ = 0의 정규화되지 않은 해로 이어지기 때문입니다.

모델 복잡성 문제에 대한 빈도주의적 관점인 편향-분산 균형을 고려하는 것이 유익합니다. 우리는 이 개념을 선형 기저 함수 모델의 맥락에서 소개할 것이며, 여기서 간단한 예제를 사용하여 아이디어를 설명하기가 쉽습니다. 그러나 이 논의는 매우 일반적으로 적용될 수 있습니다. 다만, 오버피팅은 실제로 최대우도의 불행한 속성이며 베이지안 환경에서 매개변수에 대한 주변화를 수행할 때는 발생하지 않습니다(Bishop, 2006).

우리가 회귀 문제에 대한 의사 결정 이론을 논의할 때 우리는 다양한 손실 함수를 고려했고, 각각은 조건부 분포 p(t|x)가 주어진 경우에 대응하는 최적의 예측을 제공합니다. 인기 있는 선택은 제곱 손실 함수이며, 이 경우 최적의 예측은 조건부 기대치로 주어지며, 이를 h(x)로 표시하고 (4.41)로 주어집니다. 또한 기대되는 제곱 손실은 (4.42) 형태로 표현될 수 있습니다. 두 번째 항은 f(x)에 독립적인 인트린직 데이터 노이즈에서 발생하며 예상 손실의 최솟값입니다. 첫 번째 항은 함수 f(x)의 선택에 따라 달라지며 이 항을 최소화하는 f(x)의 해를 찾을 것입니다. 이 항이 음이 아니기 때문에 이 항의 가장 작은 값은 0입니다. 우리가 무한한 데이터 공급이 있다면 (그리고 무한한 계산 자원이 있다면) 원하는 정도의 정확도로 회귀 함수 h(x)를 원칙적으로 찾을 수 있으며, 이것이 f(x)에 대한 최적의 선택일 것입니다. 그러나 실제로는 유한한 수의 데이터 포인트 N만 포함된 데이터 세트 D가 있고, 따라서 우리는 회귀 함수 h(x)를 정확하게 알 수 없습니다. 만약 매개 변수 벡터 w에 의해 지배되는 함수로 h(x)를 모델링한다면 베이지안 관점에서는 모델의 불확실성이 w에 대한 사후 분포를 통해 표현됩니다. 그러나 빈도주의적 처리는 데이터 세트 D를 기반으로 w의 점 추정치를 생성하고, 이 추정치의 불확실성을 다음과 같은 사고 실험을 통해 해석하려고 시도합니다. N 크기의 각 독립적으로 추출된 데이터 세트 D가 분포 p(t, x)에서 독립적으로 그려진 것으로 가정합니다. 특정 데이터 세트 D에 대해 우리의 학습 알고리즘을 실행하고 예측 함수 f(x; D)를 얻을 수 있습니다. 앙상블의 다른 데이터 세트는 다른 함수를 제공하며 결과적으로 제곱 손실의 다른 값들을 얻게 됩니다. 특정 학습 알고리즘의 성능은 데이터 세트의 이러한 앙상블에 대한 평균을 취함으로써 평가됩니다. (4.42)의 첫 번째 항의 적분 피감이 N 크기의 특정 데이터 세트 D에 대해 (4.43)의 형태를 취합니다. 이 양은 특정 데이터 세트 D에 따라 다르기 때문에 데이터 세트 앙상블에서 이를 평균을 취합니다. 중괄호 안에 ED[f(x; D)]를 더하고 빼면서 확장하면 (4.44)를 얻을 수 있습니다. 이제 D에 대한 이 표현식의 기대값을 취하고 최종 항이 사라지게 하

면 (4.45)를 얻을 수 있습니다. f(x; D)와 회귀 함수 h(x) 간의 예상 제곱 차이는 두 항의 합으로 표현될 수 있습니다. 첫 번째 항은 제곱 바이어스라고 불리며 모든 데이터 세트에 대한 평균 예측이 원하는 회귀 함수에서 얼마나 다른지를 나타냅니다. 두 번째 항은 분산이라고 불리며 개별 데이터 세트에 대한 솔루션이 평균 주변에서 얼마나 다른지를 측정하며 따라서 f(x; D) 함수가 특정 데이터 세트의 특정 선택에 민감한 정도를 나타냅니다. 이러한 정의를 지지하는 몇 가지 직관을 곧 간단한 예제를 통해 고려할 것입니다. 지금까지 x의 단일 입력 값을 고려했습니다. 이 확장을 (4.42)로 되돌리면 기대 제곱 손실의 다음 분해를 얻습니다. (4.46), 여기서 (4.47 ~ 4.49)이고 이제 바이어스 및 분산 용어는 통합된 양으로 참조됩니다. 우리의 목표는 기대 손실을 최소화하는 것인데, 이는 (제곱) 바이어스, 분산 및 상수 노이즈 항의 합으로 분해되었습니다. 보게 될 것처럼 바이어스와 분산 간에는 트레이드 오프가 있으며, 매우 유연한 모델은 낮은 바이어스와 높은 분산을 가지며, 비교적 강건한 모델은 높은 바이어스와 낮은 분산을 가지게 됩니다. 최적의 예측 능력을 가진 모델은 바이어스와 분산 간의 최상의 균형을 찾는 것입니다. 이는 앞서 소개한 사인 데이터 세트를 고려하여 설명됩니다. 여기서 우리는 N = 25 데이터 포인트를 포함하는 각각 100 개의 데이터 세트를 독립적으로 생성하고 사인 곡선 h(x) = sin(2πx)에서부터입니다. 데이터 세트는 l = 1,...,L로 색인되며, 여기서 L = 100입니다. 각 데이터 세트 D(l)에 대해 총 25 개의 매개 변수를 제공하기 위해 M = 24 개의 가우시안 기저 함수와 상수 '바이어스' 기저 함수를 사용하여 모델을 적합시킵니다. 정규화된 오류 함수 (4.26)를 최소화함으로써 예측 함수 f(l)(x)를 얻습니다. Figure 4.7에 표시된 것처럼 상단 행은 낮은 분산(왼쪽 그림에서 빨간 곡선이 유사하게 보이기 때문)과 높은 바이어스(오른쪽 그림에서 두 곡선이 매우 다르기 때문)를 가진 정규화 계수 λ의 큰 값에 해당합니다. 반면에 아래 행은 λ가 작은 경우로 큰 분산(왼쪽 그림에서 빨간 곡선 간의 높은 변동성으로 나타남)과 낮은 바이어스(평균 모델 적합과 원래 사인 함수 간의 좋은 적합이 나타남)를 가집니다.

복잡한 모델에 대한 M = 25의 여러 해를 평균하는 결과는 회귀 함수에 매우 잘 맞는 것으로 나타나며, 이는 평균화가 유익한 절차일 수 있다는 것을 시사합니다. 실제로 가중 평균화는 베이지안 접근의 핵심에 놓여 있으나, 이 평균화는 매개변수의 사후 분포에 대한 것이며 다수의 데이터 집합에 대한 것은 아닙니다. 이 예제에 대해 편향-분산 트레이드오프를 양적으로 조사할 수도 있습니다. 평균 예측은 (4.50)에서 추정되며, 그런 다음 통합 제곱 편향과 통합 분산은 (4.51~4.52)에서 주어집니다. 여기서 x에 대한 적분은 분포 p(x)로 가중된 상태에서 해당 분포에서 뽑은 데이터 포인트를 통한 유한한 합으로 근사화됩니다. 이러한 양은 Figure 4.8에서 ln λ의 함수로 플로팅됩니다. 우리는 λ의 작은 값들이 각 개별 데이터 세트의 노이즈에 민감하게 조정되어 큰 분산을 초래하는 것을 볼 수 있습니다. 반대로, 큰 λ 값은 가중치 매개변수를 제로로 끌어당겨 큰 편향을 초래합니다. 편향-분산 분해는 데이터 집합의 앙상블에 대한 평균에 기초하므로 실제로는 단일 관측된 데이터 세트만 가지고 있습니다. 주어진 크기의 독립적인 교육 세트가 많다면 이를 단일 큰 교육 세트로 결합하는 것이 더 좋을 것이며, 물론 주어진 모델 복잡성에 대한 오버핏 수준을 감소시킬 것입니다. 그러나 편향-분산 분해는 종종 모델 복잡성 문제에 대한 유용한 통찰을 제공하며, 이 장에서는 회귀 문제의 관점에서 소개했지만 근본적인 직관은 광범위한 적용 가능성을 가지고 있습니다.

 

 

 

 

 

 

🧐 정리

∙ 
ㅇ