this.code();

※ Supervised learning 과 Unsupervised learning

▶ Supervised learning (지도학습) _ Classification, Regression, etc.

정답과 오답 등과 같은 답이 있는 train dataset (학습데이터)로 학습시키는 것

§ 지도학습 알고리즘

• 선형 회귀(linear regression)
• 로지스틱 회귀(logistic regression)
• k-최근접 이웃(k-NN : k-Nearest Neighbors)
• 결정 트리(decision trees)
• 신경망(neural networks), Deep NN
• 서포트 벡터 머신(SVC : support vector machines)
• 랜덤 포레스트(randome forests)

▶ Unsupervised learning (비지도학습) _ Clustering, PCA, etc.

정답과 오답 등과 같은 답이 없는 train dataset (학습데이터)로 학습시키는 것

※ (Linear) Regression

장점: 사용하기 쉽고 설명력이 있다. (popular and easy to use, explain with prediction)

단점: 정확도와 linear 관계성을 설명해야 한다. (redundant features, irrelevant features)

▶ 목적:  how to predict y-values (continuous values)

§ β값은 어떻게 찾을 것인가?

[ β_hat 구하는 방법 증명 ]

※ Model evaluation (모델 평가) [ feat.   y,  y_hat ]

※ Regularization (규제화)

※ Nonlinear Regression

- input과 output사이의 관계성이 선형(nonlinear)일 때

※ Logistic Regression

※ Logistic Function

※ Logistic Regression 의 해석 방법

※ (Linear)Regression  vs  Logistic Regression

§ Regression

장점: 사용하기 쉽고 설명력이 있다. (popular and easy to use, explain with prediction)

단점: 정확도와 linear 관계성을 설명해야 한다. (redundant features, irrelevant features)

§ Logistic Regression

장점: 해석력이 괜찮고 사용하기 편하다. (Interpretability, Easy to use)

단점: 예측력(prediction)이 다른 모델에 비해 뛰어난 편에 속하지는 않는다. (Performance)

※ Bayesian Classifier (2-class-Classification)

Ex. 연어와 배스에 대해 구별하는 문제상황에 대해 생각해보자.

- 옵션1: 사람의 경험에 의해 어느 바다에서 어떤 물고기가 더 잘 잡히는지에 대한 연평균 데이터
- 옵션2: 자동적인 system [전처리-특징추출-classification]

위의 class에 대해 우리는 분류를 해야하며 이때, Bayesian Classifier를 사용할 수 있는데,
다른 model들과 Bayesian이 가장 확연히 다른 점이 하나 있다. 아래 수식을 살펴보자.
먼저 Bayesian의 공식은 조건부확률로 이루어져 있다.

여기서 가장 중요한 것은 Prior이다.

다른 머신러닝 모델들과 확연히 다른 Bayesian 만이 갖는 특징으로 사용자 주관이 개입될 수 있다는 점이다.

예를 들어 어떤 바다에서 물고기를 잡았을 때, 70%정도가 salmon이라 판별된다면,
이런 자연적인 분포비율을 model에 집어넣을 수 있다는 뜻이다.
예를 들어, 모델이 fish5에 대해 salmon일 확률을 0.3이라 예측했다면, 70%의 주관의 개입으로 모델의 분류효과를 달리할 수 있다는 점이다.

※ Generative vs Discriminative // Parametric vs Non-parametric

§ Generative vs Discriminative

▶ Generative
- modeling의 결과로부터 data를 만들 수 있다.
- Output: 확률 분포 (Probability distribution)

▶ Discriminative
- data를 모아 판별함수를 찾을뿐, 생성하지는 못하는 함수 (Just looking for a discriminant function)

§ Parametric vs Non-parametric

▶ Parametric
- 미리 지정된 모델의 파라미터를 최적화함 (optimize pre-defined parameters in a model)

▶ Non-parametric
- 모델에 파라미터자체가 없음 (no parameters in a model)

※ Parameter Estimation_ Discriminant Function for Decision Boundary

§ Decision Boundary

▶ 단항함수와 다항함수 Gaussian (Univariate and multivariate Gaussian)
- 단항함수 Gaussian (Univariate Gaussian)

- 다항함수 Gaussian (Multivariate Gaussian)

※ Maximum Likelihood Estimation

위 그래프에서 data 밀집이 평균과 가까워질수록 값이 커진다.
최댓값은 미분했을 때, 0일 때! (접선의 기울기 = 0)

§ 뮤(평균) 추정값

※ Naive Bayesian classifier

위와 같이 고차원 공간의 세타값 추정 방법

이 방법은 너무 복잡하고 시간소비가 심하다.

§ Naive Bayesian classifier => 매우 강한 추정방식 (모든 특징 변수들이 독립적이어서)

장점: 모든 변수가 다 독립이며 매우 string한 assumption이 가능하다.
따라서 각 클래스 별로 변수끼리 따로따로 계산해서 추정한다.

아래를 보면 Bayesian과 Naive간의 차이점을 볼 수 있다.

▶ 다중변수 추정을 나이브하게 만들어 단변수 추정으로 만들 수 있다.
(Multivariate distribution estimation => Univariate distribution estimation)