[Gain Study_NLP]11. Duality(CycleGAN, DSL, DUL, back-translation 재해석)

📌 목차

1. preview
2. Duality를 활용한 Supervised Learning
3. Duality를 활용한 Unsupervised Learning
4. Back-Translation 재해석

😚 글을 마치며...

 

 

 

---

1. Preview

1.1 Duality란?
우린 보통 기계학습을 통해 특정 도메인의 data X를 받아
다른 도메인의 data Y로 mapping하는 함수를 근사하는 법을 학습한다.
따라서 대부분의 기계학습에 사용되는 dataset은 두 도메인 사이 data로 구성된다.

Duality: 두 도메인 사이의 관계, 대부분의 기계학습문제는 이처럼 Duality속성을 갖는다.
특히나 NMT는 각 도메인의 data사이에 정보량의 차이가 거의 없다는 점이 큰 특징이자 장점인데, Duality를 적극적으로 활용한다면 기계번역을 고도화할 수 있다.

 

1.2 CycleGAN
번역 외 분야에서도 Duality를 활용할 수 있는데,
∙ Vision분야에서 소개한 [CycleGAN; 2017]에 대해 소개해보고 한다.

---

CycleGAN이란 아래그림처럼 짝지어지지않은 두 도메인의 이미지가 있을때,
X도메인의 image를 Y도메인의 image로 변환하는 방법이다.

사진의 전반적 구조는 유지하되, 모네의 화풍으로 바꾸거나 말을 얼룩말이나 민무늬로 바꿔주기도 한다.

X→Y와 Y→X 모두 각각 생성자 G, F와 판별자 D_x, D_y를 갖고있기에 min/max 게임을 수행한다.
G는 x를 입력으로 받아 ŷ으로 변환한다.
F는 y를 입력으로 받아 x̂ 으로 변환한다.
D_x는 x̂ 이나 x를 입력으로 받아 합성 여부를 판단한다.

CycleGAN의 동작개요

이 방식의 핵심은 x̂ 나 ŷ를 합성할 때, 기존의 도메인 X, Y에 실제로 속하는 이미지처럼 만들어 내야 한다는 것이다.
그리고 각각의 x̂ 와 ŷ로부터 원래 data로 돌아올 수 있어야 한다는 것이다.

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

2. Duality를 활용한 Supervised Learning

2.1 DSL (Dual Supervised Learning)
이번에 소개할 논문은 Duality를 활용한 지도학습[DSL;2017]이다.
이 방법은 기존의 Teacher-Forcing의 어려움 해결 시,
RL방법대신 Duality의 Regularization Term을 도출해 해결한다.

---

Bayes 정리에 따르면 아래수식은 항상 성립.

그렇다면, 이 수식대로 dataset을 통해 훈련한 모델들은 아래 수식을 만족해야한다.

위와 같은 전제로 번역훈련을 위한 목표에 적용한다면, 아래와 같다.

위의 수식을 해석해보자.

∙[목표. 1]: Bayes정리에따른 제약조건을 만족 + ℓ₁을 최소화
ℓ₁은 번역함수 f에 입력 x_i를 넣어 나온 반환값과 y_i사이의 손실을 의미

∙[목표. 2]: ℓ₂도 번역함수 g에대해 동일작업을 수행, 최소화

---

따라서 위와 같은 MSE손실함수를 만들 수 있다.
이 함수는 Bayes정리에따른 제약조건의 양 변의 값의 차이를 최소화한다.

---

∙ 위의 수식에서 우리가 동시에 훈련시키는 신경망파라미터로 logP(y | x; θ_x→y)와 logP(x | y; θ_y→x)를 구하고 
∙ monolingual corpus를 통해 별도로 이미 훈련시켜 놓은 LM으로 logp̂(x)과 logp̂(y)를 근사시킬 수 있다.
이 부가적 제약조건의 손실함수를 기존의 손실함수에 추가해 동시해 최소화하면, 아래와 같이 표현가능하다.

여기서 λ를 통해 손실함수내 비율조정이 가능하다. (만약 λ가 너무 크다면, 최적화과정에서 regularization term최소화 시 지나치게 집중).

Dual Supervised Learning

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

3.  Duality를 활용한 Unsupervised Learning

3.1 Dual-learning Machine Translation
공교롭게도 CycleGAN출시시기에 맞춰 나온 논문, [Dual learning for machine translation; 2016]이 있다.

NLP의 특성상 CycleGAN처럼 직접적 미분값전 전달은 불가능하다.
하지만 기본적으로 아주 비슷한 개념을 활용하는데,
위의 논문은 "parallel corpus를 활용해 훈련된 기본성능의 NMT를 monolingual corpus를 이용해 그 성능을 극대화"하고자 했다.

NLP에서 GAN같은 방식으론 Gradient를 전달이 불가능하기에 강화학습을 활용해 판별자의 값을 전달해줘야한다.
(∵G와 D사이의 명확한 목표나 보상 신호가 부족하거나 모호한 경우가 많기 때문.)

---

∙mono-lingual corpus로부터 받은 문장 s에대해 번역을 하고
∙번역된 문장 s_mid를 사용해 반대방향 번역을 통해 번역 시, 
∙복원된 문장 ŝ이 기존 처음문장과의 차이 Δ(ŝ, s)가 최소화되도록 훈련한다.
이때, 번역된 문장 s_mid가 얼마나 자연스럽게 해당언어문장이 되는지 여부가 중요한 지표가 된다.

위의 알고리즘을 살펴보자.
두 도메인(A언어, B언어)의 문장들이 주어지고
생성자 G_A→B의 parameter θ_AB와
반대방향 생성자 F_B→A의 parameter θ_BA가 등장한다.
이 G_A→B와 F_B→A는 모두 parallel corpus를 활용해 pretrain된 상태이다.

---

앞에서 배운 Policy Gradient를 활용해 parameter를 update하면, 14번째 식이 도출된다.

Ê[r]을 각각의 Parameter에 대해 미분한 값을 더해주는 것을 볼 수 있다.

---

이제, 이 보상의 기댓값을 구하면 아래와 같다.

---

이제 k개의 sampling된 문장에 대해 각 방향에 대한 보상을 각각 구하고 이를 선형결합한다. (이때, s_mid: sampling된 문장을 의미)
LM_B를 사용해 해당 문장이 B언어의 집합에 속하는지 보상값을 계산한다.
LM_B는 기존 언어B단일코퍼스로 사전훈련되어있기에 자연스러운 문장이 생성될수록 해당 LM에서 높은 확률을 가질 것이다.

이때, 람다와 알파는 동일.

이렇게 얻은 𝔼[r]을 각 parameter에 대해 미분하면 위와같은 수식을 얻을 수 있고, 
앞에서 서술한 parameter update수식에 대입하면 된다.

---

비슷한 방식으로 반대방향의 번역 B→A를 구할 수 있다.

최종적인 성능에 대한 설명 및 결과는 위와 같다.
Dual-Learning이 문장길이에 상관없이 항상 높은 성능을 보임을 알 수 있다.

Dual Learning for Machine Translation

 

 

 

3.2 DUL (Dual Unsupervised Learning)
앞서 설명한 듀얼지도학습(DSL)은 Bayes정리에 따른 수식을 제약조건으로 사용했다.
지금 소개하는 논문[DUL ; 2018]의 방법은 주변분포(marginal distribution)의 성질을 이용해 제약조건을 생성한다.

주변 분포의 속성을 통해 위의 수식은 항상 참이다.
이는 조건부확률로 나타낼 수 있고, 좀 더 나아가면 기대값표현으로도 바꿀 수 있다.
그 후 K번 sampling 해 Monte Carlo Sampling으로 근사해 표현할 수 있다.

---

위의 수식을 NMT에 적용해보자.
∙src문장 x, tgt문장 y로 이뤄진 양방향병렬코퍼스 𝑩 와
∙S개의 tgt문장 y로만 이뤄진 단일언어코퍼스 ℳ이 있다 가정하자.

---

이때, 목적함수를 최대화하는 동시에 주변분포에 따른 제약조건 또한 만족시켜야한다.
[Objectiv; 목표]

위의 수식을 DSL과 마찬가지로 λ와 함께 S(θ)와 같이 표현해 기존 손실함수에 추가하면 아래와 같다.

이제 DSL과 유사하게 p̂(x)와 p̂(y)가 등장한다.
∙p̂(x): 단일언어코퍼스로 만든 LM으로 계산한 각 문장들의 확률값

---

위의 수식에 따르면 p̂(x)를 통해 src문장 x를 sampling해 신경망 θ를 통과시켜 P(y | x; θ)를 구해야 될 것처럼 보인다.
하지만, 아래처럼 조금 더 다른 방법으로 접근한다.

이처럼 중요도표집법(importance sampling)을 통해
tgt언어의 문장 y를 반대방향번역기 (y→x)에 넣어
K개의 src문장 x를 sampling해 P(y)를 구한다.

---

이 과정을 하나의 손실함수로 표현하면 아래와 같다.

∙1항: 문장 xⁿ이 주어질 때, yⁿ의 확률을 최대로하는 θ를 찾는다.

∙2항: 단일언어코퍼스에서 주어진 문장 y^s LM에서의 확률값 log p̂(y^s)과의 차이를 줄여야한다.
그 값은 반대방향번역기(y→x)를 통해 K번 sampling한 문장 x_i의 LM확률값 p̂(x_i)와 x_i가 주어질 때, y^s의 확률값을 곱하고, 문장 y^s가 주어졌을 때 sampling한 문장 x_i의 확률값으로 나눠준 값이 된다.

---

[성능 및 결과]

이 표에서 볼 수 있듯, DUL과 다른 기존 단일언어코퍼스를 활용한 알고리즘들과 비교한 결과는 위와 같은데, 이 방법은 앞서 소개한 기존의 단일언어코퍼스를 활용한 방식들과 비교했을 때, 훨씬 더 나은 성능의 개선을 보여준다.

더 나아가, 앞서 소개한 Dual-Learning보다 더 나은 성능을 보여준다.
마찬가지로, 비효율적 RL을 사용하지 않고도 더 나은 성능을 보여주는 것은 주목할만한 성과라 할 수 있다.

Dual Transfer Learning for Neural Machine Translation with Marginal Distribution Regularization | Proceedings of the AAAI

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

4. 쉬어가기) Back-Translation 재해석

[Gain Study_NLP]08. NMT 심화 (Zero-Shot, Transformer)

4.1 Back-Translation
앞서 Back-Translation을 추상적 관점에서 왜 잘 동작하는지 알고 넘어갔다면, 
오늘의 논문은 Back-Translation을 수치적 관점으로 그 이유를 파악해보고자 한다.

∙ N개의 src문장 x, tgt문장 y로 이뤄진 양방향병렬코퍼스 𝛣와
∙ S개의 tgt문장 y로만 이뤄진 단일언어코퍼스 ℳ이 있다고 가정하자.

---

앞서 다룬 DUL(Dual Unsupervised Learning)처럼 최종적으로 최소화하려는 손실함수는 아래와 같이 표현가능하다.

여기서, DUL과 마찬가지로 P(y)는 주변분포의 속성을 활용해 표현가능하다.
다만, 여기서 좌변이 P(y)가 아닌 logP(y)임을 주목하자.

cf) Jensen's 부등식정리는 항상 log P(y)보다 작거나 같은 수식으로 정리할 수 있다.
[Jensen's 부등식 정리]
로그함수곡선이 아래와 같을 때, 두점 x₁, x₂에 대한 평균을 x_m이라 하자.

log x_m ≥ (1/2)×(logx₁ + logx₂)는 항상 성립하는 것을 알 수 있다.

---

위의 부등식 결과물에서 음의부호를 붙여주면 아래와 같고,

결과적으로 목적은 -logP(y)를 최소화 하는 것임을 알 수 있다.
이를 조금 전, 최소화하려는 손실함수에 이 수식을 대입해보면 아래와 같다.

결국 L^~을 최소화하는 것은 L을 최소화하는 효과를 만들 수 있다.
따라서 L^~최소화를 위해 optimizer를 이용할 수 있다.
KL Divergence의 경우, θ에 대해 미분하면 상수이기에 생략되므로
GD를 이용한 예시일 경우, 아래와 같이 미분된다.

---

결과적으로 얻게된 손실함수의 각 부분의 의미를 살펴보자.
첫번째 항: xⁿ이 주어졌을 때, yⁿ의 확률을 최대로 하는 θ를 찾는 것
두번째 항: sampling된 문장 xⁱ이 주어질 때, 단일언어코퍼스의 문장 y^s가 나올 평균확률을 최대로 하는 θ를 찾는 것
∴ Back-Translation이란 L^~(θ)를 최소화하는것임을 알 수 있다.

Joint Training for Neural Machine Translation Models with Monolingual Data

 

 

 

 

 

---

마치며...

이번시간에는 기존 RL을 넘어 Duality라는 속성을 활용해 NMT의 성능을 극대화하는 방법을 살펴봤다.
이전 RL을 활용한 NLP 챕터에서 언급했듯, "Policy Gradient방식"은
∙ 장점) 미분불가능한 보상함수도 사용할 수 있으나 
∙ 단점) Sampling기반 동작으로 훨씬 더 비효율적 학습을 진행한다.
    ∵ High Variance //  Exploration vs. Exploitation Trade-off 

---

하지만 Duality를 활용한 방식에서는 기존의 MLE 및 Teacher-Forcing방법 하에서 teacher-forcing의 단점을 보완하는, "Regularization Term"을 추가함으로써 모델의 성능을 극대화하였다.

---

추가적으로 기존의 Back-Translation등의 mono-lingual corpus 활용방법에 대한 재해석을 제공한다.
추가적으로 통계기반해석이 훨씬 수월하기에 현재 딥러닝학계의 연구방향과 상당부분 일치한다.