실해석학 및 근사이론에서 Kolmogorov-Arnold Representation Theorem (or Superposition Theorem)는 모든 다변량 연속함수 f: [0,1]n→R 를 단일변수의 연속함수의 두 인수 덧셈 중첩(superposition)으로 표현될 수 있다고 한다. 해당 이론은 더 제한된 Hilbert의 13번째 문제를 풀었기에, 기존 Hilbert의 13번째 문제는 당연한 추론이 가능하다.
Kolmogorov-Arnold의 연구는 f가 다변량 연속 함수라면 f는 단변량 연속 함수와 덧셈의 이항 연산의 유한한 구성으로 쓰여질 수 있다는 것을 확립했는데, 좀 더 구체적으로 살펴보면 다음과 같다: 즉, 진정한 다변량 함수는 합뿐임을 알 수 있다.
2. History
Kolmogorov-Arnold Representation Theorem(KART)는 Hilbert의 13번째 문제와 밀접한 관련이 있다. cf) Hilbert의 13번째 문제란, 1900년 국제파리수학자회의에서 제시한 23문제중 하나로 일반 고차방정식의 해법에 관한 문제임. 이때, 4차 방정식의 해는 근호와 산술 연산만으로 계산할 수 있지만, 고차 방정식의 경우 일반적인 대수적 연산으로는 해를 구할 수 없다.
[Tschirnhaus Transformation]: 일반적인 대수방정식을 특정형태로 변환가능
n차 방정식에 대해, n < 7인 경우: 두 변수의 함수로 표현가능 n ≥ 7인 경우: n-4개 변수의 함수로 표현가능
특히나 n = 7인 경우, 해는 아래와 같은 방정식의 해의 조합으로 표현될 수 있다:
Hilbert의 추측에 따르면, 7차 이상의 일반 방정식은 두 변수의 연속 함수의 조합으로 표현할 수 없다고 하였다. 이는 다차원 함수를 낮은 차원의 함수들의 중첩으로 나타내는 것과 관련이 있음을 시사한다. 기계 학습 분야에서 이 정리는 MLP의 보편 근사 정리(universal approximation)와 유사한 역할을 함.
3. Variants (활용)
4. Limitation
① 복소수 다변량함수에 대해서는 일반적으로 적용❌
② 내부함수가 매끄럽지 않고 'wild behavior(예측불가능한 행동)'로 인해 표현을 실제 응용에 제한.
Summary
고차 방정식의 경우 일반적인 대수적 연산으로는 해를 구할 수 없음. → [Tschirnhaus Transformation]:일반적인 대수방정식을 특정형태로 변환가능
n차 방정식에 대해, n < 7인 경우: 두 변수의 함수로 표현가능 n ≥ 7인 경우: n-4개 변수의 함수로 표현가능
특히나 n = 7인 경우, 해는 아래와 같은 방정식의 해의 조합으로 표현될 수 있다:
7차 이상의 일반 방정식은 두 변수의 연속 함수의 조합으로 표현할 수 없음. = 다차원 함수를 낮은 차원의 함수들의 중첩으로 나타내는 것과 관련이 있음 기계 학습 분야: MLP의 보편 근사 정리(universal approximation)와 유사한 역할.
🤔Main Contribution
1.
21개의nchmark.
[Summary]:
입.
🤔 논문 읽기! by. Andrew Ng.
① Title / Abstract / Figure 및 Experiment 1~2개
∙ Title:
KAN: Kolmogorov-Arnold Networks
MLP의 보편 근사 정리(universal approximation)와 유사한 역할을 하는 Kolmogorov-Arnold Representation Theorem을 기반으로 하는 것을 알 수 있음.
∙ Abstract:
[MLP vs KAN]:
MLP: nodes("neurons")에 고정된 활성화 함수를 갖고있음. KAN: edges("weights")에 학습 가능한 활성화 함수를 가지고 있음. 또한, KAN에는 선형 가중치가 전혀 없는데, 모든 w는 스플라인으로 매개변수화된 단변량 함수로 대체된다.
KAN이 정확도와 해석 가능성 측면에서 MLP를 능가한다는 것을 보여주는데, 정확도를 위해 훨씬 작은 KAN은 데이터 피팅 및 PDE 해결에서 훨씬 큰 MLP와 비슷하거나 더 나은 정확도를 달성할 수 있으며, 이론적 및 경험적으로 KAN은 MLP보다 더 빠른 신경 스케일링 법칙을 가지고 있다.
솔직히 2023년 5월에 해당 아이디어 관련, activation을 학습해서 가장 적절한 activation function을 배치할 수는 없을까? 라는 아이디어를 떠올려서 연구하려했던 생각이 있었는데, 이런 Background도 없었고, 그때 당시에는 구현능력도 떨어졌었기에 현재 이 논문을 읽으면서 많이 아쉽긴 했다.
cf) Background & 용어설명: Kolmogorov-Arnold
고차 방정식의 경우 일반적인 대수적 연산으로는 해를 구할 수 없음. →[Tschirnhaus Transformation]:일반적인 대수방정식을 특정형태로 변환가능
n차 방정식에 대해, n < 7인 경우: 두 변수의 함수로 표현가능 n ≥ 7인 경우: n-4개 변수의 함수로 표현가능
특히나 n = 7인 경우, 해는 아래와 같은 방정식의 해의 조합으로 표현될 수 있다:
7차 이상의 일반 방정식은 두 변수의 연속 함수의 조합으로 표현할 수 없음. =다차원 함수를 낮은 차원의 함수들의 중첩으로 나타내는 것과 관련이 있음 기계 학습 분야:MLP의 보편 근사 정리(universal approximation)와 유사한 역할.
② Intro / Discussion/ Figure / Related Works Skim(속독)
∙ Introduction:
[MLP]
MLP는 Full Connected Feedforward Neural Net으로완전 연결 전방향 신경망으로 보편적 근사 정리(universal approximation theorem)에 의해 보장된 표현력 덕분에 비선형 함수를 근사하기 위한 기본 모델이다.
[🤔 MLP is the best nonlinear regressors?]
MLP는 널리 사용되고 있지만, 몇 가지 중요한 단점이 있다: Transformers에서 MLP가 거의 모든 non-embedding parameters를 소비함. 주로 해석 가능성 측면에서 attention layers에 비해 덜 해석 가능하다.
[KANs: Kolmogorov-Arnold Networks]
MLP: 보편적 근사 정리에 영감을 받았으며, MLP가 노드(“뉴런”)에 고정된 활성화 함수를 배치함. KAN: MLP와 마찬가지로 KAN도 완전 연결 구조를 가지고 있으며, Kolmogorov-Arnold 표현 정리에 영감을 받음. KAN은 엣지(“가중치”)에 학습 가능한 활성화 함수를 배치함. → 선형 가중치 행렬이 전혀 없 음 → 각 가중치 매개변수는 학습 가능한 1D 함수로 대체됨. → KAN의 노드는 들어오는 신호를 단순히 합산하며, 비선형성을 적용하지 않음.
[KAN is Cost Expensive?]
MLP의 가중치 매개변수가 KAN의 스플라인 함수로 대체되므로, KAN이 매우 비쌀 것이라는 걱정이 있을 수 있음. 다행히도 KAN은 일반적으로 MLP보다 훨씬 작은 계산 그래프를 사용함. ex) PDE(편미분) 풀이: KAN(2-Layer width-10)은 MLP(4-Layer width-100)보다 100배 더 정확하고(10-7 대 10-5 MSE), 100배 더 매개변수 효율적(102 대 104 매개변수).
[선행 연구 & Main Contribution]
대부분의 작업은 원래의 Depth-2 Width-(2n + 1)표현에 머물렀으며, train을 위해 최신 기술(예: 역전파)을 활용할 기회❌.
Main Contribution: Kolmogorov-Arnold 표현을 임의의 폭과 깊이로 일반화하여 오늘날의 딥러닝 세계에서 다시 활력을 불어넣고 맥락화하는 것 또한, KAN의 정확성과 해석 가능성 덕분에 AI + 과학의 기초 모델로서의 잠재적 역할을 강조하는 광범위한 실험을 사용하는 것.
KAN은 수학적으로 우아한 해석에도 불구하고, 단지 스플라인과 MLP의 조합일 뿐입니다. 스플라인: 저차원 함수에 대해 정확 / 로컬에서 조정하기 쉬움 / 서로 다른 해상도 간 전환이 가능. 다만, 구성 구조를 활용할 수 없기 때문에(= 외부자유도❌) 심각한 차원의 저주(COD) 문제를 가지고 있다.
MLP는 COD 문제가 덜하지만, 저차원에서는 스플라인보다 덜 정확함. MLP는 일반화된 덧셈구조를 잠재적으로 학습가능하지만 ReLU로 인해 exp와 sin함수를 근사화하는데 매우 비효율적임. 예를들어, 우측같은 고차원 스플라인 함수는 COD로 인해 큰 N에 대해 실패한다. 대조적으로 KAN은 구성구조와 단변량함수를 모두 매우 잘 학습하기에 MLP를 큰 차이로 능가한다.
[함수를 정확하게 학습하려면?]
구성 구조(외부 자유도)를 학습하고 단변량 함수(내부 자유도)를 잘 근사해야 함. - 외부적으로는 MLP와 유사하여 기능을 학습할 수 있고, - 내부적으로는 스플라인과 유사하여 학습된 기능을 최적화할 수 있음.
2장: KAN의 아키텍처와 수학적 기초를 소개하고, KAN을 해석 가능하게 만드는 네트워크 단순화 기법을 소개하며, KAN을 점점 더 정확하게 만드는 그리드 확장 기법을 소개. 3장: KAN이 데이터 적합 및 PDE 풀이에서 MLP보다 더 정확함을 보여줌. 4장: KAN이 해석 가능하며 과학적 발견에 사용할 수 있음을 보여줌. 5장: 관련 연구를 요약. 6장: 광범위한 영향과 미래 방향을 논의하면서 결론. 코드는 https://github.com/KindXiaoming/pykan 사용할 수 있으며, pip install pykan을 통해 설치할 수 있다.
이에 대해 매력적인일반화된 Kolmogorov-Arnold 정리는 Depth-2 Composition너머의 “더깊은” Kolmogorov-Arnold 표현을정의하고활성화함수의매끄러움을깊이와관련시킬수있음을 시사한다. 가설적으로, 원래의 (Depth-2) Kolmogorov-Arnold 표현에서는매끄럽게표현할수없는함수들이 Depth-3 또는그이상의표현으로매끄럽게표현될수있다. 우리는이 “Kolmogorov-Arnold 깊이” 개념을사용하여함수클래스를특성화할수있을까?
[알고리즘적 측면]
1. 정확성: 아키텍처설계및훈련에서여러선택지가충분히조사되지않았기때문에대안이정확성을더욱향상시킬수 있음. 예를들어, 스플라인활성화함수는 radial basis함수또는 local kernel로대체될수 있으며, Adaptive Grid전략이사용될수있다.
2. 효율성:KAN이 느리게 실행되는 주요 이유중하나는다른 활성화 함수가 배치 계산(큰 데이터를 동일한 함수로 처리)을 활용❌. 실제로, 활성화함수가모두동일한경우(MLP)와모두다른경우(KAN) 사이를보간하여활성화함수를여러그룹(multi-head)으로묶을수있는데, 여기서그룹내의구성원은동일한활성화함수를공유합니다.
3. KAN과 MLP의 하이브리드: KAN은 MLP와 비교할 때 두 가지 주요 차이점이 있다: (i). 활성화 함수가 노드가 아닌 엣지에 배치됩니다. (ii). 활성화 함수가 고정된 것이 아닌, 학습 가능함. KAN의 이점을 설명하기 위해 어떤 변화가 더 중요한지 알아보기 위해, Appendix B에서 (ii)를 갖춘 모델을 연구한 예비 결과를 제시한다. 즉, 활성화 함수는 학습 가능하지만 (i)를 갖추지 않은 모델, 즉 활성화 함수가 노드에 위치한 모델이며, 더 나아가 고정된 활성화 함수(MLP처럼)를 가지지만 엣지에 위치한 모델(KAN처럼)을 구성할 수도 있다.
4. 적응성: 스플라인 기저 함수의 본질적인 locality 덕분에, 우리는 KAN의 설계 및 훈련에서 적응성을 도입하여 정확도와 효율성을 모두 향상시킬 수 있다.
Kolmogorov-Arnold 정리(KAT)와신경망간의 관계는 완전히 새로운 것은 아님. 다만, 내부함수의 pathological behavior(비정상적 행동)으로 KAT가 유망하지 않게 보였음.
[대부분의 이전연구들] 2-layer width-(2n+1) 신경망에 머물렀음. (= 표현력이 제한적, 역전파개념 이전에 연구가 많이들 진행되었었음.) ∴ 대부분연구들이 제한적&인위적 toy 실험에 머물렀었음.
[Contribution]: 1. 신경망을 임의의 폭과 깊이로 일반화 2. 현재의 딥러닝흐름에 재활성화 & 맥락화 3. AI + Science의 기반모델(foundation model)로서의 잠재적인 역할을 강조.
Neural Scaling Laws (NSLs)
[NSL이란?] 모델크기, 데이터, 계산등에대해 test Loss가거듭제곱법칙으로나타나는현상. NSL의기원은여전히불가사의하지만, 아래와 같은 유력이론이 존재: ∙ intrinsic dimensionality ∙ quantization of tasks ∙ resource theory ∙ random features ∙ compositional sparsity ∙ maximuarity [본 논문의 Contribution]: Smooth Kolmogorov-Arnold 표현을갖는고차원함수가 1차원함수(이는기대할수있는최고의경계)처럼스케일링될수있음. 즉,가장 빠른 스케일링 지수를 보장해서 신경망의 스케일링법칙에새로운 관점을 가져옴.
Machanistic Interpretability (MI)
MI는신경망의내부작동을기계적으로이해하려는신흥분야; 수동MI연구 / 능동MI연구로 나뉨. 본 논문은 모델과 훈련 방법이 설계상 해석 가능한 두 번째 범주에속함.
Learnable Activations
신경망에서학습가능한활성화함수의아이디어는기계학습에서 완전히 새로운 것이 아님. 학습가능한활성화함수는미분가능한방식으로학습되거나 이산적으로검색됨. 활성화함수는 다음과 같이 매개변수화됨: 다항식, 스플라인, sigmoid linear unit, neural net
3.4절에서 KAN이 PDE를해결할때 PDE 손실을부과하기위해 MLP를사용하는패러다임을대체할수있음을보여줌. PDE 해결을위한 Deep Ritz Method, PINNs, 연산자학습방법의솔루션맵을학습하는 Fourier Neural Operator, PINOs, DeepONet을참조하며, 언급된 모든 네트워크에서 MLP를 KAN으로 대체할 가능성이 있음.
AI for Mathematics
4.3절처럼, AI는 최근 매듭 이론(Knot Theory)의 여러 문제에 적용된다. 여기에는매듭이풀린매듭인지리본매듭인지를감지하고, 매듭불변량을예측하고그들사이의관계를발견하는작업이포함된다.
수학및이론물리학의데이터세트에대한데이터과학응용프로그램요약은 [90, 91]을참조하고, 이러한분야에서 ML 기술을사용하여엄격한결과를얻는방법에대한아이디어는 [92]를참조하십시오.
[90] Fabian Ruehle. Data science applications to string theory. Phys. Rept., 839:1–117, 2020.
[91] Y.H. He. Machine Learning in Pure Mathematics and Theoretical Physics. G - Reference,Information and Interdisciplinary Subjects Series. World Scientific, 2023.
[92] Sergei Gukov, James Halverson, and Fabian Ruehle. Rigor with machine learning from field theory to the poincaréconjecture. Nature Reviews Physics, 2024.
③ Main Method, Math , etc 이해안되는 것 → Skim or Skip
∙ KAN
다층퍼셉트론(MLP)은보편적근사정리에영감을받았습니다. 반면, 우리는 Kolmogorov-Arnold 표현정리에초점을맞추어, Kolmogorov-Arnold 네트워크(KAN)라는새로운유형의신경망을제안합니다. 2.1절에서는 Kolmogorov-Arnold 정리를검토하여 2.2절에서 Kolmogorov-Arnold 네트워크의설계에영감을줍니다. 2.3절에서는 KAN의표현력과신경스케일링법칙에대한이론적보장을제공합니다. 2.4절에서는 KAN을점점더정확하게만드는그리드확장기법을제안합니다. 2.5절에서는 KAN을해석가능하게만드는단순화기법을제안합니다.
Kolmogorov-Arnold Representation theorem
Vladimir Arnold와 Andrey Kolmogorov는 f가유계영역에서다변수연속함수인경우, f를단일변수의연속함수와덧셈이항연산의유한합성으로표현할수있음을입증했습니다. 더구체적으로, 매끄러운
함수에대해,
여기서 φq,p:[0,1]→R 및 Φ𝑞:𝑅→𝑅Φq:R→R입니다. 어떤의미에서는모든다변수함수가단변수함수와합으로작성될수있기때문에진정한다변수함수는덧셈뿐임을보여주었습니다. 이는기계학습에있어고차원함수를학습하는것이다항식수의 1D 함수를학습하는것으로귀결되므로큰희소식일수있습니다. 그러나이러한 1D 함수들이매끄럽지않거나심지어프랙탈일수있기때문에실제로학습하기어려울수있습니다. 이러한병리학적특성때문에 Kolmogorov-Arnold 표현정리는기계학습에서이론적으로는타당하지만실질적으로는쓸모없다고여겨졌습니다.
그러나우리는 Kolmogorov-Arnold 정리가기계학습에유용할것이라는점에대해더낙관적입니다. 첫째, 우리는은닉층에서 2n+1개의항을가지는 2층비선형성을가지는원래의방정식(2.1)에고수할필요가없습니다. 네트워크를임의의폭과깊이로일반화할것입니다. 둘째, 과학과일상생활에서대부분의함수는종종매끄럽고희소한구성구조를가지며, 이는매끄러운 Kolmogorov-Arnold 표현을촉진할수있습니다. 여기서철학은물리학자들의사고방식과가깝습니다. 물리학자들은최악의경우보다일반적인경우에더관심을가집니다. 결국, 우리의물리적세계와기계학습작업은물리학과기계학습이유용하거나일반화가능하게만들기위해구조를가져야합니다.
KAN Architecture
지도 학습 작업에서 입력-출력 쌍 (𝑥𝑖,𝑦𝑖)(xi,yi)가 주어졌을 때, 모든 데이터 포인트에 대해 𝑦𝑖≈𝑓(𝑥𝑖)yi≈f(xi)를 만족하는 f를 찾는 것이 목표입니다. 방정식 (2.1)은 적절한 단변량 함수 𝜑𝑞,𝑝φq,p와 Φ𝑞Φq를 찾으면 된다는 것을 의미합니다. 이는 방정식 (2.1)을 명시적으로 매개변수화하는 신경망을 설계하도록 영감을 줍니다. 학습할 모든 함수가 단변량 함수이므로, 각 1D 함수를 B-스플라인 곡선으로 매개변수화하고, 국소 B-스플라인 기저 함수의 학습 가능한 계수를 사용합니다. 이제 KAN의 프로토타입이 있으며, 그 계산 그래프는 방정식 (2.1)에 의해 정확하게 지정됩니다.
기본적으로, KAN 계층은 𝑛𝑖𝑛nin-차원 입력과 𝑛𝑜𝑢𝑡nout-차원 출력을 가지는 1D 함수의 행렬로 정의될 수 있습니다. Kolmogorov-Arnold 정리에서는 내부 함수가 𝑛𝑖𝑛=𝑛nin=n 및 𝑛𝑜𝑢𝑡=2𝑛+1nout=2n+1을 가지는 KAN 계층을 형성하고, 외부 함수는 𝑛𝑖𝑛=2𝑛+1nin=2n+1 및 𝑛𝑜𝑢𝑡=1nout=1을 가지는 KAN 계층을 형성합니다. 따라서 방정식 (2.1)에서의 Kolmogorov-Arnold 표현은 두 KAN 계층의 합성으로 구성됩니다. 이제 더 깊은 Kolmogorov-Arnold 표현이 무엇을 의미하는지 명확해졌습니다: 더 많은 KAN 계층을 쌓으면 됩니다.
일반 KAN 네트워크는 L 계층의 합성으로 구성됩니다: 입력 벡터 𝑥0∈𝑅𝑛0x0∈Rn0가 주어졌을 때, KAN의 출력은 다음과 같습니다:
KAN 계층의 모양은 정수 배열 [𝑛0,𝑛1,⋅⋅⋅,𝑛𝐿][n0,n1,⋅⋅⋅,nL]로 표현됩니다. 각 계층에서 (l, i)-뉴런의 활성화 값은 𝑥𝑙,𝑖xl,i로 표시됩니다. 계층 l과 l+1 사이에는 𝑛𝑙⋅𝑛𝑙+1nl⋅nl+1 활성화 함수가 있으며, 활성화 함수는 𝜑𝑙,𝑗,𝑖φl,j,i로 표시됩니다. (l, i)-뉴런과 (l+1, j)-뉴런을 연결하는 활성화 함수의 사전 활성화 값은 단순히 𝑥𝑙,𝑖xl,i이며, 후 활성화 값은 𝑥~𝑙,𝑗,𝑖≡𝜑𝑙,𝑗,𝑖(𝑥𝑙,𝑖)x~l,j,i≡φl,j,i(xl,i)입니다. (l+1, j)-뉴런의 활성화 값은 모든 들어오는 후 활성화 값의 합입니다:
MLP와 KAN의 주요 차이점은 MLP는 선형 변환과 비선형성을 별도로 취급하는 반면, KAN은 이를 모두 비선형 함수로 통합하여 처리한다는 점입니다. KAN은 모든 연산이 미분 가능하므로 역전파로 훈련할 수 있습니다【40†source】.
KAN's Approximation Abilities and Scaling Laws
2층 폭-(2n + 1) 표현은 매끄럽지 않을 수 있습니다. 그러나 더 깊은 표현은 매끄러운 활성화를 제공할 수 있습니다. 예를 들어, 4변수 함수 𝑓(𝑥1,𝑥2,𝑥3,𝑥4)=exp(sin(x12+x22)+sin(x32+x42)) 는 3층 [4, 2, 1, 1] KAN으로 매끄럽게 표현될 수 있지만, 매끄러운 활성화로 2층 KAN으로는 표현되지 않을 수 있습니다. 우리는 활성화의 매끄러움을 가정하지만, 표현은 임의의 폭과 깊이를 가질 수 있도록 허용합니다.
Theorem 2.1에 따르면, 매끄러운 Kolmogorov-Arnold 표현이 존재하면, KAN은 차원의 저주를 극복할 수 있으며, 이는 고차원 함수를 구성 구조와 단변량 함수로 나눌 수 있기 때문입니다. 이는 데이터 적합 및 PDE 해결에서 KAN이 MLP보다 훨씬 우수한 성능을 보임을 의미합니다.
For Accuracy: Grid Extension
원칙적으로, 스플라인은 그리드를 세밀하게 만들어 목표 함수를 임의로 정확하게 근사할 수 있습니다. 이 좋은 특징은 KAN이 상속합니다. 반면, MLP는 "세분화" 개념이 없습니다. KAN은 적은 매개변수로 먼저 훈련하고, 스플라인 그리드를 세밀하게 만들어 더 많은 매개변수를 가지는 KAN으로 확장할 수 있습니다. 이는 더 큰 모델을 처음부터 다시 훈련할 필요 없이 가능합니다.
그리드 확장 수행 방법 1D 함수 f를 유한한 구간 [a, b]에서 B-스플라인으로 근사하려면, coarse-grained 그리드와 fine-grained 그리드를 사용하여 f를 나타냅니다. coarse-grained 그리드에서의 f는 B-스플라인 기저 함수의 선형 조합으로 표현됩니다. fine-grained 그리드에서의 f는 새로운 B-스플라인 기저 함수의 선형 조합으로 표현됩니다. 이때, coarse-grained 그리드의 매개변수를 fine-grained 그리드의 매개변수로 최소 제곱 알고리즘을 사용하여 초기화합니다.
이 방법을 사용하여, KAN은 더 작은 네트워크로 시작하여 더 큰 네트워크로 확장할 수 있습니다. 이는 KAN이 매우 효율적이고 효과적으로 정확성을 높일 수 있음을 보여줍니다.
For Interpretability: Simplifying KANs and Making them interactive
KAN을 데이터셋 구조에 가장 잘 맞추는 모양을 선택하는 방법을 모르는 경우, 충분히 큰 KAN에서 시작하여 희소성 정규화를 사용하여 훈련한 후 가지치기를 통해 작은 서브 네트워크로 단순화합니다. 이러한 가지치기된 KAN은 비 가지치기된 KAN보다 훨씬 더 해석 가능합니다. KAN을 최대한 해석 가능하게 만들기 위해 몇 가지 단순화 기법을 제안합니다.
이섹션에서는 KANs가해석가능하고상호작용할수있음을보여줍니다. 우리는 KANs를합성작업(4.1절및 4.2절)뿐만아니라실제과학연구에도적용해보고자합니다. KANs가매듭이론(4.3절)과응축물질물리학의상전이경계(4.4절)에서매우비정상적인관계를 (재)발견할수있음을증명합니다. KANs는그정확성(이전섹션)과해석가능성(이섹션) 덕분에 AI + 과학의기초모델이될수있습니다.
#### 4.1 지도학습장난감데이터셋
우리는먼저 KANs가기호수식에서구성적구조를밝히는능력을조사합니다. 여섯가지예가아래나열되어있으며, 해당 KANs는 Figure 4.1에시각화되어있습니다. KANs는이수식들에존재하는구성적구조를밝히고, 올바른단변량함수를학습할수있습니다.
이로써 KANs가매듭이론과응축물질물리학에서새로운과학적발견을돕는유용한도구가될수있음을증명합니다 .
cf) Acknowledgement
cf) Appendix.
A. KAN의 기능들
Table 7은사용자가유용하게사용할수있는일반적인기능들을포함합니다.
B. Learnable Activation Networks (LANs)
B.1 Architecture
KAN 외에도, 스플라인으로 매개변수화된 학습 가능한 활성화 함수가 있는 거의 MLP와 유사한 또 다른 유형의 네트워크(LAN)를 제안했습니다. KAN은 표준 MLP와 비교하여 두 가지 주요 변경 사항이 있습니다: (1) 활성화 함수가 고정되지 않고 학습 가능하며; (2) 활성화 함수가 노드가 아닌 엣지에 배치됩니다. 이 두 요소를 분리하기 위해, 노드에 여전히 학습 가능한 활성화 함수가 있는 학습 가능한 활성화 네트워크(LAN)를 제안합니다. 이는 Figure B.1에 나와 있습니다.
폭 N, 깊이 L, 그리드 포인트 수 G인 LAN의 경우, 매개변수의 수는 N^2L + NLG입니다. 여기서 N^2L은 가중치 행렬의 매개변수 수, NLG는 스플라인 활성화 함수의 매개변수 수를 나타냅니다. 일반적으로 G ≪ N이기 때문에 NLG ≪ N^2L입니다. LAN은 MLP와 유사하므로 사전 훈련된 MLP에서 초기화하고 학습 가능한 활성화 함수를 허용하여 미세 조정할 수 있습니다. 예제로는 LAN을 사용하여 SIREN을 개선하는 것이 Section B.3에 제시되어 있습니다.
**LAN과 KAN의 비교:**
LAN의 장점:
1. LAN은 개념적으로 KAN보다 더 단순합니다. 표준 MLP에 더 가깝습니다(유일한 변경 사항은 활성화 함수가 학습 가능해진 것입니다).
2. LAN은 KAN보다 더 잘 확장됩니다. LAN/KAN은 각각 노드/엣지에 학습 가능한 활성화 함수를 가지므로, LAN/KAN의 활성화 매개변수는 모델 폭 N에 따라 각각 N/N^2로 확장됩니다.
LAN의 단점:
1. LAN은 해석 가능성이 떨어집니다(가중치 행렬은 MLP와 마찬가지로 해석하기 어렵습니다).
2. LAN은 KAN보다 덜 정확한 것으로 보이지만 여전히 MLP보다는 더 정확합니다. LAN도 스플라인으로 매개변수화된 활성화 함수가 있는 경우 그리드 확장을 허용합니다.
B.2 LAN interpretability results
Figure B.1: 장난감 예제 f(x, y) = exp(sin(πx)+y^2)에 대한 학습 가능한 활성화 네트워크(LAN)의 훈련
Figure B.2: 합성 예제에서의 LAN. LAN은 매우 해석 가능성이 없는 것으로 보입니다. 우리는 가중치 행렬이 너무 많은 자유도를 남긴다고 추측합니다.
저희는 그림 B.2에서 LAN의 예비 해석 가능성 결과를 제시합니다. KAN이 완벽하게 해석 가능한 그림 4.1의 동일한 예에서 LAN은 가중치 행렬의 존재로 인해 훨씬 덜 해석 가능해 보입니다. 첫째, 가중치 행렬은 학습 가능한 활성화 함수보다 쉽게 해석할 수 없습니다. 둘째, 가중치 행렬은 너무 많은 자유도를 가져와 학습 가능한 활성화 함수를 너무 제약하지 않게 만듭니다. LAN에 대한 예비 결과는 선형 가중치 행렬을 제거하는 것이 (KAN과 같이 가장자리에 학습 가능한 활성화를 가짐으로써) 해석 가능성에 필요하다는 것을 의미하는 것으로 보입니다.
B.3 Fitting Images(LAN)
암시적 신경 표현은 이미지를 2D 함수 f(x,y)로 보고, 여기서 픽셀 값 f는 픽셀 x와 y의 두 좌표에 대한 함수입니다. 이미지를 압축하기 위해 이러한 암시적 신경 표현(f는 신경망)은 거의 원본 이미지 품질을 유지하면서 매개 변수를 인상적으로 압축할 수 있습니다. 사이렌[96]은 함수 f에 맞추기 위해 주기적인 활성화 함수가 있는 MLP를 사용할 것을 제안했습니다. LAN에서 허용되는 다른 활성화 함수를 고려하는 것은 당연합니다. 그러나 LAN 활성화를 원활하게 초기화하지만 사이렌에는 고주파 기능이 필요하기 때문에 LAN은 즉시 작동하지 않습니다. LAN의 각 활성화 함수는 기본 함수와 스플라인 함수(즉, φ(x) = b(x) + 스플라인(x)의 합)이며, b(x)는 사이렌에서와 동일한 설정으로 사인 함수로 설정하지만 스플라인(x)은 훈련할 수 있도록 합니다. MLP와 LAN 모두의 모양은 [2,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,128,1]입니다. 학습률 10-3이 있는 5000 단계와 학습률 10-4가 있는 5000 단계에 대해 Adam 최적화기인 배치 크기 4096으로 학습합니다. 그림 B.3에서 볼 수 있듯이 활성화 함수를 미세 조정할 수 있는 LAN의 유연성으로 인해 LAN(orange)이 MLP(파란색)보다 더 높은 PSNR을 달성할 수 있습니다. 저희는 MLP에서 LAN을 초기화하고 더 나은 PSNR을 위해 LAN(녹색)을 추가로 미세 조정하는 것도 가능하다는 것을 보여줍니다. 저희는 실험에서 G = 5를 선택했기 때문에 추가 파라미터 증가는 원래 파라미터보다 약 G/N = 5/128 ≈ 4%입니다.
C. 하이퍼파라미터 의존성
Figure C.1에서는 f(x, y) = exp(sin(πx) + y^2) 사례에서 하이퍼파라미터의 효과를 보여줍니다. 해석 가능한 그래프를 얻기 위해 활성화 함수의 수를 가능한 한 적게(이상적으로 3개) 유지하고자 합니다.
1. 활성화 함수 수를 줄이기 위해 엔트로피 페널티가 필요합니다. 엔트로피 페널티가 없으면 중복된 함수가 많이 발생합니다.
2. 결과는 랜덤 시드에 따라 달라질 수 있습니다. 운이 나쁜 시드를 사용할 경우, 가지치기된 네트워크가 필요 이상으로 클 수 있습니다.
3. 전체 페널티 강도 λ는 희소성을 효과적으로 제어합니다.
4. 그리드 수 G는 해석 가능성에 미묘한 영향을 미칩니다. G가 너무 작으면 각 활성화 함수가 표현력이 떨어지기 때문에 네트워크가 앙상블 전략을 사용하여 해석이 어려워집니다.
5. 조각별 다항식 차수 k는 해석 가능성에 미묘한 영향을 미칩니다. 그러나 이 장난감 예제에서는 랜덤 시드처럼 명확한 패턴을 보이지 않습니다.
D. Feynman KANs
섹션 3.3의 파인만 데이터셋에 대한 더 많은 결과를 포함합니다.
Figure D.1은 각 파인만 데이터셋에 대한 KAN과 MLP의 파레토 프론티어를 보여줍니다.
Figure D.3 및 D.2는 각 파인만 방정식 맞춤 작업에 대한 최소 KAN(테스트 RMSE < 10−2 제약 조건) 및 최상의 KAN(가장 낮은 테스트 RMSE 손실)을 시각화합니다.
E. 그리드 크기에 대한 주석
PDE 및 회귀 작업 모두에서, 훈련 데이터를 균일 그리드에서 선택할 때, 그리드 크기가 큰 수준(한 방향에서 다른 훈련 포인트와 비교 가능한 크기)으로 업데이트될 때 훈련 손실이 갑자기 증가하는 현상이 나타납니다. 이는 고차원에서 B-스플라인의 구현과 관련이 있을 수 있으며 추가 조사가 필요합니다.
F. 특수 함수용 KAN
섹션 3.2의 특수 함수 데이터셋에 대한 더 많은 결과를 포함합니다.
Figure F.2와 F.1은 각 특수 함수 맞춤 작업에 대한 최소 KAN(테스트 RMSE < 10−2 제약 조건) 및 최상의 KAN(가장 낮은 테스트 RMSE 손실)을 시각화합니다.
