신경망 학습에서 국부적 최적해 탈출을 위한 확률적 교환

김삼근, 민창우, 김명원 · 1998

EBP(Error Back-Propagation) 학습 알고리즘은 패턴 인식, 적응 제어 등의 복잡한 문제를 해결하는데 성공적으로 적용되어 온 다층 퍼셉트론(multi-layer perceptron)을 학습시키는 대표적인 학습 알고리즘이다. 그러나 이것은 몇 가지 문제점을 안고 있다. 즉, EBP 학습 알고리즘은 기본적으로 오차 표면의 기울기를 이용하여 학습을 수행하는 경사 하강법을 이용한 학습 알고리즘으로 국부적 최적해에 수렴할 수 있다는 문제점을 내포하고 있다. 더욱이 학습이 성공적으로 이루어지기 위해서는 주어진 문제의 적절한 신경망 구조를 결정해야 한다. 신경망 구조를 결정하는 것은 대개 은닉 노드의 개수를 결정하는 문제로서 이것은 주로 시행 착오에 의해서 결정된다. 이 논문에서는 위의 두 가지 문제를 해결하는 새로운 알고리즘을 제안한다. 제안한 학습 알고리즘은 가중치 공간에서 확률적 교란을 수행함으로써 다층 퍼셉트론 학습에서의 국부적 최적해에 수렴한 경우로부터 효과적으로 탈출한다. 확률적 교란 방법은 EBP 학습에 의하여 국부적 최적해에 수렴한 경우로부터 탈출하기 위하여 은닉 노드들과 관계된 가충치들을 확률적으로 재 초기화한다. 또한 새로운 은닉 노드의 추가 방법 역시 확률적 가중치 교란의 특별한 경우로 볼 수 있다. 따라서 확률적 교란을 통하여 국부적 최적해 문제 및 신경망 구조 설계 문제를 일관된 방법으로 해결할 수 있다. Horseshoes 문제, parity 문제, two-spirals 문제, 그리고 credit-screening 데이타 등에 대한 실험 결과는 제안한 알고리즘이 매우 효율적임을 보여준다.

Cited by 1 works.

Authors