민첩한 활성함수를 이용한 합성곱 신경망의 성능 향상 document_id A220623170824

합성곱 신경망은 합성곱층과 완전연결층으로 구성되어 있다. 합성곱층과 완전연결층의 각 층에서는 비선형 활성함수를 사용하고 있다. 활성함수는 뉴런 간에 신호를 전달할 때 입력신호가 일정 기준 이상이면 신호를 전달하고 기준에 도달하지 못하면 신호를 보내지 않을 수 있는 뉴런의 정보전달 방법을 모사하는 함수이다. 기존의 활성함수는 손실함수와 관계성을 가지고 있지 않아 최적해를 찾아가는 과정이 늦어지는 점을 개선하기 위해 활성함수를 일반화한 민첩한 활성함수를 제안하였다. 민첩한 활성함수의 매개변수는 역전파 과정에서, 매개변수에 대한 손실함수의 1차 미분계수를 이용한 학습과정을 통해 최적의 매개변수를 선택하는 방법으로 손실함수를 감소시킴으로써 심층신경망의 성능을 향상시킬 수 있다. MNIST 분류문제를 통하여 민첩한 활성함수가 기존의 활성함수에 비해 우월한 성능을 가짐을 확인하였다. 합성곱 신경망은 합성곱층과 완전연결층에서 활성함수를 사용한다. 합성곱 신경망에서 사용하고 있는 기존의 활성함수를 민첩한 활성함수로 확장하여 심층신경망의 성능을 향상시킬 수 있었다.민첩한 활성함수는 활성함수로의 입력 데이터를 다양한 형태로 변환할 수 있는 자유도를 부여하는 매개변수를 도입하여 확장한 함수이다. 도입된 매개변수에 대한 손실함수의 미분계수를 계산하고 역전파 계산 과정에서 매개변수를 손실함수 값을 감소시키는 방향으로 최적화함으로써 민첩한 활성함수의 성능을 보장하도록 하였다. 28× 28  데이터를 이용하여 제안된 민첩한 활성함수의 성능을 확인하였다. 실험에 사용한 합성곱 신경망은 합성곱층 3개, 완전연결층 1개, 각 합성곱층의 필터 수는 16, 8, 4를 사용하였고 완전연결층의 노드 수는 30개이다. 민첩한 활성함수는 신경망의 순전파 및 역전파 계산과정에서 각 계산 단계마다 손실함수 값을 지속적으로 감소시키는 방향으로 매개변수의 값을 최적화함으로써 손실함수와 어떤 관계도 갖지 않는 기존 활성함수들에 비해 우수한 성능을 보임을 확인 할 수 있다. 합성곱 신경망은 심층심경망과 함께 다양한 문제를 해결하는 기본 신경망으로 적용 범위가 광범위하고 다른 신경망과 연계하여 사용할 수 있는 기본 신경망이다. 민첩한 활성함수를 일반화하는 방법으로 크기와 위치를 다양하게 변화시킬 수 있는 매개변수를 도입하여 활성함수를 일반화하였을 뿐 아니라 도입한 매개변수를 순전파 과정과 역전파 과정에서 최적화시킴으로써 손실함수를 빠르게 감소시킬 수 있다.