1. Activation Functions Activation Functions 즉, 활성화 함수는 뉴런(노드)의 최종 값을 제공한다. input 데이터를 특정 범위의 출력으로 변환하는 단순한 함수이다. 활성화 함수의 종류는 위와 같이 다양하다. 활성화 함수는 모두 비선형 함수이다. 1.1 Sigmoid 함수 Sigmoid 함수는 넓은 범위의 값을 [0,1] 사이의 값으로 만든다. 입력 값이 크면 1, 작으면 0에 가까워 진다. 0과 1 사이의 값은 선형 함수와 같은 모양이다. 하지만 Sigmoid 함수에는 3가지 문제점이 있다. Vanishing gradient x가 -10, 10일 경우엔 gradients가 0이다. Chain rule에 의해 gradient를 구할 때 곱연산을 지속적으로 하면 gra..
