Global Minima: 기울기가 0인 극소값 Local Minima: Global minima에 다다르지 않고, 기울기가 0 이 되는 지점 Learning rate: Local Minimum에 효율적으로 도달할 수 있도록, 너무 크지도 작지도 않은 적절한 학습률을 셋팅 해야함. 1. Optimization Optimizer는 loss를 줄이기 위해 weight과 learning rate와 같은 neural network 속성을 변경하는데 사용하는 알고리즘이다. Gradient Descent 가장 기본적인 최적화 알고리즘이다. backpropagation을 통해 weight을 변경하여 함수가 최소값에 도달할 수 있도록 한다. 쉽고 간단한 방법이지만 데이터셋이 큰 경우 모든 데이터를 계산한 뒤 step을..
