Gradient descent method <- 머신러닝에서 중요한 개념임
경사 하강법이란 ?
우리의 목표 -> 손실함수 최소화
minimum cost 를 찾아가는 방법
Wx + b 라는 가설에서 w 랑 b를 알아내야 함
# cost 가 뭐지? 손실함수는 인풋w b와 아웃풋이 cost인가?
# w 가중치를 넣었을때 얻어지는 손실함수의 값인가?
# cost function 과 loss function 은 무슨 차이가 있지?
비용 함수는 학습 알고리즘의 성능을 평가하고 비용을 최소화하는 것이 목표입니다. 일반적으로 훈련 데이터 세트 전체에 대한 오차 또는 차이를 측정하는 함수입니다. 비용 함수는 모델의 예측과 실제 값 사이의 차이를 계산하고, 이를 최소화하기 위해 모델 파라미터를 조정하는 데 사용됩니다.
반면에 손실 함수는 비용 함수의 한 형태로 사용되는 용어입니다. 손실 함수는 주로 개별 샘플 또는 데이터 포인트에 대한 오차를 측정합니다. 예를 들어, 회귀 문제에서는 손실 함수가 실제 값과 예측 값 사이의 차이를 계산할 수 있습니다. 분류 문제에서는 손실 함수가 예측과 실제 레이블 간의 차이를 측정할 수 있습니다.
요약하면, 비용 함수는 모델의 전체적인 성능을 평가하기 위해 사용되는 함수이고, 손실 함수는 개별 샘플 또는 데이터 포인트에 대한 오차를 측정하는 함수입니다. 일반적으로 비용 함수는 손실 함수의 합계 또는 평균으로 정의될 수 있습니다.
from . chat . gpt
w와 b의 값을 바꾸면서 cost가 떨어졌는지 여부를 계산하는 방법
한번씩 움직이는 거리 = learning rate, 점사이의 거리
학습을 잘하기위해서는 적당한 learning rate를 찾는 노가다가 필수적이다.
러닝레이트를 크게하면 진동하다 튕겨나가서 무한대 값을 가지는 경우가 있는데 이걸 overshooting 이라고 한다.
실재로 손실함수를 그릴수 있나? 아니...
실재로 2차원도 아니고
몇백차원임
global cost minimum을 찾아야 하는데
local minimum에 빠지는 경우가 있다. 이걸 피해야한다
optimizer 안에 gradient dicent 방법이 포함되어 있음