딥러닝
성능이 굉장히 좋음
선형회귀와 논리회귀는 1차함수로 풀었지만 자연에는 직선으로 설명할 수 없는 문제들이 많다.
Multi layer perceptron
w, b 로 주어진 입력으로 부터 출력을 만들어낼 수 있다.
출력에서 오차를 발견해서 뒤로가면서 고쳐줘야 한다.
backpropagation 이 성능을 발휘
xor 문제가 머신러닝으로 풀리게 되었다.
Deep Neural Network - MLP
input nodes : 인풋
connections :
hidden nodes : 은닉층
output nodes :
비선형 함수 = 활성화 함수
최적화 시키는 방법
네트워크의 너비를 바꾸기
네트워크의 깊이를 바꾸기
둘다 바꾸기
딥러닝에서 사용하는 주요 개념들 단어들,
batch :데이터셋이 많아도 한꺼번에 학습시킬 수 없음
그래서 작은 단위로 쪼개서 몇번 반복해서 학습시키느냐 그게 iteration 이라고 한다.
iteration
epoch
반복해서 학습시키는 횟수
활성화 함수 activation function
비선형 함수
대표적인 예 시그모이드
ReLu
tanh
overfitting
트레이닝 에러가 낮아짐
밸리데이션 로스가 올라감
과학습되었다.
underfitting
트레이닝 에러가 낮아짐
밸리데이션 로스가 올라감
적게 학습되었다.
5. 딥러닝의 주요 스킬
데이터 증강기법
데이터 늘리기 오버피팅을 방지
근데 실제적으로 데이터 늘리기는 불가능한경우가 많다.
그래서 여러가지 방법으로 돌리고 좌우반전시키고 좌우로 줄이고 , 명도바꾸고 해서 자료갯수를 늘림
드랍아웃
노드들의 연결을 랜덤으로 빼줌
생각보다 효과가 좋음
앙상블
컴퓨터파워가 충분하면 좋은 방법
인풋이 들어갔을떄 여러개의 딥러닝 네트워크를 돌려서 결과중에서 판단
Learning rate decay
Local minimum에 빠르게 도달
처음에는 큰폭으로 나중에는 작은 폭으로 learning rate를 조절
오버슈팅을 막는 좋은 방법