Deep learning 모델에서 일종의 학습 척도인 loss 와 모델의 확률 값인 softmax 값에 대한 정리.
5개의 클래스를 분류하는 모델의 예제로 살펴보겠다.
어떠한 아키텍처을 통과하고 마지막 클래스 갯수를 가지는 logits layer가 있다고 생각해보자.
로짓값들에 softmax를 취하게 되면 p1 ~ p5 값으로 나오게 된다.
다음으로 y 값(target)과 Ground Truth를 비교해 참으로 할당된 값에대해 cross_entropy를 취함.
* 틀린 레이블의 경우 cross_entropy를 통과해도 0값이 나오기 때문에 생략해준다.
cross_entropy 값이 즉 데이터에 대한 loss 값이 되고 softmax 값이 모델의 확률값이 된다.
* 마찬가지로 exp(-loss) 값을 해주어도 모델의 확률 값이 됨.
logits value -> softmax(logits) -> cross_entropy(softmax(true label))
logits value p1~p5 -> softmax(p1~p5) -> cross_entropy(softmax(p3))
