Cost Function은 무엇이며, 알고 있는 cost function에 대해서 말해주세요

cost function(=loss function)은 모델이 최적의 파라미터를 찾도록 사용자의 의도에 따라 올바른 학습방향을 안내해주는 함수입니다. Task에 따라 그 목적이 상이할 수 있는데, 예를 들어 지도학습의 classification에서는 정답과의 차이를 cross entropy loss를 통해 모델이 카테고리를 분류할 수 있도록 하는데, 이때 학습되는 방향은 정답에 대한 예측값과 정답이 아닌 예측값에 대해서 미분방향을 반대로 주어서 분리되도록 학습합니다. 결국 CE loss가 최소가 되도록 합니다. 이와 유사한 loss function으로는 MAE, MSE, BCE, KLD가 있습니다. 이와 반대로 loss function의 값을 최대가 되도록 하는 loss는 negative pair loss가 있습니다. 주로 few-shot, zero-shot learning와 같은 representation learning에서 사용되며 train에서 보지 않았던 카테고리에 대해서 유사한 정도를 측정하여 positive와 negative를 분리하도록 합니다. negative pair loss를 기반으로 한 Triplet loss가 대표적입니다.