Sangmun

https://wikidocs.net/21697 5) 펄플렉서티(Perplexity, PPL) 두 개의 모델 A, B가 있을 때 이 모델의 성능은 어떻게 비교할 수 있을까요? 두 개의 모델을 오타 교정, 기계 번역 등의 평가에 투입해볼 수 있겠습니다. 그리고 두 모델 ... wikidocs.net BLEU 논문 https://aclanthology.org/P02-1040.pdf PPL PPL은 언어 모델의 평가 metric 중의 하나로 perplexed는 '헷갈리는' 의미를 가지고 있으며 이는 매 타입스텝 마다 몇개의 가능성 있는 output을 가지고 헷갈리냐고 이해할 수 있다. 즉 PPL은 낮을 수록 성능이 좋다라는 의미가 된다. 아래는 PPL의 수식이며 매 타입스텝의 출력값으로 나온 확률 값을 기하평..