技術 計算 LLM 的 Perplexity 困惑度

簡介 困惑度 (Perplexity, PPL) 是個評估語言模型相當實用的指標，用來表示語言模型對一句話的困惑程度。什麼叫困惑程度呢？當我們看到一句話會產生困...

技術 [Day21] EVALUATION ON TEST SET

前言 前幾日的文章，已經利用scheduler訓練出在Validation上還不錯的結果，今天就來test一下，順帶討論一下test的一些哲學吧！ 什麼是Tes...