exact match
出力が正解と一字一句まで完全に一致したかで判定する評価方法。意味が近い言い換えでも一致しなければ不正解になる。
たとえば: 穴埋め問題で、模範解答と文字まで同じでないと丸がもらえない採点。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- AutoScaffold:報酬に圧縮されがちな学習経験を「訓練時のヒント」に変える枠組み
AutoScaffoldは、RLVRで得られる訓練経験をもとに、凍結したteacherが戦略やヒント(スキャフォールド)を適応的に設計・調整する枠組みだ。4領域で、スキャフォールド無し評価でもRLベースラインを上回ったと報告している。
