held-out
学習には使わず、最後の評価のために取っておくデータのこと。初めて見る問題にどれだけ対応できるかを確かめる目的で用いる。
たとえば: 練習問題とは別に、本番用にしまっておいた模試を最後に解くようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 自律研究システムを測り、アイデア探索も促すベンチマーク「Auto-Research Arena」
自律研究(auto-research)を評価する新ベンチマーク「Auto-Research Arena」を提案。適格性と改善を分離し、9つのターゲットで比較可能にする。評価では逐次探索が高度手法を上回る場合も示された。
