評価フレームワーク
性能や能力を、公平に比べられるように手順・基準・環境をまとめた評価の枠組み。何をどう測るかを決めるための設計図。
たとえば: 同じルールと採点表で競技を行い、記録を比べる大会運営の仕組み。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 改変された物理法則の世界で、LLMは自由探索から「隠れた法則」を見つけられるか
改変物理のシミュレーション世界を自動生成する枠組みLongChangを提案し、LLMがヒントなしで異常に気づき実験する能力を評価した。12モデル中GPT-6-Astraのみ発見率16.7%で、他は0%だった。
