人間ベースライン
比較の基準として、人間が同じ課題を行ったときの成績や傾向を測ったもの。AIの結果がどの程度すごいのかを判断する物差しになる。
たとえば: 新しい計算機の速さを測る前に、まず人が手計算でどれくらいかかるか測るようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 会話で「特定の個人」を再現できるかを問うPersonal Imitation Gameの提案
LLMが「一般的な人間」ではなく特定個人を会話で模倣できるかを測るPersonal Imitation Gameが提案された。30人で人間ベースラインを作り、判断に使われる手がかりを整理。著者1人の10年分データで作ったLLMシステムを、20人の欺瞞研究で検証した。
