Neural Thickets仮説
モデルの重みのわずかな違いの中に、特定のタスクに強い“当たり”が密に存在する、という考え方。小さな変更でも良い設定に出会える可能性があるという見立て。
たとえば: 雑木林の中に良いキノコが点々と多く隠れていて、少し歩き回るだけで当たりを見つけられる感じ。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 重み摂動なしでNeural Thicketsの利得は得られるのか:Logit PSVという見方
Neural Thicketsの性能向上を、重み空間の幾何学的説明に頼らず捉え直す研究。凍結モデルに対するlogitsへのランダムbiasと、選抜・集約からなるPSVを提示し、言語・視覚での有効性を論じる。
