ゼロからの学習
すでに学習済みのモデルを使わず、初期状態から新しく学習を始めること。外部の既成知識に頼らない学び方を指す。
たとえば: 誰かのノートを使わず、白紙のノートに最初から自分でまとめ直すようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 外部データなしで長文脈推論を鍛える手法「LongZero」の提案
LongZeroは、外部コーパスや教師モデルに頼らず、LLM自身が根拠付きQAを構造化生成し、根拠を長いマルチ文書文脈へ展開して学習する手法。2つのLLM・5ベンチマークで評価し、外部コーパス由来データでRLする比較法より高性能だと報告する。
- 言語事前学習なしで学ぶText-to-Image:Halcyonが示した可能性
Halcyonは、100Mの画像-テキスト対からゼロから学習したT2Iモデル群。gFD比較と統制実験により、text-only事前学習がT2I改善に必須ではない可能性を示す。計算量効率と画像キャプショニング同時学習も論じる。
