大規模言語モデル
大量の文章を学んで、次に来そうな単語を予測しながら文章を作るAIモデル。質問への回答、要約、翻訳などをこなす。
たとえば: 膨大な読書経験から、会話の続きをそれっぽく作れる話し相手のようなもの。
AIによる解説です。正確さは、別のAIで照合していますが、誤りが含まれる可能性があります。
この言葉が出てくる記事
- 会話で「特定の個人」を再現できるかを問うPersonal Imitation Gameの提案
LLMが「一般的な人間」ではなく特定個人を会話で模倣できるかを測るPersonal Imitation Gameが提案された。30人で人間ベースラインを作り、判断に使われる手がかりを整理。著者1人の10年分データで作ったLLMシステムを、20人の欺瞞研究で検証した。
- LLMアーキテクチャ研究の記録・レビュー・参照を支える公開基盤「ArchSpace」
LLMのアーキテクチャ提案を、実験と推論込みで記録し、コミュニティがレビューし後続研究が参照できる公開プラットフォーム「ArchSpace」を提案する。小規模実験からスケーリング則で大規模の損失を予測し、学術界と産業界の評価ギャップを埋める狙いがある。
- マルチエージェントAIの「仕事の段取り力」を測るベンチマークWorkflowArena
LLMが複数の作業者役エージェントを率いる際の「実行可能なワークフロー設計・調整能力」をworkflow orchestrationとして定義し、145タスクからなるWorkflowArenaで評価する枠組みを提示する。成果物の品質と委任のしかたを併せて測る点が特徴。
- LLMの推論結果を「CPUで動くキャッシュ」として再利用する提案:Agentic Reasoning Caching
論文は、LLMが毎回ゼロから解く非効率を問題視し、推論トレースからCPU実行可能な推論キャッシュ(ARC)を作って再利用する枠組みを提案する。数学・科学タスクで同等性能やコスト低減を報告している。
- 潜在空間で協調する「エージェント群れ」による進化的プログラム探索:SwarmEvolve
SwarmEvolveは、テキスト生成を介さず潜在空間で推論する多数エージェントがKVキャッシュを共有し、進化的探索を高速化する枠組みを提案する。21問題で平均スコア最高、60分相当の到達に中央値3〜8分と報告した。
- 合成環境の「構成」がツール使用エージェントの汎化を左右する、というスケーリング則
LLMのツール使用エージェント訓練で、合成環境データの規模だけでなく構成(ツール・タスク・データベース多様性、複雑性)が汎化に効くことを調べ、予測可能なスケーリング則を導いた研究。
- 推論の枝刈りをpass@$k$で最適化し、品質と多様性の両立を狙う手法
推論時に多数の候補解を作る手法では計算負荷が課題となる。著者らは短い途中経過(prefix)で候補を選別する際、pass@$k$を目的関数にして品質と多様性のトレードオフを直接最適化する枝刈りを提案した。8つのオープンウェイト推論モデルで既存法より良い性能を示したという。
- 外部データなしで長文脈推論を鍛える手法「LongZero」の提案
LongZeroは、外部コーパスや教師モデルに頼らず、LLM自身が根拠付きQAを構造化生成し、根拠を長いマルチ文書文脈へ展開して学習する手法。2つのLLM・5ベンチマークで評価し、外部コーパス由来データでRLする比較法より高性能だと報告する。
- 粒界の構造と変形を調べるエージェント型AI枠組み「GBClaw」の提案
一般粒界の構造・変形の機構解明に向け、LLMを組み込んだエージェント型AI枠組みGBClawが提案された。動的リプランニングで系統的シミュレーションと機構解析を接続し、ニッケルの粒界14件で欠陥構造と変形モード、すべり抵抗の差異を調べたという。
- 安全性を「基盤能力」として学ばせる中間段階:Safety Mid-Trainingの提案
LLMの安全性が後続学習で劣化したり、汎用能力とトレードオフになったりする問題に対し、事前学習と事後学習の間に「safety mid-training」を挟む枠組みを提案。Qwen3の複数モデルでASRを相対的に72%〜81%低減し、汎用能力も改善したと報告する。
- 微調整で意図しない振る舞いが一緒に現れる「behavioral coupling」を調べた研究
LLMの微調整で、狙った行動とは別の行動が誘発される関係を「behavioral coupling」と定義し、その形成と表面化を検討する。行動の結合は文書学習で形成され、微調整で現れ、さらに結合が合成して連鎖しうる可能性が示唆される。
- Wikipediaのリンクだけで目的記事へ:言語モデルの「ナビゲーション能力」を比べる研究
Wikipedia Gameを情報検索に似た課題として用い、文埋め込みモデルとLLMの到達能力を5言語・学術文献データセットでも比較した。OpenAlexでローカルグラフを構築し、第三者APIに頼らない評価枠組みを示す。人間を有意に上回るモデルはなかった。
- 応答冒頭の「キュー」がベースモデルの推論挙動に結びつく可能性
学習データが、応答の最初のトークンとその後の推論挙動を結びつける仕組みを調べた研究。特定の開始トークンを固定すると数学タスクで精度が上がり、RLがその出現を増やす可能性や、データ介入でキュー効果を付与・除去できることを報告する。
- 多数候補の「power sampling」を、1回の生成に近づける学習法OPPD
power distributionで推論を改善する際の「多数候補を生成して採点する」負担を減らすため、1回の生成で同様の効果を狙う学習手法OPPDを提案。MATH500やGSM8Kなどで単発生成の精度向上を報告している。
