SHIRITAS

論文 / arXiv:2611.26588

Verify the Verifier: Specification-Grounded LLM Cross-Checking for Bugs That Escape UVM Scoreboards

PLAIN SUMMARY / やさしい要約

テストに合格しても、それは「見ている範囲で問題がない」だけで、決まりごと(仕様)を守っているとは限りません。そこでこの研究は、合格したテストの記録(トレース)を、仕様の文章と照らし合わせて見直す仕組みを提案します。たとえるなら、採点済みの答案をもう一度「出題の条件」に戻って見直し、採点が見落とした間違いがないか確かめるような発想です。OpenTitanの4つの部品で評価し、すり抜けの可能性があるものの一部を実際の“すり抜け”として確認したと報告しています。

AIが専門用語を使わずに書いた解説です。内容の正確さは、下の原文の要旨で確認してください。

ABSTRACT / 要旨(原文)

A passing UVM regression shows the design agrees with the reference model on what the scoreboard checks, not that it meets the specification. Bugs that pass every test yet violate the specification, termed scoreboard escapes, survive mature testbenches. We present Verify the Verifier, to our knowledge the first framework whose LLM-based Anomaly Cross-Checker examines a passing regression's traces against the specification. Of 564 bugs inserted into four OpenTitan IPs, 68 are candidate scoreboard escapes: non-equivalent, exercised by the tests, yet passing. The framework confirmed 41 as scoreboard escapes with assertions failing on the buggy design and proven on the original.

ここに表示しているのは原論文の要旨です。AIによる要約や解釈は含みません。

この論文を取り上げた記事