画像の認識・理解シンポジウム MIRU 2026
　MIRU 学生奨励賞

テキストクエリ駆動型 Contrastive Decoding による大規模視覚言語モデルの幻覚軽減

視覚言語モデルは、画像と質問文の内容を理解し、文章で回答できるAIとして高い性能を示しています。一方で、画像には存在しない物体や情報を、あたかも存在するかのように生成してしまう「幻覚」が課題となっています。

本研究では、質問文の中で重要な名詞に注目し、それらと関連の強い画像領域をモデル内部の注意機構から特定します。その領域を意図的に隠した場合と元の画像を用いた場合の予測を比較し、画像に基づく情報をより重視して回答を生成します。これにより、質問内容に応じて重要な視覚情報を考慮しながら、誤った回答の生成を抑えることができます。

評価実験の結果、複数の視覚言語モデルにおいて幻覚を軽減できることを確認しました。