川本 稔己, 岡野 裕紀, 山崎 天, 佐藤 敏紀, 船越 孝太郎, 奥村 学
言語処理学会 第29回年次大会 (NLP2023), 2023/03
対話の人手評価には時間とコストがかかるため, 人手評価と自動評価の相関を向上し自動評価の信頼性を高めていくことは重要である. 本稿では, フォローアップ発話が生成される尤度を利用して対話を評価する FED と FULL という自動評価指標に着目し検証と改善を行う. 日本語対話データを利用した実験の結果, FED と FULL は人手評価との相関があまり見られなかったが, 我々の改善した手法の相関係数は 0.58 で最も高い値となった. また, 我々の改善した手法を用い, 対話データから対話システムの順位を予測した結果, 高い相関を示し, 特にオープンドメインの対話は正解の順位と完全に一致した.