コメントに着目したLLM生成コードの検出精度の比較調査

概要

LLM生成コードには，人間が書いたコードとは異なる特徴が現れる可能性がある．特に，LLMが生成した自然言語文には，人間が書いた文とは異なる特徴があることが知られているため，コード中のコメントにもLLM特有の特徴が表れている可能性がある．しかし，LLM生成コードの検出においてファインチューニングに用いられているデータ中のコメントの有無が検出精度に与える影響については調査した既存研究は，我々が知る限り存在しない．そこで本研究では，LLMを用いたLLM生成コード検出において，ファインチューニングに用いるデータに含まれるコメントの有無が検出精度にどのように影響をするかを調査した．具体的には，T5，CodeT5，BERT，GraphCodeBERTの4つのLLMを用い，コメントの有無が異なるPythonコードデータセットを用いてファインチューニングおよび評価を行った．その結果，コメントを含むデータでファインチューニングしたLLMは，コメントを含むコードに対しては高い検出精度を示した一方で，コメントを含まないコードに対しては検出精度が著しく低下することが確認された．また，コメントを含まないデータでファインチューニングしたLLMは，コメントの有無にかかわらず安定して高い検出精度を示した．

井上 智博

M1

崔 恩瀞

准教授