LG AI研究院の研究者、AIモデル性能評価で国際的な会議の最高論文賞＝韓国

LG AI研究院によると、米カーネギーメロン大学の博士課程で研究を行うキム・スンウォン研究員が、計算言語学などの分野における国際会議NAACL（North American Chapter of the Association for Computational Linguistics）における最高論文賞を受賞した。

キム研究員はLG AI研究院の超知能ラボでインターン課程に所属していた頃、イ・ムンテ超知能ラボ長などとの研究チームと共に生成AI（人工知能）モデルの性能を評価した「ビッグジェン（BIGGEN）ベンチマーク」を開発した。

キム研究員などの研究チームによる今回の研究には、延世大学のやマサチューセッツ工科大学（MIT）など複数の大学の研究陣が参加していた。

既存の生成AIモデルの評価形式は、柔軟性や無害性といった抽象的な指数に依存しており、人が評価した際の結果と異なる場合があった。

一方ビッグジェンベンチマークでは、指示の遂行、論理的な推論、多様な言語と文化的な脈絡の理解能力など、AIモデルが持つべき能力を9種類に分類。77の能力の遂行ついて評価する765項目からなる。

LG AI研究院がビッグジェンベンチマーキングを利用し、103の生成AIモデルを評価した結果、専門家集団との交差検証において高レベルでの妥当性を見せたという。