LINEヤフー大阪オフィスで生成AIに関するLTに登壇
株式会社CosmoSketch代表の滝野は、弊社LLMエンジニア2名と共にLINEヤフー大阪オフィスで開催されたイベントにおいて、生成AIに関するライトニングトークに登壇しました。
LLM-as-a-judgeの考え方と実践を紹介
今回のテーマは「LLM-as-a-judge」です。
LLM-as-a-judgeは、大規模言語モデルを文章やAI出力の評価者として利用する手法です。人がすべての出力を個別に確認することが難しい場面において、評価作業の一部を自動化できる可能性があり、生成AIを用いたサービスの開発や品質管理で注目されています。
登壇では、LLM-as-a-judgeに関する最新の研究動向を紹介するとともに、実際のプロダクトや業務で利用する際の評価設計について、当社での検証事例を交えて説明しました。
一方で、モデルや指示方法によって評価結果が変わること、特定の表現や回答を過大に評価する可能性があることなど、実務利用における課題についても取り上げました。
当社は今後も、生成AIに関する研究や技術動向を継続的に検証し、営業支援をはじめとする実際の業務システムへ還元してまいります。