LLMの回答精度を評価する仕組みを作ってみた | レバレジーズ データAIブログ

はじめに こんにちは、レバレジーズテクノロジー戦略室でAIエンジニアをしている安藤です。 今回は最近社内で急速に導入が進んでいるLLMの精度評価の仕組みの構築について記載します。 現状、この分野は知見も少ないので我々も手探り状態ではありますが何か参考になれば嬉しいです。 背景 & 課題 LLM回答精度評価の難しさ 最近のLLMの普及に伴い、レバレジーズでも続々と業務改善やプロダクトにLLMが利用されるようになってきました。LLM導入はもっぱらサードパーティが提供するAPIを利用することで完了するものが多く、技術的に簡単に導入できるため導入数は急激に増えていきました。 一方でLLMの厄介さは導入…


元の記事を確認する