記事一覧

AI営業の評価

AI営業PoCのKPIは送信数だけで決めない

AI営業のPoCでは、送信できた件数よりも、適切な相手に届き、次の会話につながったかを確認します。継続可否を判断するための指標を、実運用に沿って整理します。

AI営業の調査、承認、送信、評価の流れ

PoCでは「続ける条件」を開始前に決める

AI営業のPoCは、機能が動くかを試すだけでは足りません。対象企業を選び、調査し、人が確認して送り、返信へ対応するところまで実務で動かします。そのうえで、継続する価値があるかを判断します。

期間は2〜4週間を一つの目安にします。商材の検討期間が長い場合、PoC中に成約まで到達しないこともあります。そのため、最終成果だけでなく、途中の品質と運用負荷も測ります。

5つの指標を同じ分母で追う

指標 確認すること 注意点
有効送信数 宛先不明や配信不能を除き、実際に届いた件数 作成件数と混同しない
有効返信数 会話につながる返信が何件あったか 自動返信や配信停止は分ける
商談数 日程調整まで進んだ件数 定義を開始前に揃える
対象外理由 商材不一致、時期違い、担当違いなど 除外条件の改善に使う
人の確認負荷 宛先・文面確認と返信対応にかかった時間 自動化率だけを追わない

率を計算するときは分母を固定します。例えば返信率なら、「作成した文面」ではなく「有効送信」を分母にします。途中で定義を変えると、改善したのか対象が変わったのか判断できません。

返信を一つの数字にまとめない

返信には、関心あり、質問、時期尚早、担当者紹介、対象外、配信停止など異なる意味があります。総返信数だけを見ると、前向きな会話と拒否を同じ成果として数えてしまいます。

PoCでは少なくとも、次の対応が必要な返信と、送信対象の見直しにつながる返信を分けます。前者は商談化の設計に、後者は対象条件や文面の改善に使えます。

P2GM事例では途中と終了時の両方を見た

P2GM株式会社での検証途中は、有効送信173件、返信6件、商談2件、受注1件でした。4週間の終了時点では、送信203件、有効返信7件、商談2件、成約2件となりました。

途中の返信率だけで止めていれば、送信後に進んだ商談の結果を評価できませんでした。短期PoCでも、送信日、返信日、商談日、結果を同じ案件に結び付けて追う必要があります。

P2GM株式会社の4週間の検証結果を見る

継続、修正、見送りの3択で結論を出す

PoCの終了時は「成功・失敗」の二択にしません。対象と運用を維持して継続する、条件を修正して再検証する、現時点では見送る、の3択で判断します。

送信数が多くても、対象外の返信が続き、人の確認負荷が高ければそのまま拡大できません。少数でも具体的な質問や商談が生まれ、対象条件を説明できるなら、次の検証へ進む根拠になります。

メルゴリの2〜4週間の検証について相談する

執筆

株式会社CosmoSketchメルゴリ開発・運用チーム