はじめに
こんにちは、AI・アナリティクス本部ビジネスアナリティクス部マーケティングサイエンスブロックの佐々木(@sasaken1209)です。先日8月22日にLINEヤフー株式会社さんと「LINEヤフー × ZOZO コラボ Meetup ～データサイエンス～」を開催しました。各社の「ABテストから学んだ教訓」にフォーカスして、データサイエンティストたちが具体的な事例を交えながら紹介するオフラインイベントです。
登壇内容まとめ
ZOZOからは次の2名が登壇しました。
| 発表タイトル | 登壇者 |
|---|---|
| “効果の埋もれやすい”大規模施策におけるA/Bテストの課題と改善 | マーケティングサイエンスブロック 浜松 |
| ABテストの準備におけるしくじりと心構え〜メルマガデザインABテストを題材に〜 | ビジネス推進ブロック 山崎 |
“効果の埋もれやすい”大規模施策におけるA/Bテストの課題と改善
浜松からは、ZOZOTOWNにおける購買促進を目的とした販促施策（特定カテゴリの商品を一定額以上を購入した場合のポイント還元）について、効果検証の失敗談とその後の対策が発表されました。
今回の失敗は「効果が希薄化し、統計的に信頼できる結論を導きにくくなった」というものです。原因は、介入群の中でも特定条件を満たした一部のユーザーしか施策に参加（≒処置を受ける）しない構造にありました。そのため、大多数の非参加者によって効果が小さく見えてしまい、十分な検証が行えない状況となってしまいました。
この経験を踏まえ、現在では事業部と効果量や検出力に関する認識を事前にすり合わせることを必須化し、改善に取り組んでいるとのことでした。
ABテストの準備におけるしくじりと心構え〜メルマガデザインABテストを題材に〜
山崎からは、ZOZOTOWNにおけるメルマガを用いた販促施策について、効果検証における2つの失敗談とその後の対策が発表されました。
1つ目の失敗は「メルマガのデザイン変更において、デザイン以外の仕様の違いを許容してしまい、その結果、変更した箇所以外の差異がテスト結果を歪めてしまった」点です。これは、以前配信していた仕様であれば影響は小さいだろうと判断してしまったことが原因でした。
この経験を踏まえ、検証対象の変更以外は原則NGとし、やむを得ず必要な場合には代替案を分析側が事業部に提示し、対応方針を合意するフローへと改めたとのことです。
2つ目の失敗は「ABテスト実施中の切り戻し基準を事前に設定していなかった」点です。これは、過去に配信していたデザインであれば大きなマイナスにはならないだろうという思い込みが原因でした。
この経験を踏まえ、切り戻し基準の要否やレベル感を判断する際の観点を整理し、設計時に参照するフローを策定したとのことです。
パネルディスカッション
パネルディスカッションでは以下のお題を扱い、各登壇者が順に回答する形式で進めました。
- どのような“仕組み”で再発を防ごうとしている？（個人／チーム問わず）
- A/Bテストや検定に関して布教や解説をしている？ している場合、手応えはどう？
- 後続のテストやプロダクト全体の構想など、情報を引き出すコツや良い行動はありそう？
各トピックでは現場のリアルな状況に基づいた、聴衆の関心度が高い話題も展開されました。
また、お題以外にもslidoで募ったものの各発表で拾いきれなかった質問を取り上げましたが、それでもまだまだ議論すると面白そうな質問が数多く残りました。次回以降は発表枠を調整し、議論の時間をより余裕をもって確保することも検討しています。
本イベントで行った工夫
今回、懇親会をより有意義なものとするために、以下の工夫を凝らしました。
- 受付時に飲食物を配布し、発表中の飲食もOKとした
【イベントレポート】「LINEヤフー × ZOZO コラボ Meetup ～データサイエンス～」を開催しました！ - ネームプレートを属性（分析職／分析職以外の社会人／学生）ごとに色分けし、好きな技術等を記入できる欄も追加した
アンケートでもこうした工夫に対して「良かった」という声を多くいただき、当日の盛り上がりからも効果があったと感じています。イベントを企画される際には、今回のような工夫も一例として参考にしていただければ嬉しいです。
まとめ
本イベントでは発表中、多くの参加者が熱心にメモを取り、その高い関心が伝わってきました。発表後の懇親会では、参加者と登壇者がカジュアルに質問し合いながら交流し、より深い情報や各社が抱える課題を共有する場となりました。参加者からは「他社には出しにくい失敗談をイベントで公開できる姿勢が素晴らしく、大変学びの多い場になった」との声もいただきました。
ご参加いただいた皆さまには心より感謝申し上げます。皆さまのおかげで、本イベントが活気にあふれ、実りある時間となりました。今後もこのようなイベントを継続的に開催してまいりますので、ぜひご参加ください！
LINEヤフー株式会社さん側でも、本イベントに関する記事が公開されています。同社のデータサイエンティストによる登壇内容については、以下をご参照ください。
ZOZOでは一緒に働く仲間を募集中です。ご興味のある方は以下のリンクからぜひご応募ください。
元の記事を確認する
