今回の記事は、｢広告効果検証｣ において、広告を実際に出稿するテスト地域と出稿しない比較地域による検証が、なぜ有効なのか、どのように実践できるのかを考えます。
相関関係だけではなく因果関係が重要
ビジネスでは、何かの打ち手に対して効果があったかどうか、あったならば具体的にどのような効果が確認できたかを見極めることが重要です。明らかにしたいことは2つあります。 ｢なぜ起こったのか｣ と ｢それはどうすれば起こせるのか｣ です。
いずれも、因果関係を紐解くことです。ビジネスでは、相関関係だけではなく、因果関係に踏み込めるかどうかが問われます。相関関係では単に X と Y が一緒に起こることはわかります。しかし、どちらによる因果なのかは一概には言えません。因果関係を特定できれば、X をすれば Y が起こるという、打ち手と結果 (効果) を示せます。
因果関係を把握することが重要なのは、マーケティングの領域にも、もちろん当てはまります。例えば、広告やオウンドメディアによる顧客とのコミュニケーションによって、どのような効果があったかを見極めることは毎日のように行われています。
今回の記事は、広告について、広告効果を相関関係ではなく因果関係で検証していく方法の1つである ｢エリア別配信テスト｣ を取り上げます。
エリア別配信テストとは何か？なぜ、魅力的な手法なのか？
エリア別配信テスト とは、ランダムに抽出された同質なエリアグループを2つ以上設定し、1つをコントロールエリア、別のエリアをテストエリアとします（ランダム化比較試験/RCT: Randomized Controlled Trial) 。テストエリアは、検証したい施策を実施します。例えば、テストエリアのみ広告施策を実施し、コントロールエリアは実施しません。
広告の実施有無以外の条件は、同質とします。これによって、もしテストエリアが売上等のテスト KPI が、コントロールエリアに比べて統計的に有意な差が確認できれば、テストエリアのみに実施さた施策 (この例では広告 ) が売上に寄与したと言えます。
エリア別配信テストの特徴は2つです。
- ランダム化比較試験を、調査対象者による関与を小さくし、より自然な環境で実地可能。バイアスが少なくなる
- 調査結果の受け手にとって、調査設計・分析プロセス・結果が理解しやすい。高度な統計モデルを必ずしも必要としない
普及を阻害する要因
しかし、エリア別配信テスト は、2018年7月時点において日本で一般的に普及しているとは言えません。なぜなのでしょうか。大きくは、 ｢技術的な要因｣ と ｢実施にあたっての現実的な壁｣ の2つがあると考えられます。
技術的な壁
エリア別配信テストの技術的な実施のハードルは、次の通りです。
- コントロールエリアとテストエリアで、サンプルの同質性を担保することが簡単ではない
- 単純なエリア分けではなく、調査目的に合わせてどう構築するか (商圏規模の量や範囲だけではなく、質も同質にできるか)
- 検証したい広告施策 (説明変数) を多くできない。複数の施策を一度にやって効果がトータルで見られても、何の効果だったかが分解できない
実施にあたっての現実的な壁
技術的なハードルを超えたとしても、現実的な課題もあります。
- コントロールエリアは、施策をあえて実施しないために機会損失が起こる。目的に合わせた関係部門・関係者との合意形成、そのための強いリーダーシップが必要
- 仮に複数の施策を調査する場合は、施策の組み合わせに対応したエリア設定が必要。しかし、現実的ではない
- 調査実施から結果が出るまでに時間がかかる
具体的な取組例
上記のような壁を乗り越え、広告効果を精緻に検証していくためにエリア別配信テストの採用が進み始めています。
例えば、ピザハットでは、デジタル投資を推進する過程で、｢ピザハット｣ というブランド指名の検索キーワードに検索広告投資をするべきかどうかという議論がありました。自然検索でもピザハットのウェブサイトは上位表示されるので必要ないという意見とそうでないという意見に別れていたのです。
そこで、 エリア別配信テストを利用し、テスト的に投資を実施しました。そのテスト期間中、コンバージョンの純増が約 10,000 で、その純増分 1件あたりの費用も 103円と、十分の投資対効果を見いだせる結果となり、本格的な投資判断へと至りました。
また、ローソンではデジタル広告がチラシのように来店や売上に寄与するかどうかという課題意識のもと、エリア別配信テストを実施しました。
具体的には、重点商品であった ｢でか焼鳥｣ の単品訴求をディスプレイ広告にて展開。広告対象商品が売上に繋がったかどうかも検証するために、エリア別配信テストのデータを店舗別 POS データも含めて分析を進めました。
その成果が可視化され、デジタル広告の価値が社内の統一見解となり、本格的なデジタル投資に踏み切ることになりました。
このように、エリア別配信テストによって、広告効果を因果関係を明確にしつつ検証することが素早くできるようになります。これは、データドリブンなマーケティングの意思決定を目指した時の有効な手段の 1 つとなるのではないでしょうか？
