マーケティングに携わる人なら、ビッグデータの活用方法や KPI 設定に関心があるのは今や当然のことになってきました。しかし、広告における「効果測定方法そのもの」に関心が高い方はまだ少ないのではないでしょうか。今回は Google Media Lab の Tommy Wiles（トミー ウィレス ）が、正しい広告効果測定を行う手順をお話しします。
大学時代は調査手法理論（Reserach Methods）の授業が最も苦手でした。ところが実際にマーケティングの世界に身を置くと、科学的な調査手法の基礎、因果関係と相関関係の違い、縦断的調査と横断的調査、事前調査と事後調査といった調査がどれほど重要なのかということを痛感するようになりました。
マーケティング キャンペーンの効果測定では、調査設計は二の次になりがちです。しかし Google Media Lab（Google のマーケティングのために、メディアのプランニングやバイイング、メディア開発を担当する社内チーム）は、調査に正しい手順を組み込むことで、効果の測定結果に大きな違いが出ると考えています。膨大なデータが即座に手に入る昨今では、正しい実験検証を行えるかどうかがキャンペーンの成否を左右し、以降のキャンペーン成果にも影響します。 それでは、正しい実験検証によって、正確かつアクションにつながるインサイトを得るためにはどのような手順が必要になるのでしょうか？
実験検証によって正しくマーケティングの効果を測定する 4 つの手順
1. 目的に基づいて仮説を立てる
キャンペーンの成果を正しく分析し、広告キャンペーンの効果を最大化するには、キャンペーン開始前の仮説構築とその検証が重要です。
仮説は、キャンペーン全体の目的に関連させることを意識します。Google ではまず、それぞれのビジネスにおける目標を設定し、それを実現するためのマーケティングおよびキャンペーン目標を定めます。各々の目標を個別に明確化してから、最終的に、最大の成果を生み出すことができる広告プランを設計するのです。
最近実施された Android のディスプレイ広告キャンペーンにおける実験検証を例にとってみましょう。この時のビジネス目標を実現するために定められたキャンペーンの目的は、「Android の認知度の向上」で、それを達成するための仮説は、「広告クリエイティブにおけるブランド要素は 1 つではなく、複数のほうが効果的ではないか」となります（下の手順 2 の図を参照）。
2. 相関関係ではなく、因果関係を正しく導く調査設計を
キャンペーンの目標と仮説を設定したら、それを検証する調査設計を考えます。効果を測定するだけ、あるいは相関関係を見いだすだけでは不十分です。正しい因果関係を導き出すことを目標にします（相関関係とは、一方の値が変化すれば、他方の値も変化するという、2つの値の関連性を意味しますが、因果関係とは原因と結果の関係は絶対に一方通行、つまり原因→結果でしか成り立たない関係です）。
調査を行うときには、「異なるクリエイティブ表現の効果を比較したい」と考えてしまいがちですが、それでは厳正な調査設計にはなりません。必要なのは、対象広告に接触する「テストグループ」と接触しない「コントロールグループ」を設けること。このようにして両者におけるクリエイティブ表現に対する態度変容の正しい差を比較する必要があります。
前述した Android のキャンペーンの例では、仮説を立てた後に 3 種類のバナー広告を用意して、Android のロゴとマスコット キャラクターという 2 つの変動要素を用いました。キャンペーンを 3 種類に分けた各グループと、それぞれに対応するコントロールグループとで効果を比較するわけです。 そうして「純粋想起」を測定した結果、調査したバナー広告の中で、マスコットとロゴの両方を含めた広告クリエイティブ表現が最も効果的であるとわかりました。両方を含めた広告クリエイティブが最も効果的であるとわかりました。
3. 価値のあるデータが得られるよう変動要素は制限する
マーケティングの世界ではあまり話題になりませんが、研究者たちの間では調査バイアスというテーマがしばしば取り上げられます。 前述のとおり、Google では、対象広告に接触するテストグループと接触しないコントロールグループとを設けることでバイアスを回避しています。各グループの調査対象者を無作為に抽出し、効果を測定することによって、時間（事前と事後）とユーザー層のバイアスが、調査結果へ影響することを避けています。
Android のキャンペーンでは、対象広告に接触する 3 つのテストグループおよび、それぞれに対応する 3 つのコントロールグループという、合計 6 つの調査対象を設定しました。そのうえで、各々の広告表示グループで認知度がどれだけ向上したのかを測定します。実施する際には、変動要素を最大限排除し、因果関係を導き出しやすくするのがポイントです。 これによって得られたインサイトの信頼性が高まりますし、以降のキャンペーンの改善につなげることができます。
4. 確かなツールを体系的に活用する
得られるデータを価値あるインサイトにするためには、データをどのような確度で見るかが重要です。ここで測定ツールの出番です。Google Media Lab では、DoubleClick や Google アナリティクス 360 スイートなどのツールを使用してデータ（地域、時間帯、行動履歴、興味や関心、ウェブサイトの利用状況など）を分類しています。
このような切り口でデータを分析することで、それに合わせた広告の配信やターゲットの設定が可能になるのです（「Inside Google Marketing」シリーズの第一弾のテーマです）。
こうして得られたインサイトやデータは、別ブランドや同一ブランドの別商品・サービスにも応用できます。このように手法が確立できた場合、複数のキャンペーンを横断で見る場合でも、同一の手法で効果測定をすることが可能になります。
確かな調査設計が、正しい ROI 測定の土台に
ROI 測定においてビッグデータやマーケティング サイエンスが話題に上ることは少なくありません。さらに先を行くマーケターは、その手前で正しい調査設計をしています。データから有益なインサイトを得るには、目的にふさわしい測定方法が欠かせないことを熟知し、同一のツールと評価方法で、キャンペーンを体系的・継続的に検証することによって正しく広告効果が測定できることを認識しているのです。こうして初めて、真に効果的な広告と、そうではないものを見分けることが可能となると考えています。
