佐藤です。

お陰様で前回の記事は各所で話題にして頂いているようです。特にNewspicksでは識者の皆様から色々な視点でコメントをもらい、私的にも大きな発見がありました。情報は発信する人間が一番得をするという事はわかっているつもりでしたが、アウトプットがより大きなインプットを生むという経験を体感しました。有難うございます。

さて、前回はなぜリターゲティング広告(リタゲ)のリターンを見誤るのか？についてお話ししました。

リタゲは２つの特性があり、その特性によって何もしなくてもCVしていたユーザに対しても広告が表示されるため、媒体計測や広告効果測定ツールだけでリタゲの成果を判断することは危険だ、という内容ですね。

今回は、リタゲの成果を見誤らない具体的な計測方法と評価の仕方についてお話しします。

差分に着目する

リタゲの成果を見誤らず正確に把握するにはどの様な調査手法を行えば可視化できるのでしょうか？

結論は非常にシンプルで、図1の様にリタゲに接触する機会があるユーザと接触する機会を一切作らないユーザを同じ条件で抽出・分類し、コンバージョンのしやすさを比較すれば良いのです。

図1:リタゲの成果を正確に把握する方法

分類する際の注意点としては、リタゲ対象(Exposedと呼びます)と非対象(Controlと呼びます)の前提条件を揃える事です(図2)。コンバージョンに近いページに来たか否かと、いつ来たかの2つは確実に揃えておくと良いでしょう。

図2:ユーザの前提条件は揃える

※『リタゲタグを呼び出す』とは、リタゲを行う上でユーザのCookieを蓄積するために媒体から提供されるJavascriptをサイト内に設置する事を示しています。

差分に着目する調査はブランド効果測定ではごく一般的

この考え方はブランド効果測定では良く使われる認知度アップリフト調査と同じです。
広告接触無しユーザの認知度を基準点に置くことで、広告接触ありユーザの認知度のアップリフトが集計できます。

このリフトアップという考え方はブランディングのキャンペーンの効果検証としては至極一般的です。では、なぜこうした検証がリタゲでは行われてこなかったのでしょうか？

全てが計測できていたので差分を比較する必要は無かったが…

言うは易く行うは難しで、後述の通りこうした検証を行うには相応の仕組みと経験が必要となるのですが、そもそもこうした検証が行われてこなかったのはリフトアップで見るより実数で見たほうが早く正確だったためと考えています。

事実、WEB上でのコンバージョンを目的としたインターネット広告においてはクリックとコンバージョンの因果が計測出来たためこれをもって効果測定としていたのです。そしてそれは自然な発想でした。全てが計測出来るなら、リフトアップで見るより実数で見たほうが早く正確です。

しかしここに来て、前回お話しした様にリタゲが必ずしも成果を出していないという状態を生み出している事が分かってきました。ですのでミスマッチや過剰出稿が発生している可能性があるキャンペーンにおいては、その正確な数値を測るためにはあえて「リターゲティングに接触していないユーザ」を作り出すことで純増させるコンバージョンを測る事の重要度が上がったのです。

差分を見なければ、もはや正確なリタゲの評価は出来なくなっていると言えるでしょう。

真の成果を計測する3つのステップ

リフトアップを計測し、真の成果がどの程度発生しているかを明らかにする手順は3ステップに分かれています。弊社ではこの仕組みをスプリットテストと呼んでいます。

◇スプリットテストの手順：

1. リタゲタグを出さないユーザを作りだす
2. リタゲタグを出すユーザ、出さないユーザそれぞれのコンバージョンのしやすさを集計する
3. 差分を取り、純増しているコンバージョンを元にコスト効率を算出する

ステップ１． リタゲタグを出さないユーザを作りだす

リタゲタグを出さないユーザの作り出し方は、タグマネジメントツールを使います。
図3の様に、調査に足る母数だけタグを出さないユーザを作り出し制御します。

図3:タグマネジメントツールによるCookieレベルでタグの出し分けをする概念図

ステップ２． リタゲタグを出すユーザ、出さないユーザそれぞれのコンバージョンのしやすさを集計する

リタゲタグを出さないユーザを作り出したら、今度はユーザをそれぞれ集計します。
これはアクセス解析ツールやDMPで集計します。ちなみにやってみるとわかりますが非常に手間が掛かります。(弊社では独自に簡単に集計出来る様にしています。)

なぜ非常に手間がかかるのか。それはツールがアップリフトを見る事に最適化されていないからです。
ユーザのアップリフトを調べるためには条件を揃える必要があると前述しましたが、ユーザの条件を揃え、比較するためには少なくとも下記8つの次元数が必要になります。

・期間
・デバイス
・ユーザ属性(新規/既存等)
・グループ(Control/Exposed)
・広告パラメータ有無
・詳細ページ来訪有無
・商品カテゴリ
・媒体

この次元一つ一つに対し要素が2-11個程度存在するため、比較の必要なユーザ群を網羅するには3万ほどになります。実際にはその中でも意思決定にあまり必要ないユーザ群を省いていく工程を経て300弱のユーザ群を対象にすれば良いのですが、それでも多いかと思います。これを手作業でやろうとすれば、アクセス解析ツールやDMPの運用に長けた人でも2-3ヶ月程度は掛かると思います。

ステップ３． 差分を取り、純増しているコンバージョンを元にコスト効率を算出する

ここまででリフトアップが集計出来る状態になったので、最後に差分を取ります。図4ではどう差分が取れるかその概念を図示化しています。リタゲタグを出さないユーザ群は今までリタゲタグが出ていたユーザなので、実際にリタゲが出なくなるまでは時間が掛かります。おおよそ1ヶ月程度で広告が出なくなるでしょう。

※早くリタゲタグを出さないユーザを作るためにデリタゲ(リタゲ対象から外す専用のタグを呼び出す、もしくはControlに属するユーザ群をリタゲ対象から外すタグを呼び出す)を行うのも効果的です。

図4:時間経過によりCV遷移率の差分が見えてくる概念図

アウトプット例と得られる示唆

スプリットテストを行った結果は、例えば図5の様になります。

図5:スプリットテストを実施した後に得られるアウトプット例

リタゲタグに接触する機会があったユーザ群（“Exposed”群）とリタゲタグに接触していないユーザ(“Control”群)のコンバージョンのしやすさ(CV遷移率)の比を取る事でCVアップリフト率(リフト率)を算出しています。リフト率が高ければ高いほどリタゲの影響が大きいということになりますので、リタゲの費用対効果が高いことになります。

さて、リフト率がわかることで何がわかるのでしょうか？コントロール群のCV遷移率がわかっているので、リタゲ費用を掛けて増えたコンバージョン数（純増したコンバージョン）を計算することができます。これを分母としてリタゲ費用を割り返すことにより、純増したコンバージョンのみにかかったCPAを計算することができます。これが分かって初めて、リタゲの真の成果を評価する事が出来るのです。

図6はCPAが2,000円でCVが計測ツールで月25,000件獲得していると計測されているクライアント様がリフト率に応じて実際に純増したコンバージョンだけで評価したCPA(純増CPA)がいくらだったかを簡単に判断できる早見表になります。左から順に、リフトアップ率、CPA、CV数、総予算、純増CPA（純増したコンバージョンのみを用い再評価した正味のCPA）です。

図6:実際のCPAがいくらだったかを読み取る早見表

過去の傾向ですとリフト率は概ね105-140%の範囲に分布しています。仮に140%のCVリフトアップがあった場合でも、純増CPAに置き直すと獲得単価は3.5倍の7,000円であった事がわかります。

まとめ

ここまで読んで頂き有難うございました。
具体的な検証方法が分かって頂けたでしょうか？

少々複雑だったかもしれませんが、今までモヤモヤしていた広告効果を明らかに出来る方法がわかりスッキリした方もいらっしゃるのではないでしょうか。調査についてはいつでもお問い合わせください。

尚、これが分かったとしてどう評価と運用に活かすのか？という事についてはクライアント様の個別ノウハウであるため、今の段階ではオープンにしません。調査が一般に浸透し、課題が顕在化したタイミングで徐々に明らかにしていこうと思います。

さて、次回からはテーマを変えて如何に早く正確にデータを取得するか？についてお話ししていきます。

ここからクライアント様向けのセミナーオファーになります。
ここでは話せない内容等がありますので是非、ご検討ください。

ブログで取り扱うテーマ「リターゲティング」に関して
無料セミナーを実施いたします。
ご興味のある方は是非チェックを！

■日程：2016年11月22日（火）
■時間：17:30-19:30（受付開始 17：00）
■会場：Fringe81　六本木ヒルズオフィス
■住所：東京都港区六本木6-10-1 六本木ヒルズ森タワー8F
■対象：デジタル広告の運用における効果検証にお悩みの方。リターゲティング広告にご予算を使いすぎじゃないか？と疑っている方。

※開催時間に変動がある可能性がございます。変更になった際はあらためてご連絡させていただきますので、あらかじめご了承ください。
※ご招待枠に限りがございます。抽選をさせていただく場合がございます。また同業他社様の場合はお断りさせていただきますので、あらかじめご了承ください。

セミナー内容

■第一部（17:30〜18:30）
Fringe81株式会社（http://www.fringe81.com/）
◆Fringe81無料セミナー◆
テーマ：「リターゲティング」
リターゲティングの◯割には効果が無い、、、本当に成果に繋がる人への最先端リタゲ運用方法

■第二部（18:30〜19:30）　懇親・相談会
お食事と飲み物（アルコール含む）をご用意しております。
ご参加お待ちしております。

▼　詳細・お申込み　▼