こんにちは、気付いたらオライリーから本が出ていました、ところてんです。
オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。
物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。
書評もいくつか届いており、勝手ながら紹介させていただきます。
さて、今回も書籍に入れる予定で落ちた「絶対に成功するA/Bテスト」というコラムについて書こうと思います。ちなみに前回のコラムはこちら。
また本に盛り込むことができたコラムはこんな感じ。続きは書籍で。
なぜA/Bテストをするのか
さて本題です。なぜA/Bテストをするのでしょうか。大きな目的は以下の二つでしょうか。
- 様々な施策を実施し、より良いものを選択する
- 新しい施策を実施する際に、悪い結果(トラブル等を含む)が出たら即座に中止できるようにする
これに加えて、ABテストは効果が一目でわかるため、施策内容を理解していない人であっても「これは良い」と判断することができる、という特徴があります。
これを逆手に取り、A/Bテストの条件をコントロールすることで、絶対に成功するA/Bテストを設計することで、A/Bテストの中身を理解しない上司を欺き、会社をハックすることもできます。
これを悪用すると、ビジネスサイドが固くて、なかなか機械学習を社内に導入できない、といった環境では、A/Bテストをハックすることで、会社として機械学習の方向に舵を切らせることができるわけです。
このポエムでは、その手法の紹介と見抜き方、対策方法について書いていきます。
絶対に成功するA/Bテスト
さて、どのようにすると絶対に成功するA/Bテストは作れるのでしょうか。答えは簡単で、もともとがゼロのKPIをA/Bテストの評価指標にすることです。
例えば次のような例では、B群は大成功と判断できるわけです。
例１）
A群： コンバージョンレート 0.0%
B群： コンバージョンレート 1.0%
例２）
A群： 売上 0円
B群： 売上 100円
加えて、コンバージョンレートや、売上のように、マイナスの値を取らない指標を評価基準に使うことで、ゼロ以下に下がりようがないため、何をやっても現状と変わらないか良くなるしかないのです。
売上やコンバージョンレートのようにマイナスになりようのない数字というのはいくらでもあるので、問題はどのようにもともとがゼロの数値をもつ母集団を選択するかです。
次では実際に私が見た、母集団コントロールの事例を紹介します。
母集団をコントロールする
休眠顧客へのアプローチ
あなたの会社が顧客に対してメールマガジンを送っているとしたら、これは好機です。
購買履歴とメールアドレスを突き合わせて、「過去3年間購買履歴がないお客様」というセグメントを作りましょう。このセグメントは、将来コンバージョンをする可能性が極めて低いため、顧客価値がほぼゼロです。
そして、過去の購買履歴からお客様に合わせたクーポンコードを発行し、メールマガジンメールに添付して送るという施策を立て、これをいつも通りのメールマガジン送付と比較してA/Bテストを行いましょう。すると、こんなA/Bテストの結果が得られます。
いつも通りのメール群のCVR： 0.0%
機械学習によるおすすめクーポン付与群のCVR ：1.2%
これにより「休眠顧客に機械学習によりカスタマイズしたクーポンコードを送ったことで、コンバージョンが増加した」と主張することができます。
つまり、実態はクーポンの効果であっても、機械学習によって個人に最適化したためであると、主張を捻じ曲げているわけです。
なお、休眠顧客に対するアプローチは、機械学習の導入においてとても有効です。機械学習の導入は、既存のマーケティング部門からしてみると「機械学習というよく分からないものが入ってくる」「A/Bテストで実験してみると言っているが、成果が落ちるかもしれない」という不安を覚えます。
それに対して、休眠顧客を借りてA/Bテストを行う場合、マーケティング部門からしてみると、成果が下がることはありえないため、社内の抵抗が少なく、比較的簡単に実験を行うことができます。
バックボタンハック
ウェブページを見ている際に戻るボタンを押したときに、ポップアップが出てくるサイトがあります。たとえば、Facebookでは、投稿欄に何かしらのメッセージを入れた状態でバックボタンを押すと、次のように表示されます。
ちなみに技術的にはこんな感じ。
戻るボタンを押した顧客というのは、そのサイトを去っていくことが確実であり、その後のコンバージョンレートはゼロであることが予想されます。
そのため、戻るボタンを押した顧客を対象にして、そのまま去って行かせるのと、アラートをだして引きとめることをA/Bテストをすることで確実にプラスになるA/Bテストを設計することができます。
一部のマーケティングツールでは、この手法が使われています。そして、この絶対に成功するA/Bテストに対して高いマーケティング費用を支払っている会社が多く存在します。
母集団ハックを見抜く
母集団ハックを見抜くには、適切にベースラインの施策が設定されているかどうかを考えることにあります。たとえば、前出の休眠顧客に対するメールであれば、次の二つを比較するべきです。
- 最後に買った商品に対するクーポンコード
- 過去の購買履歴を元に機械学習を実施して、特定の商品で使えるクーポンコードを生成
最後に買った商品に対するクーポンコードは、特に難しいことをやっておらず、ベースラインになりえます。もうちょっと頭を使うのであれば、最後に買った商品と同一カテゴリの商品で使えるクーポンコードなどになるでしょうか。
このような、適切なベースラインの施策を用意することで、機械学習の効果による改善というものを明らかにすることができます。
とはいえ、ゼロのセグメントを母集団にして施策を実行し、成果を出すことは必ずしも悪いことではありません。やれば必ず成果が出るセグメントなので、やらない理由はないのです。
問題なのは、ゼロのセグメントを対象としたABテストの成功を元に、施策に使われていた技術が良かったという錯誤を引き起こさせることです。
まとめ
- 本が出るよ
- 機械学習プロジェクトを成功させるには、A/Bテストからやるといいよ
- A/Bテストを成功させるには、絶対に成功するA/Bテストという裏ワザがあるよ
- もともとがゼロであるセグメントを選択することで、どうやってもプラスにしかなりようがないテストを実現できるよ
- （追記）効果が出る施策と効果が出ない施策を混ぜることで、効果が出ない施策を効果が出ると主張することができるよ
- 悪用厳禁
- もともとがゼロのセグメントに対するA/Bテストでは、ベースライン施策の設定をやるべきだよ
余談ですが、私がある会社の案件について社外審査員を担当させていただいた際に、まさにこの絶対に成功するA/Bテストが行われた事例がありました。
私以外にも数名の専門家の社外審査員が居ましたが、他の審査員は使われた技術に注目してしまい、A/Bテストの問題を素通ししてしまいました。「使われている技術が最先端で成果も出ているから、これは素晴らしい」と主張する他の審査員と、「A/Bテストが絶対に成功するように設計されているため、この技術が素晴らしいかどうかは分からない」という私で主張が割れてしまい、喧々諤々の楽しい議論が繰り広げられました。
専門家でも絶対に成功するA/Bテストはなかなか見抜けないのだなぁと痛感したので、この手法を世に広めねばと思い筆をとったしだいです。
まあ、そういう日もあるさ。
審査員や事業評価とかのスポット案件がありましたら傭兵として参加しますので、お気軽にご連絡ください。
