悪用厳禁:絶対に成功するA/Bテストの作り方

なぜA/Bテストをするのか

さて本題です。なぜA/Bテストをするのでしょうか。大きな目的は以下の二つでしょうか。

  • 様々な施策を実施し、より良いものを選択する
  • 新しい施策を実施する際に、悪い結果(トラブル等を含む)が出たら即座に中止できるようにする

絶対に成功するA/Bテスト

さて、どのようにすると絶対に成功するA/Bテストは作れるのでしょうか。答えは簡単で、もともとがゼロのKPIをA/Bテストの評価指標にすることです。

母集団をコントロールする

休眠顧客へのアプローチ

あなたの会社が顧客に対してメールマガジンを送っているとしたら、これは好機です。

バックボタンハック

ウェブページを見ている際に戻るボタンを押したときに、ポップアップが出てくるサイトがあります。たとえば、Facebookでは、投稿欄に何かしらのメッセージを入れた状態でバックボタンを押すと、次のように表示されます。

母集団ハックを見抜く

母集団ハックを見抜くには、適切にベースラインの施策が設定されているかどうかを考えることにあります。たとえば、前出の休眠顧客に対するメールであれば、次の二つを比較するべきです。

  • 最後に買った商品に対するクーポンコード
  • 過去の購買履歴を元に機械学習を実施して、特定の商品で使えるクーポンコードを生成

まとめ

  • 本が出るよ
  • 機械学習プロジェクトを成功させるには、A/Bテストからやるといいよ
  • A/Bテストを成功させるには、絶対に成功するA/Bテストという裏ワザがあるよ
  • もともとがゼロであるセグメントを選択することで、どうやってもプラスにしかなりようがないテストを実現できるよ
  • (追記)効果が出る施策と効果が出ない施策を混ぜることで、効果が出ない施策を効果が出ると主張することができるよ
  • 悪用厳禁
  • もともとがゼロのセグメントに対するA/Bテストでは、ベースライン施策の設定をやるべきだよ

--

--

にゅーるにゅーる

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store