This post is also available in: English
サイトや広告などの効果を比較するためにマーケティングにおいてはABテストという手法があります。本記事では効果を出すためのABテストの基本的な考え方について論考し、ABテスト利用時にオススメのツールなどをご紹介します。
ABテストとは
ABテストは主にマーケティングの文脈で語られることが多いキーワードです。主に2つの施策の効果を比較して検証することを目的として使われます。具体的には、サイトの効果改善や広告検証などの文脈で使われる頻度が高くなります。
A/Bテストとは、複数のバージョンをランダムに比較検証して統計的にパフォーマンスが高い方を採用する改善プロセスです。マーケティングにおけるCRO（Conversion Rate Optimization ）やグロースハックの文脈で主に使われます。サービス改善においてほぼ必須ともいえる手法です。 | A/Bテストの基礎知識。失敗しないA/Bテストのやり方とは？
2グループで比較
ABテストは概念的にコントロールグループとテストグループという2グループで考えます。
コントロールグループは統制グループとも呼ばれますが、基本的に「従来の施策をそのままやる」グループをさします。
テストグループはその名の通り今回新たに試すグループを使います。
ABテストの成功のために必要なこと
ABテストの定義を確認したところで、ABテストを成功させるために必要な事柄について話を進めていきます。
目的とKPIを必ず決める
まずはそのABテストで何を得たいのかの目的を決める必要があります。
例えば、サイトの登録率を改善させたいのか、あるいは滞在時間を改善させたいのかといったテストの目的をチームで同意をとります。
そのうえでどの指標をみるのか、という観点でKPIを決めます。
登録率の改善目的であれば登録ボタンのクリック率ですし、滞在時間を改善させたい場合は滞在時間がKPIになります。
前提条件を合わせる
AとB2つのグループにおいては前提条件をなるべく合わせるべきです。
例えば、Aのグループが100人のユーザーにしか接触していないにもかかわらずBのグループが1万人のユーザーに接触していたら前提が異なるため正しく検証をすることが難しくなります。
ジャッジが不可逆的かどうか
例えばサイトのフルリニューアルといった不可逆（=戻ることが難しい）な施策においてはプロダクション環境でのABテストは向いていません。
ABテストでより検証を行いやすいのは、コンセプト的な上流の内容よりも、サイトのレイアウトや文言内容などといった比較的ディテールに近い内容となります。
上記サイトのフルリニューアルのような不可逆なジャッジの成功確率を高めるためにアイデアを比較したい場合はどういう手法が考えられるでしょうか。
その場合、比較的効果がある手法が事前に対象者へのインタビュー（定性調査）やアンケート（定量調査）となります。
どのコンセプトが最もユーザーに受け入れやすいかという調査をリリースの前段階で行うことができます。
有意差を担保する
ABテストを実施してみて、感覚的に明確な差が出たかのように感じることがあるかと思います。
出た結果は数学的に有意なのかどうかを改めて検証する必要があります。
有意差を検証するための代表的な考え方がt検定となります。
t検定とは、帰無仮説が正しいと仮定した場合に、統計量がt分布に従うことを利用する統計学的検定法の総称である。母集団が正規分布に従うと仮定するパラメトリック検定法であり、t分布が直接、もとの平均や標準偏差にはよらないことを利用している。2組の標本について平均に有意差があるかどうかの検定などに用いられる。
WEBでは数字を入れるだけでt検定ができる無料ツールが公開されているため、Googleなどで検索をしてみるのもよいかもしれません。
必ずしも有意差がでるわけではない
ABテストは便宜上A案とB案がどちらが良いかをユーザーフィードバックをもとに判断することを助けるツールですが、明確な差が出ることは意外と少ないです。
キレイに効果がわかることが理想ではありますが実際としては決めきれない結果になることがたくさんあります。
ABテストを行うとAかBかを決めたい圧力が発生しますが、決めきれないものは無理に決めないなどのルールを設けることで拙速な判断を避けることができます。
ABテストに役立つサービスをご紹介
それでは具体的にABテストに使えるツールをご紹介します。
無料ならGoogleオプティマイズ一択
無料で使えるABテストツールといえば、Googleオプティマイズ一択といえそうです。
GoogleオプティマイズはGoogleが提供する無料のABテストツールです。
直感的に編集ができることに加え、なんといってもGoogleの他のツールとの連携が強いため複雑な作業なしにABテストの実行が可能になります。Googleオプティマイズについてはこちらの記事で詳細を紹介しています。
Kaizen Platform（カイゼンプラットフォーム）
カイゼンプラットフォームはCROに特化したクラウドソーシング型のCRO（コンバージョン率改善）サービスです。
グロースハッカーと呼ばれるカイゼンプラットフォームがネットワークしているマーケターやデザイナーが効果的なクリエイティブやレイアウトを提案してくれます。
ABテスト用のクリエイティブを提案してくれるという点で非常にサポートが厚いサービスといえます。
Optimizely（オプティマイズリー）
Optimizely（オプティマイズリー）は世界トップクラスのABテストツールです。
グローバルで最も使われているといっても過言ではないツールとなります。
Optimizelyは有料のツールになるため、非常に多くのABテストプロジェクトを同時に推進することができます。
IBMやマイクロソフトなどの大企業でも使われております。
機能的には無料版Googleオプティマイズの上位互換といえるでしょう。
最後に
本記事ではABテストの考え方の整理、そしてABテストに役立つサービスの紹介をいたしました。効果的なABテスト運用をするためには絶え間ないPDCAが必要になってきます。以上で記事を終了します。