よくある質問 – A/Bテスト編
- 2016年4月19日
- by SendGrid
- Category: ベストプラクティス
この記事は Your Top Email A/B Testing Questions, Answeredの抄訳です。
メールのA/Bテストでお困りのことはありますか？今回は、A/Bテストに関してよくいただくお問合せにQ&A形式でご回答します。
Q: テストに利用するサンプル数は、どれくらいを基準にすれば良いでしょうか？
A: WebサイトやランディングページのA/Bテストの場合は、訪問者数が統計的に意味のある数値に到達するまで待ち、テスト完了とできます。しかしながら、メールの場合、統計的に信頼できるテストをするためには、宛先リスト（送信予定の宛先数はどれくらいなのか、コンバージョン率やクリック率はどれくらいなのか）が関連してきます。サンプル数を決定する際は、統計的に意味のあるデータが取得できる最少の宛先数とすることがポイントです。そして、サンプルの宛先にテストメッセージを送信し、結果の良かったパターンを残りの宛先に送信しましょう。次のツールやサイトでは、どれくらいのサンプル数が必要なのかを計算できます。
こちらで計算した結果に基づいてテストを実施することをおすすめします。
十分なリストサイズがない場合は、リストの大部分をテストに利用する必要があります。リストサイズが小さくサンプル数に満たない場合は、単にリストを均等に分割してグループごとの結果を比較してみましょう。
なお、テストを始める前には、テストの目的やどんな結果が得たいのかを再確認してください。
Q: サイズが1,000以下の、小さな宛先リストに送信しています。このような場合でもA/Bテストを実施したほうが良いでしょうか？
A: はい。先ほどご紹介したツールに宛先リストを当てはめて、サンプル数を計算しましょう。お持ちのリストの代表的な到達率とコンバージョン率に基づき、どれくらいの宛先にA/Bテストを実施したらいいのかを決定しましょう。
Q: A/B/C/Dと2つ以上のパターンをテストするのと、A/Bの2パターンのテストを繰り返し実施するのとでは、何か違いがあるのでしょうか？
A: もちろんです。特にデザインのテストをする際は2つ以上のパターンを用意するのがおすすめです。しかし、パターンを増やすと、それぞれに対して統計的に意味のあるサンプル数を確保する必要があるので注意しましょう。信頼できる結果が得られないテストに時間を割くのはやめましょう。
Q: SendGrid社では、様々なテストで得た知見をどのようにして管理していますか？
A: SendGrid社では、メールのタイプ別に管理してきました。エンゲージメントやコンバージョンの結果を要約したレポートに、テストをして気づいたことは全て記載しています。これまでに実施してきたたくさんのナーチャリングキャンペーンについては、そのテストの概要と良い結果が得られたパターンをスプレッドシートに保存しています。また、オンライン広告やランディングページなど、他のチャネルでのテスト結果を定期的にミーティングで共有しています。これらの結果がメールと同じ結果になるとは限りませんが、他のチャネルから学べることは大きいです。
Q: 同じテストを複数回実施するべき、と聞いたことがあります。同じメールを複数回テストすべき、ということでしょうか？もしくは同じパターンを再度テストすべき、ということでしょうか？
A: 同じパターンを再度テストすべきです。受信者（顧客）やビジネスチャンスは時とともに変化し、いま顧客からの反響が良いものがこれから先も変わらないという保証はありません。SendGridの場合、理想的な顧客像はこの数年で変化しました。以前は開発者のみをターゲットとしていましたが、今では開発者とマーケターの両方をターゲットとしています。したがって、デザインやCTAやコンテンツなど、数年前に開発者向けにテストし調整したものは、今の勝ちパターンとは異なります。「テストが終わった」と思ったその時が、次のテストに取り組むタイミングです！
参考
A/Bテストを実施すべき項目は、件名、CTAなど多岐にわたります。テスト項目や実際にテストするパターンを決める際は、下記ブログ記事も参考にしてください。
