A/Bテスト

メールのエンゲージメントを最大化するために、テストすることをお勧めします。

Marketing CampaignsのA/Bテスト機能では、いくつかのバリエーションのメールを宛先リストの一部に送信し、その中で受信者からの反応が最も良かったバリエーション（Winner）を残りの宛先に送信します。Winnerの決定方法としては、ユーザが手動で決定するか、あらかじめ設定した条件をもとにSendGridが自動で決定するかを選ぶことができます。

参考動画：[Vimeo] Using A/B Testing

A/Bテストの準備

A/Bテストの機能を有効化する方法

  1. Marketing > Campaignsをクリックします。
  2. A/Bテストを実行するキャンペーンを選択してエディタを開きます。
  3. Design Editorの場合はA/B Testingタブを開きます。Code Editorの場合はSettings > A/B Testingタブを選択します。
  4. ACTIVATE A/B TESTINGをONにします。

テスト項目の選択

メールのA/Bテストをすることで、特定の指標でメールを最適化することができます。テスト項目としては、開封率を改善したい場合は「Subject Line（件名テスト）」を、クリック率を改善したい場合は「Email Content（本文テスト）」を、それぞれ選択します。

テストできるのは、各キャンペーンごとに最大6バリエーションです。

  • 件名テスト - 開封率を改善する

    通常は件名を確認してからメールを開封するため、件名をテストすることで「開封率」を上げることができます。 そのため、一般的には開封率が高いものを「良い件名」と考えます。 件名を改善できれば、同じように他のエンゲージメント指標の改善も期待できます。

  • 本文テスト - クリック率を改善する

    メールを開封しないと本文を読むことはできないので、本文のテストで改善できるのは「クリック率」です。 クリック率が高ければ、読者の興味をひくようなコンテンツとCTA（Call To Action）だった、と考えられます。

バリエーションの追加

各バリエーションは、いつもキャンペーンを編集している画面で確認できます。

  • 件名テスト

    サイドバーに複数のテキストボックスが表示されます。 各テキストボックスが、各バリエーションに相当します。

  • 本文テスト

    本文の編集エリアの上部に表示されているタブを選択することで、各バリエーションを切り替えて内容を編集することができます。 表示されるタブの数は、Number of Versionsで指定した数に依存します。

パフォーマンスが良かったのは何故なのか？ その原因を特定するため、一般的には、各バリエーションに加える変更は1つにします（多く変更しない）。 こうすることで、何がStatsに影響を与えたのかが分かります。

テストサイズの決定

宛先リストのうち、テストに使用する（＝各バリエーションを送信する）ものの割合を指定します。

各バリエーションが送信される宛先の数は同じになります。

Winnerを決定する条件

  • Open Rate（開封率）

    最も開封率が高いバリエーションを、SendGridが自動的にWinnerとして選択します。

  • Click Rate（クリック率）

    最もクリック率が高いバリエーションを、SendGridが自動的にWinnerとして選択します。

  • Manual（手動）

    バリエーションテストの結果を確認して、ユーザが手動でWinnerを選択します。

Duration（テスト期間）の設定

バリエーションテストにかける時間は、30分〜24時間の間で指定できます。

最大24時間バリエーションのテストを実施することができますが、このテスト期間が終了するまでは、テスト対象のメールアドレスにしかメールは送信されません。 バリエーションテストが完了したら、Winnerとして選択されたメールが残りの宛先に対して送信されます。

テスト期間は、キャンペーンのタイムラインをよく考えて決める必要があります。例えば、1日限りのキャンペーンを実施する場合、その日のうちに顧客がキャンペーンに参加できるような時間を指定する必要があります。

Winnerの送信

指定された基準と期間に基づいて、確定したWinnerバリエーションが通知されます。

  • Winnerの自動選択

    Winnerの選択基準としてOpen RateまたはClick Rateを選択した場合は、SendGridが自動的に残りの宛先へのメールを配信します。

    また、テスト開始後であれば、いつでも手動でWinnerを選択することができます。

  • Winnerの手動選択

    “Selecting a Winner”で”Manual”を選択した場合、開封率やクリック率によってWinnerが自動確定することはありません。 テスト期間の終了後に、「テスト期間が経過したので、Winnerを選択してください」という主旨のメールが来るので、対応してください。

“Selecting a Winner”で”Manual”を選択した場合、Winnerを忘れずに選択するようにしてください。Winnerを選択するまで、残りの宛先へはキャンペーンが送信されません。

参考