A/Bテスト機能を用いた最適なメッセージの見つけ方

 アカウントサクセスチーム

 2023.08.22

 2023.08.23

 Pardot

はじめに

Account Engagement （旧 Pardot）で利用できる「A/Bテスト」は利用されていますか？
本記事では、「A/Bテスト」の作成方法や作成時のチェックポイントについて詳しく説明します。

この記事を読むと、以下のことが分かります。

ーーーーーーーーーーーーーーーーーーーー

• 「A/Bテスト」の機能
• 「A/Bテスト」の設定方法
• 「A/Bテスト」を利用する際のチェックポイント

ーーーーーーーーーーーーーーーーーーーー

「A/Bテスト自体は知っているものの、利用したことがない」
「A/Bテストを利用したいが、何をテストすれば良いかイメージが湧いていない」
「A/Bテストを利用したことがあるが、どのように進めるべきかいまいち分かっていない」

上記はよくお聞きするお客様の声ですが、どれか１つでもあてはまる方は本ブログを是非お読みください。

※本機能は「メール」と「ランディングページ」で実施することができますが、本ブログでは「メール」を使用した「A/Bテスト」について解説いたします。

A/Bテスト機能とは

「A/Bテスト」とは、2パターンの異なるコンテンツ（要素）を用意し、どちらが高い効果を得ることができるかを検証できる機能です。文字通り、Aバージョン、Bバージョンの2種類の異なる要素を用意し、一部ユーザーへA/Bバージョンを均等に配信します。その後、任意で設定できる検証時間を経て、より効果が望めるバージョンのメールを残りのユーザーへ配信します。

このA/Bテストの検証を積み重ねることにより、開封率やクリック率などを徐々に改善させ、自社におけるベストプラクティスを見つける手助けとなります。

A/Bテストの設定方法

A/Bテストの作成、設定方法は下記の通りです。　

※弊社MAnaviでは、画像キャプチャ付で解説しているマニュアルもあります。

1. [ Account Engagement メール ] > [ A/B テスト ]を選択、 [ +新規リストメール 送信 ] をクリックします。
2. 次に表示される [ 基本メール情報 ]を入力し、 [ 保存]をクリックします。
3. [基本メール情報]の入力後、テンプレートを使用する場合には [適用]、使用しない場合には [Skip]を選択ください。
4. メール原稿画面では、 [ A ] [ B ]のタブで切り替えができ、各バージョンに対する本文や件名等の編集が可能です。
5. メール原稿の準備ができたら送信設定を行うため、 [ 送信 ]タブをクリックします。
6. 送付対象と除外対象リストを選択した後、A/Bバージョンに対する各送信者を設定します。
7. その後、Aバージョン、Bバージョンに対するメール件名を指定します。　
8. 次に、 [ 勝者が選択させるまでのテスト実施期間 ]を1～24時間、または1～30日間で指定します。 　※1
9. [ どの条件を使用して勝者を決定しますか？ ]では、 [ 開封数 ]か [ クリック数 ]の多い方を勝者として、残りのユーザーにメールが送信されます。
10. [ 何％のオーディエンスを テストに使用しますか？ ]からA/Bバージョンに送信する割合を指定します。　※2
11. 必要に応じて完了アクション、送信の日時指定を設定して準備は完了です。

　※1　判定期間を踏まえて本番送信がされますので、テスト期間をどれくらい持つべきかはメールの訴求内容に応じて設定してください。例えば、BtoB向けの事例紹介等であれば余裕をもって1週間、特別なセールのご案内など期限が迫っているメールであれば数時間といった形で調整をお勧めします。

　※2　デフォルト値は25%となり、10%～50%の間で変更可能です。

A/Bテストの要素の決め方

ここまでは、A/Bテストの機能理解と設定方法についての説明となります。
この後はA/Bテストの実施にあたり、事前検討すべきチェックポイントを具体例と合わせてお伝えします。
まず初めに、下記3点のチェックポイントを検討済かどうかご確認ください。

　　☑　A/Bテストを実施する目的は明確化されていますか？

　　☑　1つ前で決めた目的を達成するための仮説を立てていますか？

　　☑　仮説に沿ったA/Bテストの検証要素を決めていますか？

これらの各チェックポイントがなぜ重要なのかを深堀して解説していきたいと思います。

A/Bテストを実施する目的は明確化されていますか？

まずは、A/Bテストを実施する前に施策（メール）の目的を明確にしておくことをお勧めします。
例えば、『メールの開封率を20%から30%に上げたい』や『メールのリンククリック率を3%まで上げたい』など、
A/Bテストを実施することで得られる理想のゴールを思い描き、数値を使って言語化します。

このように目的を明確にすることは、次のパートで検討すべき仮説と仮説から導かれる検証要素の実現性を高める第一歩となります。

なお、現状の施策結果に対して新しく試す要素がより高い効果を出せるのか、それとも同等か、または予想を下回るかは、実際にやってみないと分かりません。そのため、まずは現状をAバージョンとし、Bバージョンに新しく試す要素を入れて頂くことを推奨します。とりあえず、新たなAバージョンとBバージョンを作成してA/Bテストを実施することは、あまりお勧めしません。

1つ前で決めた目的を達成するための仮説を立てていますか？

目的を明確化することが重要とお伝えしましたが、次に目的に対する仮説を立てます。この仮説によって、A/Bテストで検証する要素が大きく変わってきます。

仮に、A/Bテストの目的を『メールの開封率を20%から30%に上げたい』とした場合、『どの顧客層にも受け入れられやすい汎用性のある件名にしているが、メールのターゲットは●●●の属性の方々なので、件名でクリックを誘導できるものに変更してみた方が良いのでは』と仮説を立てます。このように、仮説を立てることにより、A/Bテストで検証すべき要素が明確化することが可能です。

これらを通して、「開封率やクリック率といった何を改善したいのか」という目的の明確化、また「要素を改善することでどのような効果が得られるのか」という仮説の準備が整いました。残るは、目的の達成と仮説を証明するための要素の部分になります。

仮説に沿ったA/Bテストの検証要素を決めていますか？

目的と仮説を立てたら、それらを達成するために必要な要素をA/Bテストに設定します。
ここで注意いただきたいポイントが3点あります。

　☑　変更要素は１点に絞る事　

　☑　A/Bテストは同条件下で実施する事

　☑　一度のテストで判断はしない事

変更要素は１点に絞る事　

A/Bテストでは様々な要素を変更して検証ができますが、効果を正確に把握するために変更要素は1つに絞ることをお勧めします。特に、件名、コンテンツ（本文）、差出人等、一回のA/Bテストで実施してしまうと、どの要素が最もクリック数や開封数に効果的だったか、影響を与えたかが見えづらくなってしまいます。
ここで、達成したい目的に対する課題ごとの変更要素パターンの一例をお伝えします。

ーーーーーーーーーーーーーーーーー

　①開封率に課題を感じている（件名）

　　メール受信者が、件名を見てメールを開封していない可能性があります。メール本文は現状維持し、メール件名のみ変更します。例えば、メール件名に差し込み項目でユーザーの氏名をいれることでよりパーソナライズしたメール件名にすることも可能です。

　②開封率に課題を感じている（差出人）

　　メール受信者が、差出人を見てメールを開封していない可能性があります。例えば、差出人名を『●●●運営事務局』とするパターン、もしくは割り当てられたユーザーを用いて個人名を使用することで1対1メールを演出することもできます。

　➂クリック率に課題を感じている（リンクボタン）

　　メール受信者が、メール本文のリンクボタンを押下していない可能性があります。リンクボタンでも『お問い合わせ』という漠然とした文言よりも『お見積りはこちら』や『詳細資料はこちら』など目的がわかりやすい文言の方がユーザーにとって親切なケースもあります。

ーーーーーーーーーーーーーーーーー

上記の3パターンはあくまでも一例ですので、皆様のA/Bテストのゴールや抱えている課題感、またユーザーの属性や特徴を踏まえた上で検証要素を決めていただければ幸いです。　　　

A/Bテストは同条件下で実施する

A/Bテストはできる限り同じ条件で実施することをお勧めします。特に、リストの属性（業種、地域など）、メールの送信時間、送信する曜日によってメールの開封率やクリック率は変動することが想定されます。その為、A/Bテストを複数回実施される場合には、同じ条件下で実施いただき、メール開封数やクリック数の変動要因がA/Bテストの要素変更による可能性であることを、少しでも高めていただくことをお勧めいたします。

一度のテストで判断はしない

A/Bテストを1度実施しただけでは、Aバージョン・Bバージョンのどちらがベストプラクティスであると一概には言えません。1度の配信だけでは『たまたま出た結果なのか』もしくは『配信時間や送信リストによる要素によるものなのか』という疑念は払拭できません。その為、1度のA/Bテストで判断されるのではなく、2～3度試していただき、皆様にとってのベストプラクティスを見つけてください。

終わりに

本記事では、Account EngagementのA/Bテスト機能の説明、設定方法、チェックポイントについて紹介させていただきました。それぞれの違いについて知り、自社運用において従来のメールと比較検討を行い、メール施策にご活用いただけますと幸いです。

Account Engagement （旧 Pardot）では定期的にアップデートが行われるため、担当の方は最新情報のキャッチアップが求められます。弊社MAnaviでは、Account Engagement （旧 Pardot）に関する設定マニュアル・使い方の動画を100本以上ご用意していますので、初めてご利用される方にとっても学習しやすいコンテンツになります。

Account Engagement （旧 Pardot）でお悩みの際は、お気軽に弊社までご相談ください。