LP改善テストを仮説から判定まで進める方法

LP改善テストは、変更したあとに数字の良し悪しを眺める作業ではありません。診断で見つけた一つの問題に対して仮説を立て、何を根拠に採用するかを変更前に決める作業です。

先に判定条件を決めておけば、途中で目立った数字だけを選ぶことがなくなります。ただし、決まった期間や件数を満たせば正しく判断できるわけではありません。判定に必要なアクセス数や成果数を、ここでは観測量と呼びます。必要な観測量は現在の成果率や見つけたい改善幅によって変わり、配信が終わっても成果データが増えることがあります。

一回のテストで確かめる仮説を一つに絞る

変更案を作る前に、確認できた事実と、そこから考えた仮説を分けます。事実として記録するのは、アクセス解析や画面計測で実際に確認できた数値です。

ページ内の通過率を見る場合も、ある箇所から次へ進む割合がほかの箇所より低いと確認できて、初めて事実として扱えます。一方で、「説明が足りないために次へ進めないのではないか」という考えは、その数値から導いた仮説です。この二つを同じものとして扱うと、結果が悪かったときに何を見直せばよいのか分からなくなります。

今回確かめる仮説を決めたら、その仮説に対応する変更以外は同時に加えません。見出しを変える検証にフォーム項目の削減まで加えると、成果が動いても理由を切り分けられないためです。全面改修を比較する場合は、新しいLP全体と現在のLP全体のどちらがよいかまでは比べられます。ただし、改修した要素のどれが効いたかは断定できません。

同じ時期に対象を分けた比較を優先する

変更の影響を見たいなら、同じ時期に訪れる対象を無作為に二つへ分ける比較を優先します。両方のグループが同じ季節変動や営業日の影響を受けやすくなるためです。比較する二つのLPでは、確かめたい変更以外の条件もできるだけ合わせます。

Google広告のカスタムテストの仕組みでは、Cookieまたは検索を単位として元のキャンペーンとテストへトラフィックを分けられます。ただし、検索キャンペーン向けカスタムテストを50対50に設定しても、等しく割り当てられるのは対象となるオークションです。表示回数や費用は入札戦略や広告ランクなどの影響を受けるため、同じになるとは限りません。実績の偏りも結果と一緒に確認します。

Googleの同じ案内は、信頼できる結果を得るための基本キャンペーン条件の例として、1日100件以上のコンバージョンを挙げています。これはGoogle広告が示す機能上の目安であり、個別のLPテストに必要な観測量を保証する数字ではありません。この規模に届かないBtoBキャンペーンでは、カスタムテストの結果だけで判定できると見込まない方がよいでしょう。無作為に比較できる別の方法があるかを確認し、必要なデータを現実的に集められるかも先に確かめます。

LINEヤフー広告の検索広告にも、比較用キャンペーンを作って広告掲載機会を分けるA/Bテストがあります。一方で、作成後に元のキャンペーンへ加えた変更がすべて自動で反映されるわけではありません。実施できる期間にも媒体固有の上限があります。Google広告と同じ統計表示や運用条件を前提にせず、利用する媒体の仕様に合わせて比較設計を確認します。

前後比較だけではLP変更による差と断定できない

同じ時期に分けられず、変更前と変更後しか比べられないこともあります。この場合はLP変更の効果を証明するテストではなく、次の検証へ進むための観察として扱った方がよいです。

期間が変われば、検索需要や広告費だけでも流入の中身は変わります。端末や地域の構成が動くこともあります。別の施策や価格改定が重なれば、その影響も切り離せません。前後の差を残すときは、同じ期間に変わった条件も記録し、LPだけが原因だと断定しないことが大切です。

主指標を一つに絞り分母まで決める

主指標には、テストの目的を最も直接表す成果を一つ選びます。問い合わせ率を使うなら、問い合わせに何を含めるかを明確にします。さらに、クリック数で割るのか、セッション数で割るのかも固定します。分母が変われば同じ数字ではなくなるため、名称だけを決めても比較条件はそろいません。

フォーム到達や重要箇所の閲覧は、結果が動いた理由を考える補助指標として使えます。しかし、手前の行動が増えただけでは、問い合わせや商談が増えたとは言えません。補助指標だけが良かった場合は、成功と決めずに主指標の確定を待ちます。

主指標がよくなっても許容しない悪化は、「守る指標」や中止条件として先に決めます。問い合わせの内容が対象外へ偏っていないか、採算が事前の許容範囲を外れていないかは、守る指標で確認します。表示崩れや送信失敗は、数値の判定を待たずに中止する条件です。こうした条件があることで、主指標の一時的な上昇だけを見て採用する誤りを防げます。

必要な観測量と終了条件を変更前に決める

必要な観測量は「何件集まれば十分」という一律の数字では決まりません。まず、現在の成果率と、事業として見つける価値がある最小の改善幅を決めます。

有意水準は、差がないという前提のもとで、それでも改善したと誤って判断する確率の上限です。検出力は、想定した改善があるときに、その差を検出できる確率です。二つの独立した割合を比べる標本数の解説では、基準となる成果率と改善後に想定する成果率を使います。有意水準と検出力に加え、二つのLPへ割り当てる比率も必要数に影響します。

NISTの2標本比率の検定が示すように、成果数が少ない場合は一般的な近似を使った検定が適さないこともあります。利用する検定や信頼区間の選び方を含め、個別の算定は分析担当者へ確認した方がよいです。必要数へ現実的に届かない見込みなら、期間を無期限に延ばすのではなく、変更案を保留する判断も必要になります。

Google広告のテスト結果では、95%の信頼区間を使った両側検定に基づく統計的有意性が表示されますが、それだけで事業上の採用は決まりません。一般に統計検定で使われるp値は、仮説が正しい確率でも、効果の大きさでもないためです。ASAのp値に関する声明が示すように、確認できた差の大きさと推定の不確かさも一緒に見ます。事前に決めた最小改善幅を満たすか、守る指標に悪化がないかという実務上の条件も外せません。

テストの終了時点は途中の数字ではなく事前条件で決める

固定した終了条件で比較する場合は、途中で何度も数字を見て採用時点を探さないようにします。良く見えた瞬間だけで止めると、実際には差がないのに差があると判断する可能性が高まるためです。必要な観測量と予定期間に達した時点を、通常の判定時点として先に決めます。

途中の結果で正式に判断したい場合は、繰り返し確認することを計算へ組み込んだ逐次検定などの方法が必要です。固定期間の検定をそのまま使い、見た回数だけを増やしてはいけません。どの方法を使うかは、開始前に分析担当者と決めます。

ただし、利用者へ不利益が出ているのに終了条件まで待つ必要はありません。表示が崩れた場合やフォームを送信できない場合は、テストを中止します。個人情報や同意の扱いに問題が見つかった場合も、統計上の判定より復旧を優先します。

配信終了後も成果データの確定を待つ

広告配信を止めた日は、最終判定の日とは限りません。広告媒体やアクセス解析には処理時間があり、過去の数値があとから更新されることがあります。クリックした人が数日後に問い合わせる商材では、その結果が計測期間内に追加されることも考えておかなければなりません。

Google広告では、指標によってデータの更新頻度が異なり、最近の期間にはクリック後のコンバージョンがまだ計上されていない可能性もあります。LINEヤフー広告でも、コンバージョンがクリック日にさかのぼって計上されるため、過去日の値が増える場合があります。ウェブページのコンバージョン数には推定コンバージョンが合算され、推定値だけを除外できない点にも注意が必要です。どちらも媒体の計測期間を、そのまま推奨テスト期間と考えることはできません。

GA4のリアルタイム表示は、計測が動いているかを確かめる用途には向いています。最終判定には処理後のレポートを使います。GA4のデータ鮮度では、処理に24～48時間かかる場合があり、その間はレポートの値が変わると案内されています。成果をどの広告接点へ割り当てるかというアトリビューション処理やキーイベントのモデリングによって、その後も過去のデータが更新される場合があります。

テスト計画には、どの成果地点をどの計測元で見るかを書きます。テスト終了の直前に広告をクリックした人の成果を、いつまで待って判定へ含めるかも決めておきます。配信終了とデータ確定を分けておけば、早すぎる結論を避けられます。

判定前に季節性と流入構成の変化を確かめる

同時期に対象を分けたテストでも、二つの条件が同じまま配信されたとは限りません。表示回数や費用に偏りが生じた場合は、検索語句や端末など、流入した人の構成を確認します。予算変更や別キャンペーンの開始も、対象となる人の入り方へ影響する可能性があります。

前後比較では、季節要因の記録がさらに重要です。繁忙期や休業日の影響を記録し、価格や営業体制が変わっていないかも確かめます。Google広告の季節性の調整は、予定している販促などによる短期的なコンバージョン率の変化をスマート自動入札へ伝える機能です。比較結果から季節要因を取り除く統計処理ではありません。

変化が小さく、結論への影響を説明できるなら、その条件を添えて判定します。比較の前提が大きく崩れた場合は、見た目の差がはっきりしていても採用の根拠には使いません。

テスト結果を四つに分けて判断する

テスト結果を成功か失敗の二択にすると、まだ待つべき場合と、比較が成り立たなくなった場合を区別できません。AdRegionでは、改善条件を満たした変更は採用し、データの確定を待つ場合は観測を続けます。悪影響があれば中止し、比較の前提が崩れた場合は判定不能です。この四つは実務上の判断に使う区分であり、広告媒体が定めた標準ステータスではありません。

改善条件を満たした変更は採用する

採用できるのは、事前の終了条件に達し、判定に必要なデータが確定した場合です。そのうえで、主指標が実務上の改善条件を満たし、守る指標に受け入れられない悪化がないことを確かめます。統計上の差だけを理由にせず、改善幅が事業上の意味を持つかまで見て決めます。

データが足りない場合は期限を決めて観測を続ける

必要な観測量へ達していない場合や、成果の計上を待っている場合は観測継続を選べます。ただし、計測と比較条件が有効なことが前提です。次に確認する日と、そこでも必要量へ届かない場合の扱いを決め、期限のない延長にはしません。

利用者や事業への悪影響があれば中止する

表示や送信の不具合が出た場合は中止します。問い合わせ品質や採算が許容条件を外れた場合も、守る指標に基づいて判断します。原因を調べる作業は必要ですが、利用者や事業に悪影響がある状態で配信を続ける理由にはなりません。

比較の前提が崩れた場合は結果を判定できない

計測が欠けた場合や、片方だけに別の変更が入った場合は、結果の良し悪しを判定できません。流入構成が大きく変わり、その影響を切り分けられないときも同じです。有意差が出なかった状態とも区別し、効果なしとは書かずに設計をやり直します。

一件の計画と判定を同じ記録へ残す

変更前の条件と終了後の判断を一つの記録へまとめると、後から都合よく基準を変えたかどうかを確認できます。次の空欄を埋めながら、開始できる状態かを確かめてください。算定方法や判定条件を記入できない箇所があれば、テスト用LPの公開や配信を始める前に担当者と決めます。

対象LPと版:
事前に行った診断:
確認できた事実:
今回の仮説:
変更する一つのまとまり:

比較方法:
対象に含める流入:
対象から除外する流入:

主指標:
主指標の分子:
主指標の分母:
補助指標:
守る指標と許容条件:

現在値と確認元:
見つけたい最小の改善幅:
有意水準と検出力:
割り当て比率:
必要な観測量と算定方法:

予定期間:
通常の終了条件:
途中で中止する条件:
途中判定を行う場合の方法:

想定する季節要因:
記録する流入構成:
同時変更と外部要因:
計測元とデータの反映待ち:
最後の対象者の成果を待つ時点:

採用条件:
観測継続の条件と次の確認時点:
中止条件:
判定不能の条件:

観測結果:
最終判定:
判定理由:
次の担当と対応:

空欄を埋めるときは、実際に確認できた事実と仮説を分けるところから始めます。その仮説に対応する主指標を選び、分母と採用条件まで書いてください。ここまで決まらなければ、変更案はあってもテスト計画にはなっていません。比較方法と必要な観測量を確認したら、公開時の確認と不具合時の復旧手順を別途用意して実施へ進みます。