LPを変えた後に問い合わせが増えても、その変更が効いたとは限りません。広告から来る人や時期が違えば、ページを変えなくても数字は動きます。LP改善テストでは、変更によって何が変わるはずかを先に考え、その差を見分けられる比較方法と判定条件を用意します。
目的は、数字が良く見えた案を選ぶことではなく、変更を残す理由があるかを確かめることです。仮説から結果の読み方までつなげておけば、期待した差が出なかったときにも判断の軸が残ります。何が分かり、何が分からなかったかを区別するためです。
変える箇所を、訪問者が迷う理由と結び付ける
「問い合わせを増やしたい」だけでは、ボタンの色を変える理由にも、説明を増やす理由にもなってしまいます。仮説には、今のページで何が判断を妨げているのかという根拠が必要です。離脱が多い場所は手がかりになりますが、それだけで訪問者の心理までは分かりません。
たとえば、法人向け研修のLPを改善する場面を考えます。これは説明のための仮定例です。営業への質問などから「相談すると、すぐ契約を求められると思われている」と分かっているなら、相談後の流れを明示する変更には理由があります。「相談後の進め方が分かれば不安が減り、問い合わせを完了する人が増える」という仮説です。
この場合、元のページをA、相談後の流れを加えたページをBとして比較します。料金や広告の配信対象まで同時に変えると、どの変更が結果につながったのか分かりにくくなります。今回は相談前の不安を扱うため、変更範囲もその説明に絞ります。
主に見る成果は、ボタンのクリックよりも問い合わせ完了が合っています。クリックだけ増えて送信されなければ、仮説が期待した結果には届いていません。一方、対象外の相談ばかり増える可能性もあるため、問い合わせ内容が事業に合っているかは別に見ます。主要な成果と、悪化させたくない点を分けておく考え方です。
同じ時期に比較し、誰を振り分けるかをそろえる
AとBを比べる方法としては、同じ時期の対象者を無作為に振り分ける方法が基本になります。片方に関心の強い人ばかり集まるような偏りを避け、変更以外の条件をそろえやすくするためです。ただし、URLを二つ作っただけでは、この比較は成立しません。
サイト側で訪問者を振り分けるなら、同じ人が再訪したときにどちらを見せるかも設計に含まれます。先ほどの例で、ある人がAを見た翌日にBを見て問い合わせた場合、どちらの説明の影響かを単純には分けられません。利用するツールが何を単位に振り分け、再訪や端末の違いをどう扱うかによって、集計と分析の方法も変わります。訪問回数を、そのまま独立した人数として扱わないことが大切です。
広告を二つ並べて出す方法にも注意が必要です。配信の仕組みによって露出する相手が変わるため、それだけで公平なLP比較になるとは限りません。たとえばGoogle広告のカスタムテストは、元のキャンペーンとテスト用のキャンペーンを比較する機能です。広告配信の分配を、サイトへ来た人を必ず半数ずつ振り分ける仕組みとは扱えません。媒体の実験機能とサイト側のテストでは、比較の単位が異なります。
参考：Google広告ヘルプ「カスタム テストについて」
同時比較が難しく、改修前後の数字を見る場合は、結論の範囲が変わります。前月と今月では季節や広告費が違い、流入する検索語句も変わり得ます。問い合わせ率の上昇は改善の手がかりになりますが、LP単独の効果を実証したとは言えません。説明の誤りや操作のしにくさを直す理由と、その修正による成果差を証明できるかは別の判断です。
必要な観測量と終了条件は、結果を見る前に決める
何日テストすればよいかは、期間だけでは決まりません。元の問い合わせ率に対し、どの程度の差を見分けたいかで必要なデータ量が変わります。小さな差まで捉えたいほど、多くのデータが必要になりやすいからです。割付単位や分析方法に加え、誤判定を避ける厳しさや、本当にある差を見つける確かさも関係します。
研修LPの例なら、普段の問い合わせ率を基に、事業上意味のある増加幅を想定して観測量を見積もります。さらに、曜日による訪問者の違いや、訪問から問い合わせまでの時間も考慮します。最終日に来た人の成果をすぐ締め切れば、検討に時間をかける人を十分に捉えられません。必要量の見積もりと、どの時点までの成果を含めて判定するかを、開始前に決めておく必要があります。
参考：Microsoft Research「Online Evaluation for Information Retrieval」の実験計画・割付単位・必要標本数の説明
途中経過の確認は、表示やフォーム送信の不具合を早く見つけるためにも必要です。ただし、Bの数字が良くなった日に終了すれば、偶然良く見えた時点を選びやすくなります。途中で繰り返し判定することに対応した統計手法を使わないなら、勝敗は事前に決めた観測条件に沿って判断します。
反対に、予定の期限で差が出なかったからといって、有意差が出るまで都合よく延長する方法も適切ではありません。予定した範囲内で観測を続けることと、結果を見て終了条件を動かすことは区別が必要です。重大な不具合による停止はこれとは別で、統計的な判定を待たずに影響を止めます。その停止を、AとBの効果の勝敗が確定したこととは扱いません。
2%と3%の差を、そのまま「改善」と呼ばない
結果を読むときは、率の大小より先に、比較に使えるデータかを確かめます。Bだけ問い合わせ完了が二重に計測されていれば、見かけの増加を成果とは扱えません。欠測や送信エラーがないか、想定した割合から割付が不自然に偏っていないかも同じ理由で確認します。母数に多少の差があるだけで異常とは言えませんが、説明できない偏りを残したまま勝者を決めると判断を誤ります。
参考：Microsoft Research「Patterns of Trustworthy Experimentation: During-Experiment Stage」
計測が正常だったとして、Aが200訪問で4件、Bが200訪問で6件の問い合わせだったとします。説明用の数値で、観測された問い合わせ率は2%と3%です。BはAより相対的に50%高いものの、率の差は1ポイント、問い合わせ件数の差は2件です。これは観測値の計算であり、変更による改善を実証した数字ではありません。
この率だけでは、同じ人の複数訪問をどう扱ったかも、偶然の変動がどの程度あるかも分かりません。事前に選んだ分析方法で、差の大きさと不確実性を読む必要があります。信頼区間が示される場合は、差の推定にどれほど幅があるかを確認できます。良い結果に見えても、悪化の可能性まで含むほど幅が広ければ、採用を支持する根拠はまだ弱い状態です。
差を判定できなかった場合にも、採否の理由を分ける
研修LPの変更を採用する根拠がそろうのは、比較と計測が正常に行われ、問い合わせ完了の増加が事前の判定条件を満たした場合です。その差に事業上の意味があり、対象外の問い合わせや送信エラーなどに許容できない悪化がないことも採用判断に含まれます。単にBの率が高いという理由だけでは足りません。
まだ予定した観測条件に達していなければ、その範囲で観測を続けます。期限になっても差を見分けられなかった場合は、AとBが同じだと証明されたわけではありません。今回の流入と設計では、想定した差を判定できなかったという結果です。再び試すなら、同じテストを際限なく続けるのではなく、見分けたい差や変更内容から設計を見直します。
許容できない悪化が確認された場合は、変更案の利用を止める判断になります。元のページへ戻す際も、問い合わせデータを失わずに戻せるかなど、復元の影響は別に確認が必要です。計測そのものに問題があったなら、効果の良し悪しを結論付けず、比較を成立させるところからやり直します。
一方、効果を判定できなくても、相談後の流れを正確に伝えるために説明を残す判断はあります。その場合の採用理由は、テストで問い合わせ増加を実証したことではなく、訪問者が判断するための情報を補えることです。変更を残す判断と、成果が上がったと言える範囲を分けておけば、次の改善を過大な期待から始めずに済みます。