意見・感想

A/Bテストが導く答えは正しいのか

投稿日:

今回はデータ分析に対しての僕の考え方を述べたいと思います。
広く行われているA/Bテストなんかを例に挙げてみましょう。

弊社でも直近よくA/Bテストを実施します。
A/Bテストとは統計的にA、Bどちらの選択肢が優位であるかを導く手法の一つです。

例えばある月額制会員サイトでAという特徴を持った申し込みフォーム、
Bという特徴を持った申し込みフォーム、どちらが新規成約率が高いか、を調べるときなんかに使います。

さて、このA/Bテストで、
申し込みフォームBと比較し、申し込みフォームAが5%新規成約率が高いという結果が出ました。

この結果を持って「申し込みフォームAを採用するのが好ましい」、そう判断できるでしょうか?

答えはノーです。
ポイントは「A/Bテストが指し示す答えが何を表すか」です。
A/Bテストが導く答え、それは「その時点」の「その選択肢」における優位性、に過ぎません。

一例として具体例を示します。
先ほどの申し込みフォームAで成約率5%高かったとします。
しかし申し込みフォームBで申し込んだユーザの契約継続率がフォームAのユーザと比べて10%高かったとしたらどうでしょう?

繰り返しますが
あるA/Bテストはその時点のその選択肢における優位性の判断材料に過ぎません。
ビジネスをトータルで分析する力はA/Bテストにはありません。
局所的にものごとを判断する材料に過ぎないわけです。

A/Bテストではなく別のデータ分析事例を挙げて見ましょう。
例えばウェブサイトのアクセス解析データです。

ある通販サイトでは
A、Bという2つの商品を取り扱っています。

この通販サイトでは
Bに比べてAという商品へのアクセスが圧倒的に多かったとします。
つまり訪問者の多くがBではなく、Aという商品に興味があることが推測されます。

さてこの通販サイトは「今後Aという商品の販売に重点的に力を入れていくべき」、そう判断できるでしょうか?

言うまでも無く答えはノーですね。

ここで重要なのはA、Bの商品の要素です。
利益率、競合製品の有無、在庫数、様々な要素が影響してきます。

こちらも同様に具体例を示します。
Aという商品には競合が多数いて、他社は容易に類似商品を作ることができます。
安価で利益率も非常に低いです。

一方、Bという商品は独自の技術で作られており、他社が容易に真似することはできません。
高価格で利益率も非常に高いです。

さて、安直にアクセス数に応じた注力の分散を行なっても大丈夫でしょうか?

『何を当たり前のことを・・・』と思われるかもしれませんが、
ビジネス上において、あらゆる角度から多角的にものごとを捉えることは
しっかりとした経験や知識がなければ容易に行うことはできません。
今回は分かりやすくシンプルな例を挙げましたが、実際のビジネスはそれほどシンプルでもありません。

統計データというものは非常に有用です。
一方でその取り扱い方には慎重になる必要もあります。

そのデータが何を指し示すのか
何を指し示すことができないのか、
しっかりそのデータの意味・背景をしっかり理解して取り扱う必要があるかと思います。

-意見・感想

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

来月から順次wpXを

サービス強、、、ゴホゴホ、、、 していくとか、、ゴホゴホ、、風の噂で、、ゴホゴホ、、、、

師走

ここ2週間くらい、久しぶりに仕事が死ぬほど忙しいんですが師走だからですかねぇ。。 全然やらなきゃいけないことが減らないんですが。。 まあ充実感はありますよね。(白目)

Windows Update

本日、第2水曜日(アメリカ時間で火曜日)は、Windows Update の日です。 みなさんお忘れなく。

no image

WordPressテーマ変更

WordPress テーマを変更してみました。 Stinger3 、非常に良かったんですがアイキャッチ画像の選定負担が 大きかったので。 また戻すかもしれませんが。

SMS(ショートメッセージサービス)

ニュース:なぜ今、SMS? 法人向けSMS配信サービスが拡大する理由 色々興味深い記事です。 たまに利用する某施設で、 予約日前になるとSMSで予約時間等の案内を送ってきてくれるんですが すごい進んで …



このブログは「wpX」で運営されています。
wpX」は、WordPress 専用の大量アクセスにも強い高速レンタルサーバー&クラウドサービスです。

WordPress の運営には
高速・高機能・高安定性レンタルサーバー「Xserver
法人向け高性能レンタルサーバー「Xserverビジネス
もお勧めです!!