意見・感想

A/Bテストが導く答えは正しいのか

投稿日:

今回はデータ分析に対しての僕の考え方を述べたいと思います。
広く行われているA/Bテストなんかを例に挙げてみましょう。

弊社でも直近よくA/Bテストを実施します。
A/Bテストとは統計的にA、Bどちらの選択肢が優位であるかを導く手法の一つです。

例えばある月額制会員サイトでAという特徴を持った申し込みフォーム、
Bという特徴を持った申し込みフォーム、どちらが新規成約率が高いか、を調べるときなんかに使います。

さて、このA/Bテストで、
申し込みフォームBと比較し、申し込みフォームAが5%新規成約率が高いという結果が出ました。

この結果を持って「申し込みフォームAを採用するのが好ましい」、そう判断できるでしょうか?

答えはノーです。
ポイントは「A/Bテストが指し示す答えが何を表すか」です。
A/Bテストが導く答え、それは「その時点」の「その選択肢」における優位性、に過ぎません。

一例として具体例を示します。
先ほどの申し込みフォームAで成約率5%高かったとします。
しかし申し込みフォームBで申し込んだユーザの契約継続率がフォームAのユーザと比べて10%高かったとしたらどうでしょう?

繰り返しますが
あるA/Bテストはその時点のその選択肢における優位性の判断材料に過ぎません。
ビジネスをトータルで分析する力はA/Bテストにはありません。
局所的にものごとを判断する材料に過ぎないわけです。

A/Bテストではなく別のデータ分析事例を挙げて見ましょう。
例えばウェブサイトのアクセス解析データです。

ある通販サイトでは
A、Bという2つの商品を取り扱っています。

この通販サイトでは
Bに比べてAという商品へのアクセスが圧倒的に多かったとします。
つまり訪問者の多くがBではなく、Aという商品に興味があることが推測されます。

さてこの通販サイトは「今後Aという商品の販売に重点的に力を入れていくべき」、そう判断できるでしょうか?

言うまでも無く答えはノーですね。

ここで重要なのはA、Bの商品の要素です。
利益率、競合製品の有無、在庫数、様々な要素が影響してきます。

こちらも同様に具体例を示します。
Aという商品には競合が多数いて、他社は容易に類似商品を作ることができます。
安価で利益率も非常に低いです。

一方、Bという商品は独自の技術で作られており、他社が容易に真似することはできません。
高価格で利益率も非常に高いです。

さて、安直にアクセス数に応じた注力の分散を行なっても大丈夫でしょうか?

『何を当たり前のことを・・・』と思われるかもしれませんが、
ビジネス上において、あらゆる角度から多角的にものごとを捉えることは
しっかりとした経験や知識がなければ容易に行うことはできません。
今回は分かりやすくシンプルな例を挙げましたが、実際のビジネスはそれほどシンプルでもありません。

統計データというものは非常に有用です。
一方でその取り扱い方には慎重になる必要もあります。

そのデータが何を指し示すのか
何を指し示すことができないのか、
しっかりそのデータの意味・背景をしっかり理解して取り扱う必要があるかと思います。

-意見・感想

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

ゴールデンウィーク

皆様いかがお過ごしでしょうか、ゴールデンウィーク。 ちらっと本日出かけてみましたが、 見事に混んでますね。 こういうときは引きこもって仕事のことを考えるにかぎります。 どこ行っても鬼のように混んでるこ …

続・ペッパー君

先日の記事『ペッパー君』をもとに 意気揚々とIさん、Oさんにペッパー君の採用を提案、その可能性について熱弁したのですが お二方とも終始苦虫を噛み潰したような表情をされていたのが印象的でしたね。 この想 …

スナップドラゴン

ニュース:一気に4ケタ、「Snapdragon 1000」の噂。スナドラWindowsマシンが、よりパワフルなPCに進化? Qualcomm 社の Snapdragon と言えば、スマホの CPU と …

no image

ラッスンゴレライ

今流行りのやつですが 個人的には結構好きです。 このネタは中高生から話題になって人気になったらしいんですが、 中高生が面白いと感じたものをおっさんと化してきてる自分が素直に面白いと感じられるのは非常に …

ストリートファイター2

NOモーションの例のやつw pic.twitter.com/gXVc3yNnXH — チインケ=トモサカ (@ksmtknit) May 13, 2018 この動画、ニヤニヤが止まらない。



このブログは「wpX」で運営されています。
wpX」は、WordPress 専用の大量アクセスにも強い高速レンタルサーバー&クラウドサービスです。

WordPress の運営には
高速・高機能・高安定性レンタルサーバー「Xserver
法人向け高性能レンタルサーバー「Xserverビジネス
もお勧めです!!