意見・感想

A/Bテストが導く答えは正しいのか

投稿日:

今回はデータ分析に対しての僕の考え方を述べたいと思います。
広く行われているA/Bテストなんかを例に挙げてみましょう。

弊社でも直近よくA/Bテストを実施します。
A/Bテストとは統計的にA、Bどちらの選択肢が優位であるかを導く手法の一つです。

例えばある月額制会員サイトでAという特徴を持った申し込みフォーム、
Bという特徴を持った申し込みフォーム、どちらが新規成約率が高いか、を調べるときなんかに使います。

さて、このA/Bテストで、
申し込みフォームBと比較し、申し込みフォームAが5%新規成約率が高いという結果が出ました。

この結果を持って「申し込みフォームAを採用するのが好ましい」、そう判断できるでしょうか?

答えはノーです。
ポイントは「A/Bテストが指し示す答えが何を表すか」です。
A/Bテストが導く答え、それは「その時点」の「その選択肢」における優位性、に過ぎません。

一例として具体例を示します。
先ほどの申し込みフォームAで成約率5%高かったとします。
しかし申し込みフォームBで申し込んだユーザの契約継続率がフォームAのユーザと比べて10%高かったとしたらどうでしょう?

繰り返しますが
あるA/Bテストはその時点のその選択肢における優位性の判断材料に過ぎません。
ビジネスをトータルで分析する力はA/Bテストにはありません。
局所的にものごとを判断する材料に過ぎないわけです。

A/Bテストではなく別のデータ分析事例を挙げて見ましょう。
例えばウェブサイトのアクセス解析データです。

ある通販サイトでは
A、Bという2つの商品を取り扱っています。

この通販サイトでは
Bに比べてAという商品へのアクセスが圧倒的に多かったとします。
つまり訪問者の多くがBではなく、Aという商品に興味があることが推測されます。

さてこの通販サイトは「今後Aという商品の販売に重点的に力を入れていくべき」、そう判断できるでしょうか?

言うまでも無く答えはノーですね。

ここで重要なのはA、Bの商品の要素です。
利益率、競合製品の有無、在庫数、様々な要素が影響してきます。

こちらも同様に具体例を示します。
Aという商品には競合が多数いて、他社は容易に類似商品を作ることができます。
安価で利益率も非常に低いです。

一方、Bという商品は独自の技術で作られており、他社が容易に真似することはできません。
高価格で利益率も非常に高いです。

さて、安直にアクセス数に応じた注力の分散を行なっても大丈夫でしょうか?

『何を当たり前のことを・・・』と思われるかもしれませんが、
ビジネス上において、あらゆる角度から多角的にものごとを捉えることは
しっかりとした経験や知識がなければ容易に行うことはできません。
今回は分かりやすくシンプルな例を挙げましたが、実際のビジネスはそれほどシンプルでもありません。

統計データというものは非常に有用です。
一方でその取り扱い方には慎重になる必要もあります。

そのデータが何を指し示すのか
何を指し示すことができないのか、
しっかりそのデータの意味・背景をしっかり理解して取り扱う必要があるかと思います。

-意見・感想

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

うめきた

ニュース:「うめきた2期」開発で大阪・梅田の都心部に大規模な緑地 芝生広場で野外イベントも 当社の大阪本社グランフロントのある、うめきたについてです。 更にどんどん魅力的な場所になっていくのは嬉しいで …

no image

プログラマーの年齢とスキルの関係性

GIGAZINE: プログラマーは年を重ねてもスキルを向上させ続けていることが研究で判明 10日ほど前の記事だけど こんな内容を見つけた。 経営者であり、プログラマーとしても経験のある自分にとっては非 …

MariaDB

商用 Linux の代表である Red Hat Enterprise Linux (RHEL) で いつ来るのかと待ちに待っていたバージョン7のベータ版が12/11に公開されました。 RHEL6 と比 …

no image

Windows10

Windows10への無料アップグレード提供日が決まったとかなんとか。 Windows 7などを利用の方は無償でアップグレードできるらしいですよ。 何気にめちゃくちゃ期待してます。 PC OSとしてと …

no image

プライベートで

がっつり凹むことがあると、 仕事への集中力がぐっと増す気がする。



このブログは「wpX」で運営されています。
wpX」は、WordPress 専用の大量アクセスにも強い高速レンタルサーバー&クラウドサービスです。

WordPress の運営には
高速・高機能・高安定性レンタルサーバー「Xserver
法人向け高性能レンタルサーバー「Xserverビジネス
もお勧めです!!