無料 会員登録

A/Bテストを正しく検証するには

エンジニア

更新日

公開日

北爪 聖也

マーケターの方であればクリエイティブのA/Bテストってよく行うと思いますが、テストをした結果、

 

「Aの方が良いクリエイティブだ」

 

と判断しても、その結果は偶然である可能性もあります。

 

もう一度A/Bテストをすると、今度はBの方が良い結果が出てしまって、テストをしてもどちらが良いクリエイティブなのかよく分からない・・・

 

そんな事態に遭遇したことはありませんか？

 

「Aの方が良いクリエイティブである」とはっきり言うにはどんな条件が揃っていれば良いか解説します！

 

結論から言うと、カイ二乗検定と言う統計の検定方法で検証することができます。

 

ただこの検定の解説をグダグダとしても大変だと思いますので、数値を埋めれば、検定を行ってくれるスプレッドシートを作成しました。

 

こちらをコピーしてお使いください。

 

使い方は以下の通りです。

 

【Step1】上記のスプシに、インプレッション数・CV数・CVしなかった数を記入する。

nrWIcpNR3VNoQ5XktNxT7Dbhj2RWbEDiaxUM4w9N.png

 

 

【Step2】そしたら、スプシに数式が入っているので、「最終的なカイ二乗値」という値が算出されるので、この値が3.84より大きいかどうかだけを確認してください。

LfxLZwDTtAyd5pA2mtOg2VyKFSYJ6gR31SP2BmHR.png

 

3.84より値が大きければ、95％の確率でクリエイティブA/Bに差が有ることになります。

（100回クリエイティブA/Bで同じ出稿量を出した時、クリエイティブBの方が成果が95回は良くなる）

 

これでA/Bテストをしたけど、たまたまAの方がよかった、Bの方がよかったという偶然性に惑わされず、科学的に意思決定ができます。

 

 

私も自社のアプリの広告を出す際のA/Bテストをするときに、このスプレッドシートにクリエイティブA/Bそれぞれの表示回数と・ダウンロード数を入れて、どちらが有意に効果があったのかを検証しています。

 

どんなアプリを運営しているか自己紹介をさせて頂くと、株式会社piponという会社で「ドクターボイス」という医師との会話内容をボイスメモで記録すると、その内容をAIが自動書き起こししてくれて、それを家族にも共有することができるヘルスケアアプリを開発・運用しています。

 

スマホアプリの開発やデータ解析のご支援が出来ますので、ご依頼いただける方は

 

seiyakitazume@pi-pon.com

 

までご連絡いただけますと幸いです。

 

またドクターボイスも、病院に行く際は是非使ってみて頂けると嬉しいです^^

この記事を書いた人

北爪 聖也

エンジニア

  • ITコンサルタント

広告代理店営業・データ解析・YouTubeと守備範囲広いです

ステータス
現在対応可能
希望時給
5,000円～10,000円
活動エリア
東京都

北爪聖也(きたづめせいや)と申します。 広告代理店ADKにて3年、データ分析受託の会社DATUM STUDIOにて1.5年働いた後、 現在は、Pythonを使うデータ解析やシステム開発の受託をしています。 会社の技術ブログはこちらです。 https://zenn.dev/p/pipon_tech_blog また、ヘルスケアアプリのドクターボイスの開発運用や「患者さん体験記」というYouTubeチャンネルの運用をしています。 https://www.doctor-voice.com/ 今まで下記の案件に携わってきました。 【マーケティング支援】 ・テレビ広告運用/広告によるDL数・売上の効果測定（WEBサービス） ・テレビ広告運用/ニコニコ動画内番組運営（WEBサービス） ・交通広告(新橋・東京・新宿・有楽町・大阪・名古屋にて展開)/駅前でのイベント実施・運営（WEBサービス） ・テレビス広告、web記事型広告、SNS広告運用/グループインタビュー/定量調査(医療機器) ・メール配信最適化(通信キャリア) ・売上時系列解析(調査会社) ・アンケートデータ解析(調査会社) 【コンサルティング】 ・離脱者要因解析(WEBサービス) ・需要予測(建設業) ・広告配信最適化(通信キャリア) ・サービス改善提案(通信キャリア) ・IoTセンサーデータ解析(調査会社) ・売上げ時系列解析(調査会社) ・コンバージョン要因解析(WEBサービス) ・テキスト処理による法律文書自動構成アドバイザリー（法律） 【ヘルスケアアプリ・ドクターボイス】 患者さんが医師との会話を音声メモで記録するアプリを開発・運用しています。 https://www.doctor-voice.com/ 【YouTubeチャンネル運用】 患者さん体験記というYouTubeチャンネルを運用しています。 https://www.youtube.com/channel/UC1yTfNL0xsBQiIo9Fe9vMzw 【本の執筆】 自然言語解析についての本を執筆しました。 https://nlp-hashimoto.booth.pm/items/1040539 何卒、宜しくお願いいたします。

対応業務
システム開発｜ランディングページ（LP）制作・作成｜動画制作・動画編集
スキル
  • Python
  • SQL Server
  • Vyond
この著者の記事一覧を見る 詳細プロフィールを見る

関連記事