Excel2010を使ってABテスト結果に対しt検定を行う方法のメモ

Excel2010を使ってABテスト結果に対しt検定を行う方法が紹介されていたのでメモ。[
特に主張はなし。

【参考】
やってみよう分析！ 第5章：Excelの分析ツールとソルバーの活用(回帰、最小2乗法) - Qiita

【1】自分は統計初心者だが、色々書籍をあさって、t検定の意味がようやくわかった。
t検定を使う場面としては、「サンプルの平均値は母集団と同じか？」「２つのサンプルの平均値が同じ母集団から出ているのか？」があるだろう。
たとえば、前者は工場における製品の品質管理、後者はABテストなどで使われているだろう。

t検定の例は下記が分かりやすい。

平均値の検定

（引用開始）
例
和歌山の某梅干し工場では，塩分7%の梅干しを生産している．品質をチェックするため，30個の梅干しをピックアップし，検査したところ，平均は7.2%，標準偏差は0.6だった．
（引用終了）

では、某梅干し工場の梅干しの品質は良いといえるか？
言い換えれば、サンプルで抽出した数値から、梅干しの塩分の平均の目標値７％とほぼ同じであり、バラつきは誤差の範囲内、と言えるか？

（引用開始）
帰無仮説：7%である
対立仮説：7%ではない

母集団の分散が未知のケースの式に数値を代入すると，
t=((7.2-7)*√30)/0.6=1.826

この例では7%から高くても低くても製品としては不合格なので，両側検定を考える．自由度29(=30-1)，有意水準5%のtの境界値はt.inv.2t関数を用いて
=T.INV.2T(0.05,29)=2.045　なので，「検定統計量(の絶対値)＜境界値」より，
帰無仮説は5%の有意水準で棄却されない，つまり帰無仮説が採択され，梅干しの塩分濃度は7%である，という結論を得る．
（引用終了）

【2】t検定、F検定、カイ二乗検定で使われる仮説検定の考え方も分かりにくい。
「」を読んだら、「仮説検定で、帰無仮説を置いて、p値よりも発生する確率が低いから捨てて、対立仮説を採用する、という方法は、確率的背理法と言ってもいい」と記載があって、この文章でようやく理解できた。

中学数学では、「√２は無理数である」という証明に背理法を使っている。
そのやり方を統計検定で採用した場合、前提となる仮説が発生する確率は５％未満だから当初立てた仮説は否定していい、というロジックで評価するわけだ。

知っている人にとっては当たり前なのだろうが、こういう所でつまずいていたので。
上記の例は、t検定の流れと少し違うけれど。

個人的には「推計学のすすめ」という本がすごく分かりやすかった。

【3】B2CのWebサービスならば、ABテストを実施している所も多いだろう。
その場合、ABテストの結果に対し、有意味な差があるかどうか、簡単に評価するには、t検定を実施すればいい。

Excel2010を使って t検定 で新手法と旧手法の差を統計的に調べる zuqqhi2のIT日記

つまり、画面にA機能とB機能を乗せていて、どちらが反応があったか、その反応の差は有意味であるか、という評価に使える。
ロジックの流れとしては、「機能Aと機能Bは、どちらも反応が同じ」という帰無仮説を置き、採取したログからExcelでt検定の結果を出力したら、実際は、その仮説が発生する確率は５％未満だった。
だから、「機能Aと機能Bは、どちらも反応が同じ」という仮説は棄却されて、「機能Aと機能Bは反応に有意差があり、機能Aの方が反応が良い」という仮説が導かれるわけだ。

このやり方を応用すれば、ABテスト以外にも、アンケート処理などの心理学、消費データの解析などの経済学、関連購買の分析などの販売分析、製品の品質管理などへ適用できるわけだ。
今や文系の学問ですら、統計処理がなされていないと、その研究の確からしさや正当性を主張できない、という話は理解できる。

日本の製造業の品質管理が優れていると言われる理由は、こういう統計学的手法をいち早く取り入れて、製品の品質のばらつきを抑える手法を色々と編み出したのだろうと推測する。
そして、そのやり方を同じようにソフトウェア開発にも適用して、ソフトウェア工学の観点に持ち込んで、ソフトウェアの品質を定量的に評価したい、という流れがあるのだろう。

【4】Excelで検定する以外に、R言語を使えば、採取した数値を元にプログラムで検定結果を色々出力できる。
ECサイトの日別・商品別・ユーザ別の売上分析、アンケートの相関分析など色んな使い道がある。
Apacheのログ、政府の統計情報のように、データは既にいくらでもある。

確かにやってみるとすごく面白い。
この辺りの知識もまとめてみたい。