プログラマの思索プログラマの思索IT業界に身をおいて、1日の労働後、心に溜まった疑問を一つずつ点検してみる。»2016/09/03Excel2010を使ってABテスト結果に対しt検定を行う方法のメモExcel2010を使ってABテスト結果に対しt検定を行う方法が紹介されていたのでメモ。Qiita【1】自分は統計初心者だが、色々書籍をあさって、t検定の意味がようやくわかった。t検定を使う場面としては、「サンプルの平均値は母集団と同じか?」「2つのサンプルの平均値が同じ母集団から出ているのか?」があるだろう。前者は工場における製品の品質管理、後者はABテストなどで使われているだろう。t検定の例は下記が分かりやすい。,「検定統計量(の絶対値)<境界値」より,帰無仮説は5%の有意水準で棄却されない,つまり帰無仮説が採択され,梅干しの塩分濃度は7%である,という結論を得る.(引用終了)【2】t検定、F検定、カイ二乗検定で使われる仮説検定の考え方も分かりにくい。「」を読んだら、「仮説検定で、帰無仮説を置いて、p値よりも発生する確率が低いから捨てて、対立仮説を採用する、という方法は、確率的背理法と言ってもいい」と記載があって、この文章でようやく理解できた。中学数学では、「√2は無理数である」という証明に背理法を使っている。そのやり方を統計検定で採用した場合、前提となる仮説が発生する確率は5%未満だから当初立てた仮説は否定していい、というロジックで評価するわけだ。知っている人にとっては当たり前なのだろうが、こういう所でつまずいていたので。上記の例は、t検定の流れと少し違うけれど。個人的には「推計学のすすめ」という本がすごく分かりやすかった。【3】B2CのWebサービスならば、ABテストを実施している所も多いだろう。その場合、ABテストの結果に対し、有意味な差があるかどうか、簡単に評価するには、t検定を実施すればいい。zuqqhi2のIT日記つまり、画面にA機能とB機能を乗せていて、どちらが反応があったか、その反応の差は有意味であるか、という評価に使える。ロジックの流れとしては、「機能Aと機能Bは、どちらも反応が同じ」という帰無仮説を置き、採取したログからExcelでt検定の結果を出力したら、実際は、その仮説が発生する確率は5%未満だった。「機能Aと機能Bは、どちらも反応が同じ」という仮説は棄却されて、「機能Aと機能Bは反応に有意差があり、機能Aの方が反応が良い」という仮説が導かれるわけだ。このやり方を応用すれば、ABテスト以外にも、アンケート処理などの心理学、消費データの解析などの経済学、関連購買の分析などの販売分析、製品の品質管理などへ適用できるわけだ。今や文系の学問ですら、統計処理がなされていないと、その研究の確からしさや正当性を主張できない、という話は理解できる。日本の製造業の品質管理が優れていると言われる理由は、こういう統計学的手法をいち早く取り入れて、製品の品質のばらつきを抑える手法を色々と編み出したのだろうと推測する。そのやり方を同じようにソフトウェア開発にも適用して、ソフトウェア工学の観点に持ち込んで、ソフトウェアの品質を定量的に評価したい、という流れがあるのだろう。【4】Excelで検定する以外に、R言語を使えば、採取した数値を元にプログラムで検定結果を色々出力できる。ECサイトの日別・商品別・ユーザ別の売上分析、アンケートの相関分析など色んな使い道がある。Apacheのログ、政府の統計情報のように、データは既にいくらでもある。確かにやってみるとすごく面白い。この辺りの知識もまとめてみたい。前処理大全の良いところ~SQLとRとPythonで対比できる(2019.07.10)IOT時代の製造業の戦略と変化についてポーターの考え方(2018.11.18)統計学の考え方に関する感想(2018.01.25)データ分析の課題はどこにあるのか(2017.11.15)データ分析の面白さはどこにあるのか(2017.11.11)コメントコメントを書く名前:メールアドレス:(ウェブ上には掲載しません)アドレス(URL):この情報を登録するコメントは記事投稿者が公開するまで表示されません。License:このBlogに書いてある内容を実践する場合、すべて自己責任で行ってください。日本のソフトウェア開発の現場で生み出された「チケット駆動開発」という概念を、数多くの実例を元にモデル化・体系化を試みた最初の本。Redmineによるタスクマネジメント実践技法Redmineによるチケット駆動開発の実践技法に関する最初の本。アジャイルなソフトウェア開発への適用方法、TestLinkによるテスト管理手法についても言及。組込システム開発をベースとして、ソフトウェア開発特有のスタイルである派生開発、特にXDDPについて解説した世界でも稀な本。既存製品を保守するのではなく継続的に機能追加していく昨今の開発では、派生開発特有の問題を意識しなければならない。XDDPはプロセス論だけでなく、要件定義などの上流工程の品質改善にも役立つので注意。実践ソフトウェアアーキテクチャソフトウェアアーキテクチャとは何か、アーキテクトの役割は何か、という命題について解説した本。ソフトウェア開発を突き進めると、目に見えない秩序、つまりソフトウェアアーキテクチャの存在にぶち当たる。ソフトウェアアーキテクチャは必ずソフトウェアプロダクトラインにぶつかるように、この本の内容の背後にもソフトウェアプロダクトラインが隠れている。selection)データベース設計を具体例を元に、物理設計や論理設計、データモデルパターンなど網羅的に解説した本。IDEF1のER図はやや取っつきにくいが、一般的なDOAの設計手法はこの本1冊で十分と思う。SELECTION)SEの観点で業務システムに関する業務ノウハウをまとめた本。め、支払サイト、EB連携などの日本特有の業務ノウハウを、SEにとって必要な内容として網羅的にまとめられている。ソフトウェア開発の実践)アジャイル開発におけるテスト管理、リリース管理、ビルド管理などの観点を詳しく解説した本。アジャイルテストの4象限の図は、とても分かりやすい。変化に強い大規模開発を成功させる14のベストプラクティス」と共に、Agile2.0時代においてアジャイル開発に関する必読の書籍の一つ。Archive)XPが出た2000年初頭に出現した初期のAgile開発では、その利点は受け入れられたものの、スケールアップが難しいなどの弱点を言われ続けてきた。Agile開発を大規模プロジェクトへ応用してみようとする動きがある。この本はまさに「アジャイル開発をスケールアップするには何が必要なのか」というプラクティスを具体的に説明しているのが秀逸。手続き型言語と発想が全く異なる点を詳細に説明している。Haskellのプログラムを書く前にこの本で思想を押さえておくと良い。Archive―ソフトウェア開発の課題)構成管理のパターン集。メインラインモデルに関して唯一説明されている構成管理の本。要求をどのようにまとめていくか、解説した本。第5章「変更への対応に関する選択肢」では、結局、アジャイル開発とメインラインモデルで運用している場合はタスクブランチが最適な解決策だと詳しく説明されている。【第2版】PMBOKを初心者向けに解説した本だが、中身はとても詳しく説明されているのでお勧め。プロジェクト管理のノウハウはアジャイル開発に簡単に応用できるので、知っていると理論的に補強できて強みになる。入門Git分散バージョン管理Gitの解説本。Gitの使い方だけでなく、オープンソースの主流の開発手法であるパッチベースの開発フローについても詳しく説明されているのでお勧め。分散バージョン管理Mercurialの唯一の解説本。MercurialのWindowsクライアントTortoiseHgを使いこなすなら、この本は必須。家計簿、プロジェクト管理、医療などの実例をDOAで解説した本。Railsで作れば、業務設計のノウハウも理解できるだろう。開発のプロジェクト管理本の中で3本の指に入る本。マイクロソフト社でのプロジェクト管理の実体験を通じて、プロジェクト管理のライフサイクルに沿ったノウハウが説明されている。本番用ソフトウェア製品の設計とデプロイのためにリリース作業や本番運用、スケールアップに関する技術書。アジャイル開発では頻繁にリリースできる技術力を前提とするため、この本に書かれているノウハウはとても貴重。小規模リリースが何故優れているのか、技術面だけでなくビジネス面でも説明されています。―アジャイルとオブジェクト指向によるソフトウェアイノベーションM.ファウラーが在籍するThoughtWorks社のエッセー。随筆のように書かれていて分かりにくい部分があるが、それらのアイデアは非常に優れていると思う。オブジェクト指向の次に来るIT技術の将来性を語っている。~価値あるソフトウェアを育てる概念と技法~Scrumを実践する時の必読書。イテレーション計画や工数見積もりのノウハウが書かれている。――ソフトウェア開発・プロジェクト管理活用ガイドTracをプロジェクト管理としてどのように使うか、挿話を交えて分かりやすく説明されています。Linux/Windows対応Redmineのインストール方法について詳細に説明されています。-もっと手軽にプロジェクト管理!RedmineをAmazonEC2で稼働する技術が説明されています。現場リーダーや開発者の観点でRedmineをどのように運用すべきか、少し触れられています。PerlはJavaやCと違い、短く書くことを洗練する方向が向いている。ファウラーが業務系Webシステムの設計思想を語り尽くした本。Javaと.NET共に解説しているのが大きな特徴。.NETの本質を理解したいなら、この本が一番いい。(自己実現編))ドラッカーの経験談も含まれた自己実現のための本。現代の全てのホワイトカラーの仕事にマネジメントが必ず含まれているという指摘は鋭い。Language)古いけど、Rubyの生みの親が書いたRuby解説書。書き方の初歩や実行の仕方から、デザインパターンや設計手法、Rubyの隠された機能まで解説している。デザインパターンはRubyのAPIに組み込まれているため、Javaよりもはるかに理解しやすい気がする。最高のチームづくりと革新的な製品の法則アジャイル開発の手法を取り入れた製品開発に関する本。キャリアを考える技術・つくる技術ビジネスリーダーになる人のための転職術の本。キャリア戦略を考える時、担当者、ミドルマネジメント、トップマネジメントにはマネジメントという仕事の断層があるという指摘はどこの業界でも通用する。プロジェクト提唱者の羽生さんが書いた本。後半のプロジェクト管理の章は経験に裏打ちされた話で重みがある。リーンソフトウエア開発~アジャイル開発を実践する22の方法~トヨタ生産方式をソフトウェア開発に応用させた本。「決定をできるだけ遅らせる」「プロセスの無駄を徹底的に省く」等の主張は目から鱗が落ちる。Foundations)数々のユースケース解説本の中で内容がピカイチ。ユースケースの粒度や詳細化の方法が詳しく書かれている。(ブルーバックス)意図を正しく伝えるための表現テクニックを解説した本。プレゼン資料の構成のヒントになる。(朝日文庫)分かりやすい日本語の文章を書くためのテクニックを解説した本。時代を超えたプログラミングの基本原則を説明している唯一の本。Principleやコンポーネントの基本原則も解説されている唯一の本。agile!)日本人が書いたテスト駆動の紹介本。Injectionやトヨタ生産方式の比較などにも触れている。頁数だけでなく内容も分厚い本です。アンチパターン―ソフトウェア危篤患者の救出プログラミング、アーキテクチャ、プロジェクト管理で頻繁に経験する失敗例をアンチパターンとしてまとめたカタログ本。気軽に読めて笑えるが、我に戻ると悲しくなる時がある。デッドライン―ソフト開発を成功に導く101の法則ガモフが書いた物理学の物語を真似て書かれたプロジェクト管理の空想物語。ソフトウェアを開発するチームの運営手法について考えさせられる物語。Series)オブジェクト指向モデリングを突き詰めると結局読まざるを得なくなる。手軽に理解できるらしい。使いがC言語を理解するための本。プログラミング言語の進化の歴史を垣間見る事ができる。オブジェクト指向における再利用のためのデザインパターン言わずと知れたデザインパターン元本。再利用絡みの話は全てこの本のアイデアを元にしている。添付CDにあるhtml化されたデザインパターンカタログが意外と役立つ。Series)ファウラー本で最も読みやすく実践的な本。Javaでオブエジェクト指向プログラムを書くなら、この本をバイブルにすべし。オブジェクト指向分析設計と反復型開発入門プログラマが最も悩む「メソッド配置」は「GRASPパターン」で解決できる。実践UMLは初版で勉強したが、版を重ねるほど内容が濃くなっている。業務別データベース設計のためのデータモデリング入門DOAの観点で書かれた業務設計・データモデリングの本。渡辺さん独特の説明がとても分かりやすい。Railsが流行して更にDOAの必要性が高まったように思う。DBさえできればすぐにWebアプリを作れるから。システムのためのデータモデリング日本人が書いたアナパタ。(日経ITプロフェッショナルBOOKS)やっと出た!まともに使えるUMLモデリング本RSSを表示する。