それぞれ別々だった植民地=州政府が、独立戦争の際に手を組んだってのが成り立ちだし。いう一つの国って感覚に変わったのだ。それがいつごろからなのかを調べるために、どうしたか。数を、年代別に数えたのだ。数えるったってヒトが数えるんじゃなくて、プログラムにやらせたんだろうけど。お陰で、意外なことがわかった。従来の歴史学者は「南北戦争の終わりごろ」と主張していたのだが...これは単純に数えただけで見当をつけた例だ。書名「誰もが嘘をついている」とあるように、出て来た数字は素直に信用できないって話もいくつかある。その代表がアンケート調査だ。要はみんな見栄をはるのだ。そのため、アンケートだと選挙の投票率が高めに出るが、実際はそれより低い。性生活じゃ見栄をはる人が多い。性交回数について、本書ではコンドームの消費量で検証している。他にも気になるのが同性愛者の割合。一般に保守的な地域ほど、アンケートで同性愛者だと答える者が少ない。いちおう、言い訳はできるのだ。同性愛者は進歩的な所に引っ越すから、と。対して、著者は巧みな方法で覆す。サンプルを高校生に絞るのである。大人なら引っ越せるが、高校生じゃそうはいかない。検証してみると、ご想像のとおり。やって本性をあぶりだす手口も、読んでいてとっても楽しい。ちなみに「ネット炎上の研究」では、炎上に火をくべるイイナゴどもを「高年収・ラジオやSNSをよく使う・子持ちの若い男」との相関が強いとしている。私はこれを疑っている。ソースがアンケート調査だし。そんな風に、ビッグデータを巧く使えばヒトの本性を暴けるのがわかってきた。手をこまねいて見ているわけじゃないよ、なんてのを終盤では明らかにしてくれる。他の企業だってイロイロと...やっちゃあいるが、その限界も明らかにしているのが、いかにも学者らしい所。できること、できないこと」。なんだけど、実はここ、多少の確率の素養がないと難しいかも。要は大数の法則なんだけどね。いい加減なニュースに踊らされたいためにも、この章は時間をかけてじっくり読んでいただきたい。俗なネタで耳目を集め、ちゃんと野次馬根性は満足させた上で、キチンとその裏付けとなる理屈や手法もわかりやすく説明し、より広い応用の可能性を示して希望を持たせると共に危険性も警告し、また限界があるとも明言し、最後に大風呂敷を広げて「うおお!」と興奮させる、実に読んでて楽しい本だった。要するに、バッドデータとは邪魔になるデータのことです。――はじめに:バッドデータとは何か?「バッドデータ」であったからこそ、私たちは新しいことを学べたのです。バッドデータは起立して私たちのお粗末な仮説が、データを「バッドデータ」にしているのです。経験によれば、分析プロジェクトに費やす時間の80%は、クリーニング、改変、変換などのタスクに費やされるそうです。データサイエンスのダークサイド私たちの戦略の中心にあるのが不変性です。私たちの処理のパイプラインがデータを何度も変換しても、私たちはもとのデータを決して変えませんでした(上書きしませんでした)。必須のはずの項目がない。数字だけのはずなのにテキストが入っている。