医療職からデータサイエンティストへスマートフォン用の表示で見る医療職からデータサイエンティストへ統計学、機械学習に関する記事をまとめています。R確率分布と積分は、統計学を知る上では欠かせない数学知識です。今回は確率分布と確率変数の基本と、積分の関係性についてご説明していきます。今回の目的は以下になります。R前回はベクトルの基礎を扱いました。今回は、ベクトルの進化系である行列について書いていきます。今回の目的は以下になります。Pythonベクトルと行列は、データサイエンスの中でも頻出であり、とてもとても便利な概念です。使って、ベクトルや行列の概念にふれていきます。基本的なところを扱ってきました。PythonRとPythonで学ぶデータサイエンス数学の第2回となる今回は、関数と微分を扱っていきます。この2つは統計学、機械学習の学習には欠かせない知識となりますが、概念自体は難しく無いので、しっかりと理解したいところです。Python統計学や機械学習を知る上で必ず必要になるのが算数・数学の知識です。今回から複数記事にまたがり、統計学や機械学習を...第1回:RとPythonで学ぶデータサイエンス数学~平均・分散を文字で表す~2020-01-08時系列予測パッケージ{prophet}を使って、ブログアクセス数を予測する。R前回は、prophetを使って、2ヶ月先のブログアクセス数を予測しました。今回はその答え合わせと、前回は触れなかった時刻周期の扱い方について書いていきます。前回の予測結果はこのようになっていました...時系列予測パッケージ{prophet}を使って、ブログアクセス数を予測する。~時刻周期の解析編~2020-01-02はてなブログでTex記法を使って行列を書く時の注意点ブログはてなブログのmarkdown記法でTex記法を書く時、いくつか注意点があります。多くの場合は、こちらのサイト様で解決するかと思います。R中心極限定理とは、統計学を学び始めると必ずお目にかかる定理なのですが、安直に理解していると大変な勘違いをしてしまう定理です。いざ理解しようとしても、解説には難解なものも多くイメージしにくいのもまた現状です。Python機械学習モデルは、統計モデルよりも予測に長けた手法であり、皆様もご存知の通り様々な場面で用いられています。一方で、結果の解釈の面ではブラックボックスになりやすいため、モデルの作成時のみならず、機械学習に覚えのない方々とコミュニュケーション...SHAPを使って機械学習モデルと対話する2019-09-16Pythonによるデータ前処理手法の網羅的まとめPythonデータ解析をする上で、もっとも重要な工程であるデータの前処理、今回はそんな前処理をPythonで行うための様々な方法をまとめました。文字列を対象したデータマイニング手法で、単語の出現頻度、出現タイミングなどを集計する簡単なものから、機械学習を用いてクラス分類する高度なものまで様々な解析手法があります。中でも、単語の...Rでtweetをテキストマイニング:ワードクラウドと共起ネットワーク2019-07-20facebookの時系列予測パッケージ{prophet}を使って、ブログアクセス数を予測する。stanprophetはfacebookが無料で提供している時系列予測パッケージです。RでもPythonでも使うことができます。...facebookの時系列予測パッケージ{prophet}を使って、ブログアクセス数を予測する。Pythonk-means(k平均法)は教師なし学習の中でもとても有名なアルゴリズムの一つです。顧客のデータから顧客を購買傾向によってグループ分けしたり、商品の特性からいくつかのグループに分けたりと使用法は様々です。Pythonデータ解析をする上で、Rを使うべきかPythonを使うべきか、この議論は多くの人が色々な意見を持っています。最近はPythonユーザーが増えていますが、Rをメインで使う人が少なからずいるのもまた事実です。Rディープラーニングは言わずもがな、機械学習の世界では名実ともにエースと呼んでいいほど有名なアルゴリズムです。人間の脳を模倣していると聞くと、なんだかSFの世界を想像しますが、実は案外簡単なアルゴリズムで成り立っています。R前回は機械学習において最も基本的なアルゴリズムである最急降下法を使って、重回帰モデルを作成しました。今回は、最急降下法とロジスティック回帰モデルを使って機械学習の醍醐味である分類問題を扱っていきたいを思います。R機械学習の教師あり学習の中でも、重回帰モデルはとても有名です。統計学でも有名なこのモデルですが、機械学習では、最急降下法というもっとも基本的かつ、重要なアルゴリズムを使ってパラメーターを求めることができます。ベイズベイズとは条件付き確率を表すのにとても有用な概念で、統計学だけでなく機械学習にも応用されています。最近のビックデータ流行により、データサイエンスを専門としない人でも、統計リテラシーが必要とされるようになりました。データの変数が多い時に、出来るだけ情報を減らさずに、次元を圧縮するテクニックとして用いられます。R生存解析は医療の現場で用いられている手法で、ある薬を飲む群と飲まない群で死亡率が異なるのかなどといったアウトカムが生きるor死ぬなどの二値で、アウトカム発生までの時間の流れも考慮しなければならない場合に使用されます。Python前回は因果推論の王道テクニックである傾向スコアを使った回帰分析とマッチングについて紹介しました。今回も傾向スコアを使った解析手法の一つであるIPWと、傾向スコアは使いませんが理論的には同じになるStandardzationの紹介をしていきます。モデルは、非線形な時系列データを含む幅広いタイプの時系列データを、統一的に扱えるとても便利な解析手法です。Python世の中の事象における真の因果関係は神のみぞが知り、それに抗うために多くの因果推論テクニックが作られてきました。R古典的な時系列解析のモデルでは、時系列データが定常過程に従うことを前提としていました。世の中の多くの事象は定常過程に従うことはあまりなく、よりうまく現実を反映させることができるモデルが必要になります。それが状態空間モデルです。基本的なテクニックである回帰分析はよく知られていますが、モデルで仮定している前提や、変数の入れ方によって、結果の解釈が大きく違います。今回は、回帰分析の種類やモデルが意味することを書いてみたいと思います。事象の因果関係を見抜くためには、無作為介入が理想的ですが、世の中の多くはすでに存在するデータから因果関係が推論されます。そんな既に観察されたデータ(観察データ)は、集計してみると関連性が見えてくることがありますが、短絡的に結果を解釈すると...タバコを吸うほど健康になる?必ず確認すべきデータのバイアス2019-03-30因果推論の基本事項〜広告をみたから商品を買ったのか?それとも....〜因果推論ビジネスの世界で、ある事象に関する原因と結果の因果関係を推論することはとても重要な要素です。最近では機械学習手法に多くの注目が集まっており、予測さえできればそれで良いと思うかもしれません。時系列データとは、ある一時点ではなく、時間軸に沿ってデータが収集され、変数の並び方にも意味があるデータのことを指します。はてなブログPro大学院で疫学統計を学んでいます。初心者目線から統計学、機械学習など学んだことをまとめていきます。medi_data0826スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。