どこでも見れるメモ帳スマートフォン用の表示で見るどこでも見れるメモ帳とあるSEの備忘録。Notebook(ipynb)をなるべくマシなバージョン管理方法がないか調べてみました。実現したいことを簡単にならべると次の通り。notebook(ipynb)をgitでバージョン管理したい。実行の都度変わる実行結果はコミットしたくない。実質的なソースコードの変更のみコミットしたい。コミット前後で実行結果が勝手に削除されたくない。ローカルのファイルに対して変更は加えたくない。これを実現する手順を述べます。Tumblr広告を非表示にするもっと読むコメントを書く2017-04-09Gitリポジトリを移行するには?gitはじめにGitホスティングサービスを、GitLabからBitBucketへ移行する必要があったのでメモです。移行対象は、単純にリポジトリのみとします。*1やりかた1.移行先の空リポジトリを作成します。*22.移行元のリポジトリをベアリポジトリとしてクローンします。[移行元リポジトリのURL]3.移行先のリポジトリをリモート(ここではdestination)に追加します。[移行先リポジトリのURL]4.移行先リポジトリに反映します。--mirror*1:GitLabにおけるマージリクエストを、BitBucketにおけるプルリクエストにマッピングする方法は分かりません。rubyはじめにEvernoteのWebクリッピング機能便利ですね。それと同じようなことを自前でできないか試してみました。試してみる上の方針に従って、スクリプト作成しました。cloneして以下を実行すれば、Webクリッピングできるはずです。[URL]ちなみに、先頭画像は以下で作成しています。http://ni66ling.hatenadiary.jp/entry/2015/06/25/013640おわりに最近Evernoteを使い始めて、はてブとの連携がすごく便利*4だと気付きました。残念なことに、過去にブックマークしたWebページは、Evernoteに一括移行することができないんですね。*5そこで、過去ブックマークをEvernoteに一括移行できないかと調査しはじめたところです。APIとやらを用いて、自動でノートを作成できるように試してみたいと思います。*6*1:ちなみに、ChromeにおけるEvernoteWebクリッピングは、はてブのモジュールが使われているんだとか。http://meme.efcl.info/2011/05/evernote-chromehatena-extract-content.html*2:http://xoyip.hatenablog.com/entry/2014/03/08/204704*3:バージョン1.9以降*4:魚拓的意味です。数年前にはてブ登録した記事がいまだと読めない...ってことが最近よく起きるようになっていて。それで手軽に魚拓できて素晴らしい!と。*5:結構ググったのですが、うまく見つけられず...。*6:QiitaからEvernoteに移行するスクリプトを見つけたので、なんとか作れるんじゃないかなぁと思ってます。データ解析はじめに個人の興味の移ろいを、タグ付けの因果*1で視覚化できるのでは?と思い、試してみました。今回も自分自身の「はてブ」で試しました。視覚化までの流れこちら(イベントの時系列分析による因果関係知識の獲得)を参考にアレンジして実装してみました。流れを簡単にまとめると、次の通りです。表示した場合*3:結果についてなんだかそれっぽい因果もあるように見えますが、うーん...微妙。微妙な理由を挙げてみると、次の通りです。改善案として、以下を考えています。いずれの改善策も厳し目な印象です。ネットワーク次数が高すぎるタグは除去する*6タグでなく、Webページの本文も使う*7第三者変数による影響を考慮する*8おわりにいろいろと思考錯誤した割に、単純な共起ネットワーク*9よりも結果が微妙だった*10ので、なんとも煮え切らない気持ちになりました。同じ方針*11だと興味推移を捉えるのは難しそうなので、次は別の方針で行きたいと思います。Model(以下リンク)のほうが今回よりは良かったので、次は再度トピックモデル関係の手法で試してみようかな*12と思います。github.com今回作ったスクリプトはGitHubにアップしました。github.com関連記事ni66ling.hatenadiary.jpni66ling.hatenadiary.jpni66ling.hatenadiary.jp*1:タグ付けの因果とは、例えば、Xタグを付けると、Yタグを付ける傾向があり、また、Yタグを付けると、Zタグを付ける傾向があるとします。このとき、X→Y→Zというタグ付けの因果が生じているとします。具体例で言うと、DeepLearning→RNN→LSTMなど。*2:タグそれぞれについて、そのタグを付けたWebページの通し番号を取得。この通し番号を時刻とみなします。*3:表示の閾値を緩めた場合*4:「まとめ」や「twitter」といったタグを媒介すれば、あらゆるタグに到達できてしまう。興味の移ろいを見たい、というそもそもの意図からずれてしまう。*5:特定のタグを100回、1000回と多く使うことはなく、数回程度であるため、多くのタグ付け系列は「バーストなにそれ?」状態になってしまう*6:本当に次数が高いタグも除去するとマズいのですが...*7:これだとトピックモデルを使ったほうが良いですよね...*8:改善手法である偏Granger因果検定も試してみました。結果はこちらも微妙でした。*9:関連記事をご参照ください。Models)が気になっています。トピック数自動決定/連続時間のDTMらしいです。自然言語処理はじめにはてブの共起タグをネットワークを表示してみました。下図は、「機械学習」タグがついたWebページをほぼ全て取得し、「機械学習」タグと一緒についているタグをGephiでネットワーク表示してみたものです。learning」タグまわりの共起タグだけピックアップして表示すると、このような感じです。このように表示することで、「機械学習」の広がりをパッと確認できて、面白いですよね。*2別例で同様に「エロ」タグまわりの共起タグをネットワーク表示してみました。*3また、せっかくなので、コミュニティ分析でクラスタリングしてみたところ、以下のように分類できました。なんだかそれっぽい感じ!ふむふむ、思っていたよりも幅のあるタグが一緒に付けられてる印象がします。おわりににしても、Gephiがすごいです!想像してたよりもビックリするくらい手軽に色々できました*4。今後も、機会があれば積極的に使っていこうと思います。今回作ったスクリプトをGitHubにアップしておきます。Tumblr広告を非表示にするもっと読むコメントを書く次のページブログを書いてる人id:ni66ling現職はデータ分析職。前職は検索/Railsエンジニア。大学はコンピュータビジョン専攻。興味の移ろいに興味があり(まとめ記事はこちら)。ゆるーく備忘録を書きます。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。