『小説家になろう』をふくめ『ネット小説投稿サイト』を分析する。コード置き場,主にPython,javascript,たまに創作。プログラミングpythonを使ってなろうの全ての情報を取得するなろうが提供する「なろう小説API」を用いて、なろうに存在するすべての小説情報データを全件取得するコードです。とりあず手元にデータを持った上で解析を行いたい人向けの全部をすべて取得するコードです。全件取得例なろう小説APIで取得できる全作品情報データの全34項目を一括取得できます。(2019年5月現在約64万件分)取得データについては、「なろうディベロッパー」サイトを御覧ください。https://dev.syosetu.com/man/api/:なろう小説API(なろうディベロッパー)このスクリプトを使うことで「ポチポチ」で全件取得が可能となります。パッケージを使用していますのでインストールしていない場合はインストールしてご利用ください。xlsxwriter使用方法の説明pythonを使って、なろうAPIからすべての小説情報データを引っ張ってきて、一つの.xlsx(エクセル形式)ファイルで出力するスクリプトです。約半日動かせば、なろうのすべてが取得できます。コードの改良で約90分で全取得できるようなりました。notebookやPython3.5で.pyを実行してください。='All_OUTPUT.xlsx'で指定したエクセルファイルが出力されます。取得項目なろう小説APIで取得できる全40項目を取得します。titlencodeuseridwriterstorybiggenregenregensakukeywordgeneral_firstupgeneral_lastupnovel_typeendgeneral_all_nolengthtimeisstopisr15isblisgliszankokuistenseiistennipc_or_kglobal_pointdaily_pointweekly_pointmonthly_pointquarter_pointyearly_pointfav_novel_cntimpression_cntreview_cntall_pointall_hyoka_cntsasie_cntkaiwaritunovelupdated_atupdated_atweekly_unique※2019.8.20より追加daily_pointweekly_pointmonthly_pointquarter_pointyearly_pointimpression_cntトラブルシューティング「pandas」が見つからないというエラーが出る。pandasこのスクリプトでは「pandasパッケージ」を使っています。pipからpandasをインストールしてください。notebookを再起動してください。取れないデータがある。数が合わないなぜか落とせないデータはあるみたいです。落とせないデータについてはpassする様に設定しています。エクセルで開くとエラーが出る何件かのデータがバッグっているのでデータを初めて読み込んだ時は「修復しますか?」とダイアログが出るので「修復する」を選択して下さい。エクセルで開けないほど重いエクセルで扱えないというほど大きいファイルサイズではないですが、ゴリゴリ解析していくのには時間がかかります。ピポットデーブルで作業する場合は、作業用に必要な列だけ抜き出したシートを用意して行ったほうが効率的です。本格的な解析はpythonみたいなソフトで行った方が効率的なのは確かです。「小説家になろう」は株式会社ヒナプロジェクトの登録商標です。このスクリプトは非公式のものです。追記:「なろう18禁小説API」全取得コードもアップしました!karupoimou.hatenablog.comなろう18禁小説APIむけのコードも作成しましたのでもしご興味ありましたらご覧ください。資料karupoimou.hatenablog.comAnacondaやpythonの基本は上記の記事をご参照ください。Notebookの設定は上記の記事をご参照ください。karupoimou.hatenablog.compython3.7の環境を使う際にはご参照ください。karupoimou.hatenablog.comまた定期的に自動実行するときなどには上記の記事をご参照ください。検索はてなブログをはじめよう!karupoimouさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。