する質問をすることでしか得られない、回答やアドバイスがある。30質問内容nokogiriを仕様してスクレイピングをしています。プライベートなサイトを対象にしているので、サイトの構造を詳しくは書けませんが、Shift-JISのサイトで、定期的に文章を取得するプログラムを作っています。ある時、普段と同じような文章なのに、その文章だけ「kg」という文字が出現した以降の文章が全て空になっていることがありました。今までkgという文字が使われていた文章をparseしたことがなかったのですが、なぜかその文章だけがその文字までしか読み込めなかったのです。これは何が原因なのでしょうか。nokogiriと相性がわるい文字が存在するなんてことがあり得るのでしょうか。すればどのような対策をとるべきでしょうか。文字の扱いに疎いので、上記の質問、または参考になるサイトの紹介をしていただけたら幸いです。該当のソースコードソースコードは平凡なものなのであまり意味がないかもしれませんが念のため。[x86_64-darwin15]attachmentクリップ0気になる質問をクリップするクリップした質問は、後からいつでもマイページで確認できます。クリップした質問に回答があった際、通知やメールを受け取ることができます。自分も答えを知りたい質問者以外のユーザにも役立つ評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。質問の評価を上げたことを取り消します低評価-評価を下げられる数の上限に達しました評価を下げることができません1日5回まで評価を下げられます1日に1ユーザに対して2回まで評価を下げられます質問の評価を下げるteratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。コメントをしてください。送信する質問の評価を下げる機能の利用条件この機能を利用するためには、以下の事項を行う必要があります。件sort評価が高い順sort新着順sort古い順linkcheckベストアンサー+3「kg」(U+338F)はいわゆる機種依存文字であり、本来のShift_JISには含まれていないため、パース前の文字コード変換で失敗していると思われます。charsetを"Windows-31J"にして試して見てください。世間で「シフトJIS」と言われるものは実際は一つでは無く、多くの亜種が存在します。使われる、または、使われていた物は下記です。IANAに登録されている標準規格のシフトJIS以下は基本的にこれの拡張。Windows日本語環境でのシフトJIS別名CP932、MS932等(Rubyでは別名として"SJIS"も使用できる)。記号等が拡張として追加されている。一般的にシフトJISと言った場合、実際はWindows-31Jの場合がほとんどである。10)からは標準でUTF-8を使用するようになったため、現在は使用されることはほとんど無い。Windows-31Jと同じように記号等を拡張として追加しているが、追加した部分のコードに互換性は無い。そのため、これらの部分を機種依存文字と呼ぶようになった。Rubyでも認識できるが、他のエンコードとの相互変換はできない。各携帯キャリアが拡張したシフトJISWindows-31Jからの拡張で絵文字が追加されている。昔の携帯キャリアメールはWindows-31Jでやり取りしており、絵文字が送れるようにするため拡張した。追加された絵文字にキャリア間の互換性は無いが、キャリア間でメールをやり取りする場合は、相互に変換するように協定が結ばれている。Unicodeでの絵文字追加により、iPhone等のスマホを使っている場合はUTF-8が使われるようになっているため、今後徐々に廃れると思われる。0213に基づくシフトJISShift_JISX0213とも言われる(実際はShift_JISX0213は10文字だけ少ないが、同一視される)。0208の拡張であるため、使用できる文字が増えている。増えた文字の一部はWindows-31Jにも取り入れられているが、もともとWindows-31Jで拡張していた部分(特に機種依存文字の部分)は互換性のためそのままであり、一部互換性が無い所がある。10)以降はこちらにも対応している(テキストエディットやSafari等)が、ほとんど使用されていない。Rubyは対応していない。73自称Shift_JISと言っているサイトのほとんどはWindows-31Jです。機種依存文字が使われている場合、Shfit_JISとして読み込みすると、処理に失敗したり、文字化けを起こしたりします。ブラウザで見ても、該当のサイトはMac等のWindows以外で見ると文字化けしている可能性が高いです。プライベートなサイトとのことですが、サイト管理者に文字化けしていることを教えて上げるといいと思います。評価が高い回答ほどページの上位に表示されます。remove低評価0回答の評価を下げる下記のような回答は推奨されていません。評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。エンコードは本当に奥が深くてよく詰まるので、こういう丁寧な解説は助かります!キャンセル完了するlink0「kg」という文字はShift_JISには存在しないので、CP932かWindows-31Jを指定してみて下さい。評価が高い回答ほどページの上位に表示されます。remove低評価0回答の評価を下げる下記のような回答は推奨されていません。評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。ことも述べられています。評価が高い回答ほどページの上位に表示されます。remove低評価0回答の評価を下げる下記のような回答は推奨されていません。評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。頂いたご意見への回答は行っておりません。