happyou.infoのブログスマートフォン用の表示で見るhappyou.infoのブログニュース収集サイトhappyou.infoのブログです。国内外のあらゆる企業と組織、団体のウェブサイトの更新を収集します。岡本将吾が運営しています。Textractは、PDFデータや画像データに含まれるフォーム形式のデータ、または、表形式のデータを読み取り、機械判読可能なデータに変換するサービスです。aws.amazon.com2019年8月現在まだ日本語はサポートしていませんが、どのようなデータをパースできるのか実際に使ってみました。Textractにアップロードして認識させる。現実バージョンは、tabula-javaのテストに用いられているPDFデータをそのまま利用する。表形式を認識できない。アラインメント(右寄せ)を調整してみたが認識できない。シンプルな表(罫線あり、大きなフォント)入力:出力:評価:大きなフォントに変換するとテーブルとテキストを認識する。表形式は認識できたが、正しく文字を認識できない。半角小文字の"L"を罫線と認識してしまっている。罫線がなくなると正しく認識できた!罫線が苦手のよう。評価:4に比べて精度が落ちている。文字が認識できなくなる。親子関係が死んでいる以外はパーフェクト。2ページ目は表と認識しないのも正解。評価:4つのテーブルは認識しているが、行を認識できていない。まとめテーブルにはキー(ヘッダ)とバリューが存在するが、現時点でのバージョンでは何がキーで何がバリューかを認識できない。一般的にPDFデータには文字情報が含まれているが、その文字情報は利用していないよう(もったいない)。抽出できるかどうかはフォントに依存するよう。CSVを生成するところでミスが多い。インボイスや申請書の認識(フォーム)の成績は結構よいとのことですので、表(テーブル)の認識はまだまだこれからのようですね。日本語版を作るのはおそらく大変でしょう。magicという、一部自動的にデータを抽出する機能があったのだが、見えなくなってしまった。しなければならず、近年進歩がないように思う。インボイスのような書類をデータ化するサービス。異なっているところに注目した(自動的にマッピングが行われているよう)。19:58マシンリーダブルな形式に変換するツール/サービス各種Tweetもっと読むコメントを書く2018-01-05サーバを更新しました。これまでクローラはCentOS6.5で動作させていたのですが、CentOS7.4での動作に更新しました。AdobeFlashの対応があるため、Firefoxは必要です。APIサーバはCentOS6.5のままなので、いずれ更新を行わなければなりません。現在FinalScraper2を開発しています。うまくゆくかどうかはわかりません。21:38サーバを更新しました。参加させていただいています。IDEで作ったテストをCLIで動かす方法でした。去年のspaceprobeさんのこの記事を読んで考えました。qiita.com地図帳や百科事典には、他社にコピーされたことを判別できるように、実用上は問題のない偽データ(たどり着くことの出来ない道路や存在しない言葉など)が埋め込まれているというのは有名な話です。Berners-Lee先生も「オープンデータも悪い人に加工されて不正確になったらマズいよね」とおっしゃっています。https://www.theguardian.com/technology/2016/nov/01/tim-berners-lee-warns-danger-of-chaos-unprotected-public-open-data?CMP=share_btn_tw以下に単純化したHTMLページを書きます。それにそもそも製品3なんて世の中に実在しないんだけど、あなたそのデータどこから持ってきました?(*1)今回はかなり話を単純化しています。実際にこれをやったら危険。スクレイピングの需要が高まっているようです。気がつくと関連の書籍も色々出版されています。データの収集がカジュアル化するにつれ、「ウチのデータは顧客と潜在的顧客に提供しているのであって、同業他社さんにごっそりコピーされたくない」という需要が高まってくるはずです。自社のウェブサイトをヒューマンリーダブルだけどマシンリーダブルにはしない。一般のユーザさんには影響がない程度の毒を自社サイトに混ぜることでコピーされるのを防ぐ、機械お断りというオープンデータとは真逆の流れが生まれてくるはずです。この流れは強くなってほしくないですねー。メジャーなCMS向けにアンチスクレイピングプラグインとか、そういうのはリリースされないで欲しいです。予想外れてほしいです!私は、私が2年前に書いたHTMLの構造を常に変化させる方法のほうがまだ良心的のように思えてきました。obfuscationと呼んでいるようです。価格表示だけ別サーバは大胆。