弊社ブログでも既にいくつか記事が取り上げられています。自然言語処理サービスと記載しましたが、自然言語処理とは何でしょうか。普段私たちが使っている言葉(話している内容でも、書いている内容でも)が自然言語です。自然言語は人間にとっては今まで学んだことや経験から意味を理解することができますが、コンピュータには難しいです。多くの技術によって成り立っています。代表的なものをいくつかご紹介します。文章を単語、品詞などに分解します。文章はコンピュータにとっては文字の羅列です。どこからどこまでの文字が意味のある単位なのかを解析します。文章の単語、品詞の関係性を解析します。品詞がどの品詞に係っているのかを解析します。照応詞の指示対象を推定します。「それ」や「あれ」、「彼」や「彼女」が何を指しているのか解析します。詳しく知りたい方は以下の記事が非常に分かりやすくまとめられています。機械学習を活用して、自然言語処理を提供するサービスです。商品説明や、商品レビューなどの大規模なコーパスなど様々な情報源から学習しています。日々学習し、結果の精度を向上させています。できることは以下の通りです。Entity、および属するカテゴリを検出します。下記のカテゴリに属する単語、連語を指します。検出は単語で判断しているわけではなく、文脈によって判断されます。同じ単語も文脈によっては結果が変わることもあります。開くと、デフォルトで入力されている文章からどのような結果が返るのか見てみましょう。WA」、「Portland」といった地名がLOCATIONとして検出されています。それぞれに信頼性といった情報も付与されています。キーフレーズの検出ドキュメントから重要なフレーズを検出、抽出します。ドキュメントの特徴的な名詞を得ることができます。ドキュメント群から抽出したフレーズでカテゴライズできたり、検索キーワードとして活用したりできるのかな。先ほどと同じ文章からどのような結果が返るのか見てみましょう。若干異なる単語の抽出となっています。分類されたフレーズの抽出と、ドキュメントの中で重要と思われるフレーズの抽出は目的が異なるので結果も異なります。主要言語の検出ドキュメントがどの言語で記載されているのか検出します。100種類の言語に対応しています。日本語も含まれています。先ほどと同じ文章からどのような結果が返るのか見てみましょう。サンプルは英語なのでenで検出されます。日本語も検出できます。感情の検出ドキュメントがどのような感情で記載されているか検出します。先ほどと同じ文章からどのような結果が返るのか見てみましょう。Neutral(中立)となっています。ネガティブな文を入れてみます。ネガティブの数値が高くなりました。ベースの学習モデルを使用して、共通のトピックを判断することができます。話ということが判断できるかと思います。これはドキュメントに含まれる単語からトピックに関連付けて。カテゴライズ、グルーピングのようなことを意味します。グループは特定の名称ではありません。2つのファイルを生成します。S3(s3://public-sample-us-east-1/Sample.txt)に用意しています。内容が一行づつ格納されています。117,949件含まれています。