これに対して混ぜた割合を出力とすることで学習することが可能となります。文章としてよくわからない内容になってしまっているため、上で書いたような回転と同様の現象が起きてしまっている可能性があり、推奨されていない可能性があると書きました。今回は約1,000カテゴリを分類してみました。データはBASEの商品データのテキストを使用しました。これらのデータに前処理を行いMeCabで形態素解析されたものを使用しました。入力を400ワードで固定し、足りない部分は0埋めしてあります。wordsでの中でランダムに入れ替えを行う出力の割合は0埋めを除いた部分で行うとしました。以下はkerasのgeneratorを使った場合の実装例です。embeddingを行いCNNで学習をしました。出力は1-hot-vectorです。20)ここの数字をいじることで可能です。lossなにもしていない場合とCutMixを使用した場合のlossは以下になりました。lossを見るとCutMixよりも何もしないバージョンの方が良い落ち具合となっています。画像の場合のCutMixでは、CutMixを使うことでlossの落ち具合が早くなるなどあるため、想定と異なる結果となりました。これだけをみていると何もしないバージョンの方がよく見えますが、もっと詳細な正答率について調べてみましょう。※何もしないバージョンの方は11epochあたりからtestのlossが上昇してしまっているため過学習をしている可能性も考え、10epochのmodelを使用していきます。カテゴリの正解率まず、予測結果の中で最も高い値となったカテゴリが、正解としているカテゴリと一致しているかについてみてみました。テストには1000データを使用しました。25.0%カテゴリをどれだけ当てられたかで考えると、CutMixの方が良い結果となりました。(全体的に精度は低いのでですが1,000クラス分類なのでおおめに見てください...)また、何番目に正解データがでたかを累計してみた結果です。この結果からも、CutMixを使用した方がうまく予測ができている結果となりました。今回何もしていない方は過学習をしている可能性を考えて10epochを使用していますが、loss的にはとても落ちている20epochを使用しても大きく変わりはしませんでした。新しい文章に適用してみる私が架空の商品説明文を作ってみました。これに適用してみるとどのような結果となるでしょうか?カテゴリ名はそのまま使用できないため、ふわっとしたカテゴリ名に置き換えています。1ぬいぐるみ系ペンギンのぬいぐるみ!布から作っているペンギンのぬいぐるみです。ほどよい綿の詰め具合でなんとも言えないもふもふ感を味わえると思います。ペンギンの種類はアデリーペンギンをイメージしており、癒しの動物を目指しています。大きさは30cmほどとなっているため部屋にちょっと飾るにもちょうどいいです。安全に配慮して作成しているため小さいお子様の遊び相手にもぴったりだと思います。10cm程度また、大きさは手ではかっているため多少ずれていることもあります。手作り作品2食品系りんごのたくさんはいったアップルパイ20cmりんごの収穫も当園で行なっています。今年のりんごもとても美味しい出来上がりになりました。そのまま食べても美味しいりんごですが今回はお店でも販売をしているアップルパイが期間限定で登場しました!コーヒーにも紅茶にも合う仕上がりとなっています。贈り物としても選ばれるおすすめの商品です。この機会にいかがでしょうか。今回2作品を創作してみましたがどちらもCutMixではうまく特徴を捉えることができているのではないかという結果となりました。可視化CutMixでは可視化も行うとおもしろい結果をみることができます。だした際にどこを判断してそのような答えになったかを確認することができます。犬と猫をCutMixしたものに対して出力"犬"として入力の可視化をすると犬の部分のみが判断できているなどが可能です。同様のことがテキストでもできないかと思い試してみました。上の2作品を合体します。形態素解析後なので文章として読みにくいのですが、以下の文章を使用しました。青が1ぬいぐるみ系の文章で赤が2食品系の文章です。今回modelとしてCNNを使用していたため、grad-camを使用して可視化を行なってみました。可視化では、それぞれ1手作り作品2食べ物と出力した際に注目されていたwordを上位5つピックアップしてみます。1手作り作品では綿を"詰め"るという部分に注目されていますが2食べ物といれると"りんご"に反応しています。これらの結果からも、CutMixで学習ができているのではないかという結果となりました。今回はデータも少なく、学習もepoch決め打ちでやっているので条件を変えていくことでCutMixの良さを引き出せる可能性もあるかもしれません。まとめ今回はテキストでのカテゴリ分類に対してCutMixを使用してみました。様々な工夫をすることでテキストにCutMixを使用するということは効果がある可能性がわかりました。)の開発チームによるブログです。Groupの大木です。Developerをしている東口です。Groupのマネージャーをしている山田です。12/1から始まっ...Archiveスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。