devblog.thebase.inこんにちは、DataStrategyの杉です。DataStrategyではデータを用いて問題解決を行なっていたり、より使いやすいサービスのための改善をしています。10日目の記事として類似商品APIについてがありましたが、このようにテキストや画像の特徴量からレコメンドの作成なども行なっています。今回は私がテキストの特徴量を用いて試してみたことについて書きたいと思います。概要Eコマースプラットフォーム「BASE」には様々なカテゴリが存在します。アパレルのショップであれば「トップス」「ボトムス」などショップごとに設定されているカテゴリもあれば、「アパレル」などといったショップ自身を表すカテゴリなど、多いものでは約1000種類の分類がされているカテゴリもあります。これらのカテゴリを自動で分類できるようになることで、レコメンドの精度向上や入力項目の削減などができるようになります。このカテゴリをテキスト特徴量を用いて分類しようと思うと以下のような問題が出てきました。カテゴリによって偏りがでてきてしまう精度が上がりにくいカテゴリによって偏りがでてきてしまうことはどのようなタスクでも存在する問題ではないかと思います。少ないカテゴリに数を合わせてしまうと全体の量が減ってしまい、より精度が悪くなってしまうということも考えられます。この問題に対して、テキストのDataAugumentationを用いて解決できないかということを試してみました。具体的には、CutMixと呼ばれる、主に画像のDataAugumentationで使用されている手法を試してみたので、その内容について書きたいと思います。詳しくは下で書かせてもらいますが、このCutMixをテキストに使用するということはあまり推奨されていない手法な可能性もあります。そのため、こんなこと試してみたんだという気持ちで読んでいただけると嬉しいです。テキストのDataAugumentationについて画像のDataAugumentationといえば画像を回転させたりノイズをのせたりなど様々なことが考えられます。テキストでは順序なども影響するため回転などは推奨されていません。いう文章を回転させてしまうと。今日となってしまい、日本語として伝わらない文章になってしまいます。ルールベースで単語を置き換えるなどの手法が使われることが多くなっています。