Inc.は、データサイエンティストの業務の9割と言われる前処理を、コミュニティベースで共通化と改善を目的とするオープンデータのフォーマット共通化を目指したプロジェクト「dataset.jp」と、それらのプラクティスをフレームワーク化することを目的としたプロジェクト「datakit」の2つが発足したことを発表した。■データの前処理とオープンデータ人工知能、ビッグデータの現場において、綺麗に加工されモデリングや分析のアルゴリズムを施せるデータがすぐに手に入ることはほぼあり得ないという。有益なデータソースを探すところから始まり、そのデータを理解しデータフォーマット(配列、データフレーム...)に加工し、分析可能なデータの型に変換(例えば男、女という文字列を整数型に変換など)する必要がある。それに加えて外れ値や欠損値、連続値の離散化などのデータの正規化を行わなければ正しい分析をすることはできない。現状では、モデリングや分析それ自体に対するフレームワークはオープンソースを含め存在するが、この事前処理を共通のプラクティスとしてフレームワーク化する動きは必ずしも活発とはいえないという。政府系の機関を中心にデータをオープンにする動きは盛り上がりを見せているが、それぞれの組織がさまざまなデータフォーマットや文字コード、データの切り方で公開をしている。オープンデータの前処理に関しては、それぞれの技術者が車輪を再発明する必要はない。データの取り扱いに関する規約の範疇でデータとその処理方法について共有することができれば本質的な分析や評価により多くの時間がかけられる。Inc.は、オープデータに関する前処理の共有化とコミュニティによる改善を目的としたdetaset.jpを発足させたとしている。■データの前処理に関するオープンソースベースのフレームワークプライベートなデータとなると一般的にその乱雑さはオープンデータよりも大きくなる傾向にあり、組織や個人のデータ活用、分析の大きな障害となっている。一方で、モデリングや分析に関するライブラリやパッケージは発達しており、多くの技術者はそれに依存することとなる。前処理で行うべきフォーマットはある程度共通化させる余地はあるという。フォーマットの共通化によってデータを無害化させることが容易になれば、企業間でのデータの売買や共有がより活発になり、データ活用がより広がるという。その試金石をdataset.jpの活動から得られたプラクティスをフレームワーク化させるdatakitを公開した。どちらもαバージョンで、コミュニティの立ち上げ途上だという。ヘンシュウブ)「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティの最新動向を中心に、企業ITに関する多様な情報をお届けしています。EYACCの森島さんはいかにして生まれたのか318SAPが会津若松で中小企業のものづくりのイノベーションに取り組む理由296AWSでセキュリティを高めるために今すぐやるべき7つのこと262企業のデジタルシフトはIoT、5G、サブスクリプションが牽引。Links主要テーマから探すIT戦略/企画ITインフラセキュリティデータベースデータ活用システム構築システム運用モバイル活用クラウド活用ワークスタイル変革CRM/コラボレーション製品/サービス×ログインEメールパスワード※旧SEメンバーシップ会員の方は、同じ登録情報(Eメール&パスワード)でログインいただけます。パソコン「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。