NiFiを試したいと思います。NiFiは、システム間のデータフローを自動化し管理するためのオープンソースのツールです。NiFiはデータストリームをリアルタイム的に処理を行う機能を実現しています。分散処理やIoTのように膨大なデータを処理するために必要な機能を備えているツールです。主な特徴は以下になります。拡張性できる設計セキュア詳細は以下をご覧頂ければと思います。動作環境は下記になります。※事前にインストールしておきます。※事前にインストールしておきます。※事前に作成しておきます。NiFiのダウンロードサイトから、「nifi-1.6.0-bin.zip」をダウンロードします。zipファイルの中の「nifi-1.6.0」を「C:\」配下にコピーし、フォルダ名を「nifi160」にリネーム変更します。実行すれば起動します。UIを表示できることを確認します。Databeseにデータ挿入」といった流れにします。使用するProcessorは、以下の4つになります。[GetFile]、[ConvertJSONToSQL]、[PutSQL]、[LogAttribute]こちらの4つのProcessorを使って、以下の[全体処理フローイメージ図]のように作成します。NiFiの用語について、補足します。システム内を移動するデータ、NiFiに取り込まれたデータ。このデータは属性(Attributes)とコンテンツを保持する。外部ソースからデータを取得するツール、フローファイルの属性やコンテンツに対しアクションを実行し、外部ソースへとデータを発信する。プロセッサ間のリンク、データの行き先を決めるキューとリレーションシップを保持する。プロセッサ間のフローファイル転送を実現するブローカとして振る舞う。プロセッサ、ファンネルなどを組み合わせ、新規コンポーネントの作成を可能とする以降で、各設定方法を説明します。各プロセッサの設定[GetFile][GetFile]をダブルクリックします。以下のPROPERTIESタブを開きます。${jsonファイルを配置したフォルダパス}インポート対象のjsonファイルは、以下のデータをUTF8で用意します。17:22:22.147","name":"ビッグデータ太郎","age":"22"}][ConvertJSONToSQL][ConvertJSONToSQL]をダブルクリックします。以下のPROPERTIESタブを開きます。falseSETTINGSタブを開いて以下を設定します。Pool」の「Value」をセットした際に右隣の列にあらわれた「→」をクリックし、DB接続の「DBCPConnectionPool」を設定できる一覧画面に遷移します。一覧画面から、「DBCPConnectionPool」の右端の方にある設定アイコンをクリックします。以下のPROPERTIESタブを開きます。DatabaseのJDBCドライバを、適宜フォルダに配置しておきます。${JDBCドライバを配置したフォルダパス}[PutSQL][PutSQL]をダブルクリックします。以下のPROPERTIESタブを開きます。DBCPConnectionPoolSETTINGSタブを開いて以下を設定します。retryとsuccessにチェック[LogAttribute][LogAttribute]をダブルクリックします。PROPERTIESタブを開いて、以下のみ設定します。Level:debugSETTINGSタブを開いて以下を設定します。successにチェックプロセッサをつなぐNiFiのデータフローは、プロセッサをRelationshipでつなぐことで流れをつくっていきます。プロセッサの中心からマウスをドラッグし、接続先のプロセッサでドロップすることで、つなぐことができます。先述の[全体処理フローイメージ図]のとおりに、4つのプロセッサをRelationshipでつなぎます。接続元のプロセッサが複数の出力Relationshipを持っている場合(success、failure、original、retryなど)、確認ダイアログが表示されます。ここでは、正常ルートを定義するので、[全体処理フローイメージ図]にしたがって適宜選択します。LogAttributeにFailureを流すプロセッサ設定の不備などで、処理が失敗した場合、渡ってきたFlowFileはfailureに流されるため、ログで確認できるようfailureを[LogAttribute]につなぎます。不要なRelationshipをAuto-TerminateするNiFiの内部を流れるFlowFileは、行き先がなくなる(終点までたどり着く)と、削除されます。終端のプロセッサでは、それ以上FlowFileを扱う必要がないので、Relationshipの先がありません。Relationshipsでチェックします。全ての設定が完了した後、フローを実行します。フローの実行は、キャンバスの空白部分をクリックし、選択を解除してから、以下の操作パレットのスタートアイコンをクリックすると、すべてのプロセッサが起動します。UIに、[GetFile]から[PutSQL]までの正常ルートをデータが通ったことが確認できます。Databaseにログインし、以下のとおり、SQLのSELECT文を発行し、データが登録されていることを確認しましょう。Databaseへとデータ連携できることを紹介しました。雑誌等の執筆依頼を受付しております。役に立たなかった0人がこの投稿は役に立ったと言っています。コメントをキャンセルメールアドレスは表示されません。Reserved.本サイトに掲載されている社名、製品名、サービス名等は各社の商標または登録商標です。プライバシーポリシーお問い合わせ。