Streamingジョブのフレームワークで実行されているtKafkaInputAvroを設定するために使われます。StreamingのtKafkaInputAvroコンポーネントは、メッセージングファミリーに属しています。Fabricで利用できます。(スキーマを編集)スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。(ブローカーリスト)使用するKafkaクラスターのブローカーノードのアドレスを入力します。このアドレスの形式はhostname:portです。この情報は、このKafkaクラスター内のホスティングノードの名前とポートです。複数のアドレスを指定する必要がある場合は、コンマ(,)で区切ります。(開始オフセット)消費されるトピックメッセージの開始ポイントを選択します。Kafkaでは、メッセージのID連番はoffsetと呼ばれます。(最新から)を選択します。Streamingのチェックポインティングをアクティブにする必要があります。各コンシューマーグループには、消費したメッセージの位置を記憶するための独自のカウンターがあります。このため、コンシューマーグループが特定のトピックのメッセージの消費を開始すると、コンシューマグループはトピック全体ではなく、このグループが消費を停止する位置に関してのみ最新のメッセージを認識します。この原則に基づいて、次の動作が予想されます。トピックにたとえば100のメッセージがあるとします。新しいコンシューマーグループを作成するか、既存のコンシューマーグループをリセットした場合(どちらの場合も、このグループがこのトピックのメッセージを消費していないことを意味します)、最新のグループから開始すると、この新しいグループが開始し、オフセット101を待機します。(トピック名)tKafkaInputがメッセージフィードを受け取るトピック名を入力します。(グループID)現在のコンシューマー(tKafkaInputコンポーネント)が属するようにしたいコンシューマーグループの名前を入力します。この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。2.0を実行している場合のみ利用できます。使っているSparkのバージョンが不明な場合は、クラスターの管理者に詳細をお問い合わせください。(各Kafkaパーティションから読み取る秒当たりのレコード件数を設定)この数値を二重引用符で囲んで入力し、処理のために送信される各バッチのサイズを制限します。100を入力し、Spark設定タブで定義したバッチ値が2秒の場合、各バッチのパーティションからのサイズは200メッセージです。このチェックボックスをオフにした場合、コンポーネントは1秒間で単一のバッチに全メッセージを読み取ろうとしますが、大量のメッセージによりジョブがハングする可能性があります。(SSL/TLSを使用)SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスをオンにします。次に、同じジョブ内のtSetKeystoreコンポーネントを使用して暗号化情報を指定する必要があります。2.0を実行している場合のみ利用できます。使っているSparkのバージョンが不明な場合は、クラスターの管理者に詳細をお問い合わせください。TrustStoreファイルと使用されているKeyStoreファイルは、Sparkエグゼキューターをホスティングしているすべての単一のSparkノードにローカルに保管されている必要があります。(Kerberos認証を使用)使用するKafkaクラスターをKerberosで保護する場合は、このチェックボックスをオンにして、定義する関連パラメーターを表示します。パスを入力するか、Kafkaへのクライアントの認証を実行するジョブによって使われるJAAS設定ファイルを参照します。このJAASファイルには、kinitモードまたはkeytabモードのいずれかを使用して、クライアント(TalendによるKafka関連ジョブ)をKafkaブローカーノードに接続する方法が指定されています。JAASファイルは、これらのジョブが実行されるマシンに保管されている必要があります。Talend、Kerberos、またはKafkaはこのJAASファイルを提供していません。clientの説明に従ってJAASファイルを作成する必要があります。ブローカークラスターの作成時にブローカーのために定義したKerberosのプリンシパルの主要部分を入力します。kafka/kafka1.hostname.com@EXAMPLE.COMというプリンシパルの場合、このフィールドへの入力に使用する主要部分はkafkaになります。Kerberosは、そのkinit実行可能ファイルへのデフォルトのパスを使用します。このパスを変更した場合は、このチェックボックスをオンにしてカスタムアクセスパスを入力します。このチェックボックスをオフにする場合は、デフォルトのパスが使用されます。5の設定ファイルであるkrb5.confファイル(または、Windowsの場合はkrb5.ini)へのデフォルトのパスを使用します。このパスを変更した場合は、このチェックボックスをオンにして、Kerberos設定ファイルへのカスタムアクセスパスを入力します。このチェックボックスをオフにすると、必要な設定情報を見つけるために、Kerberosによって所定の戦略が適用されます。Fileをご覧ください。KafkaクラスターをKerberosで保護する方法は、SASLを使用した認証をご覧ください。0.9.0.1以降で使えます。Registryが使用され、定義する次の関連パラメーターが表示されます。スキーマレジストリーのインスタンスURLを入力します。(パスワード)に認証情報を入力します。Kafkaブローカーで使われるものと同じtSetKeystoreコンポーネントを使ってSSLまたはTLSによる暗号化接続を有効にする場合は、このチェックボックスをオンにします。(スキーマレジストリーのキーストアを設定)をオフにすると使用できます。このチェックボックスをオンにすると、SSLまたはTLS暗号化接続が有効になります。次に、同じジョブ内のtSetKeystoreコンポーネントを使用して暗号化情報を指定する必要があります。スキーマレジストリーの詳細は、Confluentのドキュメンテーションをご覧ください。このオプションは、Talendが提供する8.0.1-R2022-12以降のStudioマンスリーアップデートをインストール済みである場合に利用できます。詳細は管理者にお問い合わせください。(Kafkaのプロパティ)カスタマイズする必要があるKafkaコンシューマープロパティをこのテーブルに追加します。ZkTimeoutExceptionを避けるために特定のzookeeper.connection.timeout.ms値を設定できます。このテーブルで定義できるコンシューマプロパティの詳細は、次のWebサイトにあるKafkaのドキュメンテーションでコンシューマ設定について説明しているセクション(http://kafka.apache.org/documentation.html#consumerconfigs)をご覧ください。Avroスキーマを、現在のコンポーネントのスキーマエディターに定義されているフラットスキーマにマップする場合は、このこのチェックボックスをオンにします。フラットの場合は、このチェックボックスをオフのままにしておきます。オンにする場合は、次のパラメーターを設定する必要があります。処理するAvroデータのスキーマを定義するファイルに移動します。現在のコンポーネントのスキーマカラムと処理する階層Avroメッセージに保存されているデータの間にマップを作成します。(ノード)カラム内に、Avroメッセージから読み取るデータをポイントするJSONパスを入力する必要があります。使用ルールこのコンポーネントは開始コンポーネントとして使用され、出力リンクを必要とします。Streamingジョブを作成している場合にだけ表示されます。Integrationジョブだけを扱います。Sparkの現在のコンポーネントの実装では、KafkaオフセットはSpark自体によって自動的に管理されます。ZooKeeperまたはKafkaにコミットされる代わりに、オフセットはSparkチェックポイント内で追跡されます。この実装の詳細は、Sparkのドキュメンテーションでダイレクトアプローチのセクションをご覧ください。