用の新しいコネクターを開発者が記述する方法について説明します。重要な概念をいくつか確認した後、シンプルなコネクターを作成する方法について説明します。Handling」を参照してください。新しいコネクターの開発を歓迎しています。貢献」を参照してください。インスタンス化します。つのフレーバーがあります。ファイルにエクスポートすることができます。クラスの実装自体は、データのコピーを実行しません。ワーカーに分散できるようにします。クラスの実装では、外部システムのデータの変更のモニタリングと、タスク再構成のリクエストができます。コピーする必要があります。表される必要があります。トピックのモデルに似ています。タスクごとに、処理するパーティションのサブセットが割り当てられます。つのレコード、オフセットをファイル内の位置と考えることができる場合もあります。これに対して、このモデルのマッピングがもう少し複雑な場合もあります。つのパーティションに対応付けることができますが、オフセットはそれほど明確ではありません。して、タイムスタンプ列を使用してクエリを生成し、インクリメンタルに新しいデータを返す方法があります。この場合、最後のクエリ時のタイムスタンプをオフセットとして使用することができます。各パーティションは、キーと値を持つレコードの順序付きシーケンスです。パッケージのデータ構造で表現される、複雑な構造を使用できます。多くのプリミティブ型に加え、配列、構造体、ネストしたデータ構造がサポートされています。標準のデータ型をそのまま使用できます。クラスを使用する必要があります。コネクターがすべてのソースシステムとシンクシステムのマッピングを行う必要があるデータモデル。ID、そのパーティション内のオフセットが含まれます。含めることができます。クラスが含まれており、スキーマの構築が非常に容易になっています。このランタイムデータフォーマットでは、特定のシリアル化フォーマットは前提とされていません。表されるシリアル化データの間の変換が行われます。コネクターの開発者がこの変換の詳細を考慮する必要はありません。オフセットが含まれます。これらは、フレームワークで、処理されたデータのオフセットを定期的にコミットするために使用されます。障害の発生時には、最後にコミットされたオフセットの時点から処理を再開でき、不要な再処理やイベントの重複を避けることができます。動的なコネクター¶すべてのコネクターでパーティションが常に一定とは限りません。実装では、再構成が必要となるような変更がないか、外部システムをモニタリングする必要もあります。割り当てることができます。割り当てることができるように、そのテーブルの作成を検出できる必要があります。フレームワークが更新します。つのインターフェイスの実装だけです。ソースコードに含まれています。クラスで、各レコードをファイルに書き込むシンクコネクターが実装されています。以下のセクションでは、主な手順とコードスニペットのみを紹介します。ついて、簡単な例で説明します。実装も非常に類似しています。継承するクラスを作成し、解析後の構成情報(読み取り元のファイル名とデータの送信先のトピック)を保存するフィールドを追加します。実際にデータを読み取るために、ワーカープロセスでインスタンス化する必要があるクラスを指定します。