Apache Kafka への接続を追加

Apache Kafka への接続を追加するには：

1. アプリケーションコンソールで、接続ページに移動します。
2. 接続の追加パネルで、追加したい接続のアイコンを選択します。
3. Apache Kafka アイコンが利用できない場合は、Add More アイコンをクリックしてCData サイトからApache Kafka コネクタをダウンロードおよびインストールします。

必須プロパティについては、設定タブを参照してください。

通常必須ではない接続プロパティについては、高度な設定タブを参照してください。

Apache Kafka への接続

.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的にSync App と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.1 をインストールしてください。

Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

デフォルトでは、Sync App はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：

1. UseSSL をtrue に設定し、Sync App がSSL 暗号化を使用するように構成します。
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

Note： ProxyServer のようなプロキシ設定やFirewallServer のようなファイアウォール設定は、Apache Kafka ブローカーへの接続には影響しません。 なぜなら、Sync App はプロキシをサポートしていない公式ライブラリを使用してApache Kafka に相互接続するからです。 これらのオプションは、Sync App がスキーマレジストリに接続する場合にのみ使用されます。詳細は、トピックからのメタデータの抽出 を参照してください。

Apache Kafka への認証

Apache Kafka データソースは、次の認証メソッドをサポートしています：

• Anonymous
• Plain
• SCRAM ログインモジュール
• SSL クライアント証明書
• Kerberos

Anonymous

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。

匿名認証を行うには、このプロパティを設定します。

• AuthScheme：None。

SASL Plain

Plain 認証では、認証にプレーンテキストのログインモジュールを使用します。

次のプロパティを設定します。

• AuthScheme：Plain。
• User：認証を行うユーザー。
• Password：認証するユーザーのパスワード。

SCRAM ログインモジュール

SCRAM ログインモジュールを使用して認証するには、以下のプロパティを設定します。

• AuthScheme：SHA-256 ハッシュでSCRAM ログインモジュールを使用する場合はSCRAM を、SHA-512 ハッシュでSCRAM ログインモジュールを使用する場合はSCRAM-SHA-512 を指定します。
• User：認証を行うユーザー。
• Password：認証するユーザーのパスワード。

SSL クライアント証明書

SSL クライアント証明書を私用して認証するには、次のプロパティを設定します。

• AuthScheme：SSLCertificate。
• SSLClientCert：Apache Kafka Connector for CData Sync ブローカーへの接続に使用されるSSL クライアント証明書。
• SSLClientCertType：Apache Kafka Connector for CData Sync ブローカーへの接続に使用されるSSL クライアント証明書の形式：PEMKEY_FILE（デフォルト）、JKSFILE、またはPMKEY_BLOB。

Kerberos

Kerberos で認証するには、システムのKerberos 設定ファイルを指定する必要があります。 次のプロパティを設定します。

• AuthScheme：KERBEROS。
• KerberosServiceName：Kafka ブローカーのプリンシパル名。例えば、プリンシパルがkafka/[email protected] の場合、KerberosServiceName はkkafka です。

Azure Event Hubs への接続

Sync App は、OAuth および共有アクセス署名を使用したAzure Event Hubs への接続をサポートします。 開始する前に、Event Hubs のネームスペースがKafka プロトコルを使用した接続をサポートしていることを確認してください。 Sync App ではこの機能を必須としており、価格体系によってはご利用いただけない場合があります。

Azure への接続はすべて、以下で説明するスキーム固有のプロパティに加えて、これらのプロパティを設定する必要があります。

• BootstrapServers：mynamespace.servicebus.windows.net:9093。
• UseSSL：True。

Azure AD

Azure AD は、Microsoft のマルチテナント、クラウドベースのディレクトリおよびID 管理サービスです。これはユーザーベースの認証で、AuthScheme をAzureAD に設定する必要があります。

Web アプリケーションを介したAzure AD への認証には、 常にカスタムOAuth アプリケーションの作成が必要です。

カスタムOAuthアプリケーションの作成の詳細については、Azure AD アプリケーションの作成 を参照してください。

Azure サービスプリンシパル

Azure サービスプリンシパルは、ロールに基づいたアプリケーションベースの認証です。これは、認証がユーザーごとではなく、アプリケーションごとに行われることを意味します。 アプリケーションで実行されるすべてのタスクは、デフォルトユーザーコンテキストなしで、割り当てられたロールに基づいて実行されます。 リソースへのアプリケーションのアクセスは、割り当てられたロールの権限によって制御されます。

Azure サービスプリンシパル認証の設定方法については、サービスプリンシパルによるAzure AD アプリの作成 を参照してください。

Managed Service Identity (MSI)

Azure VM 上でApache Kafka を実行しており、マネージドID（MSI）認証情報を自動的に取得して接続したい場合は、AuthScheme を AzureMSI に設定します。

User-Managed Identities

マネージドID のトークンを取得するには、OAuthClientId プロパティを使用してマネージドID のclient_id を指定します。

VM に複数のユーザーが割り当てられたマネージドID がある場合は、OAuthClientId も指定する必要があります。

共有アクセス署名

Sync App は、共有アクセス署名を使用したパスワードベースの認証をサポートします。 共有シークレットを作成したら、以下のプロパティを設定します。

• AuthScheme：Plain。
• User：$ConnectionString。
• Password：Shared Access Policies 画面にあるEvent Hubs 接続文字列。

GCP Kafka への接続

Sync App は、Google Managed Service for Apache Kafka（GCP Kafka）への接続をサポートします。 GCP Kafka はOAuth 認証を使用し、サービスアカウント、GCP インスタンスアカウント、Workload Identity Federation をサポートしています。

GCP Kafka への接続はすべて、以下のプロパティを設定する必要があります。

• BootstrapServers：bootstrap.myclustername.myregion.managedkafka.mygcpproject.cloud.goog:9092。 この値は、Cluster Configuration ページのConfigurations タブに表示されます。
• UseSSL：True。

以下に説明する適切なスキーム固有のプロパティを設定すると、接続の準備が整います。

GCP Kafka への認証

GCP Kafka には、Google サービスアカウント、GCP インスタンスアカウント、またはWorkload Identity Federation 認証情報を使用して認証できます。

サービスアカウント

GCP Kafka はGoogle サービスアカウントでの認証をサポートしています。 このサービスアカウントには、Managed Kafka Client ロールが必要です。

サービスアカウント認証情報を、以下のプロパティとともにSync App に入力します。

• AuthScheme：OAuthJWT。
• OAuthJWTCertType：GOOGLEJSON。
• OAuthJWTCert：サービスアカウント認証情報を含むJSON ファイルのパス。

GCP インスタンスアカウント

GCP Kafka は、GCP インスタンスアカウントを使用した接続をサポートします。 このためには、Compute Engine インスタンスにManaged Kafka Client ロールを持つサービスアカウントが必要です。 インスタンスは、Cloud API Access Scopes 内のCloud Platform スコープを有効にする必要もあります。

GCP インスタンスアカウントを使用して接続するには、このプロパティを設定します。

• AuthScheme：GCPInstanceAccount。

Workload Identity Federation 認証情報

GCP Kafka は、Workload Identity Federation 認証情報を使用した接続をサポートします。 ただし、RequestingServiceAccount プロパティによる委任によってのみ、これらのアカウントをサポートします。 通常のサービスアカウントと同様に、委任されたサービスアカウントには、Managed Kafka Client ロールが必要です。

Workload Identity Federation 認証情報を使用して接続するには、以下のプロパティを設定します。

• AuthScheme：AWSWorkloadIdentity。
• AWSWorkloadIdentityConfig：これは、AWS への認証方法に依存します。
• RequestingServiceAccount：AWS プリンシパルが委任できるサービスアカウントのE メールアドレス。

このセクションでは、Apache Kafka Sync App の高度な機能を厳選して説明します。

ユーザー定義ビュー

Sync App はユーザー定義ビューの使用をサポートします。これは事前設定されたユーザー定義クエリによって内容が決定される仮想テーブルです。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。

SSL の設定

SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。詳しくは、「接続文字列オプション」にあるSSLServerCert プロパティを参照してください。

ファイアウォールとプロキシ

Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。

クエリ処理

Sync App は、Apache Kafka にできるだけ多くのSELECT ステートメント処理をオフロードし、残りのクエリをクライアント側のインメモリで処理します。

詳しくは、クエリ処理 を参照してください。

ログ

CData ログを調整するために使用可能な設定の概要については、ログ を参照してください。基本的なロギングに必要なのは2つの接続プロパティだけですが、より詳細なロギングをサポートする多くの機能があり、LogModules 接続プロパティを使用してロギングする情報のサブセットを指定することができます。

SSL 設定のカスタマイズ

To enable TLS, set UseSSL to True.

With this configuration, the Sync App attempts to negotiate TLS with the server. The server certificate is validated against the default system trusted certificate store. You can override how the certificate gets validated using the SSLServerCert connection property.

別の証明書を指定するには、SSLServerCert 接続プロパティを参照してください。

クライアントSSL 証明書

Apache Kafka Sync App はクライアント証明書の設定もサポートしています。次を設定すれば、クライアント証明書を使って接続できます。

• SSLClientCert：クライアント証明書のための証明書ストア名。
• SSLClientCertType：TLS / SSL クライアント証明書を格納するキーストアの種類。
• SSLClientCertPassword：TLS / SSL クライアント証明書のパスワード。
• SSLClientCertSubject：TLS / SSL クライアント証明書のサブジェクト。

Firewall またはProxy 経由の接続

HTTP プロキシ

HTTP プロキシへの認証には、以下のように設定します。

• ProxyServer：HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
• ProxyPort：プロキシサーバーが起動しているTCP ポート。
• ProxyAuthScheme：プロキシサーバーに対して認証する際にSync App が使用する認証方法。
• ProxyUser：プロキシサーバーに登録されているユーザーアカウントのユーザー名。
• ProxyPassword：ProxyUser に紐付けられたパスワード。

その他のプロキシ

次のプロパティを設定します。

• プロキシベースのファイヤーウォールを使用するには、FirewallType、FirewallServer、およびFirewallPort を設定します。
• 接続をトンネルするには、FirewallType をTUNNEL に設定します。
• 認証するには、FirewallUser とFirewallPassword を設定します。
• SOCKS プロキシへの認証には、さらにFirewallType をSOCKS5 に設定します。

Tables

The CData Sync App dynamically models Apache Kafka topics as tables. A complete list of discovered topics can be obtained from the sys_tables system table.

SELECTing from a topic returns existing messages on the topic, as well as live messages posted before the number of seconds specified by the ReadDuration have elapsed.

Stored Procedures

ストアドプロシージャ are function-like interfaces to Apache Kafka. They can be used to create schema files, commit messages, and more.

Consumer Groups

Connections that the Sync App makes to Apache Kafka are always part of a consumer group. You can control the consumer group by setting a value for the ConsumerGroupId connection property. Using the same consumer group ID across multiple connections puts those connections into the same consumer group. The Sync App generates a random consumer group ID if one is not provided.

All members of a consumer group share an offset that determines what messages are read next within each topic and partition. The Sync App supports two ways of updating the offset:

• If AutoCommit is enabled, the Sync App periodically commits the offset for any topics and partitions that have been read by SELECT queries. The exact interval is determined by the auto-commit properties in the native library. See ConsumerProperties for details on how to configure these properties.
• The CommitOffset stored procedure stores the offset of the last item read by the current query. Note that this must be called while the query resultset is still open. The Sync App resets the offset when the resultset is closed.

If there is no existing offset, the Sync App uses the OffsetResetStrategy to determine what the offset should be. This may happen if the broker does not recognize the consumer group or if the consumer group never committed an offset.

Bulk Messages

The Sync App supports reading bulk messages from topics using the CSV, JSON, or XML SerializationFormat. When the Sync App reads CSV data like the following block, it splits the CSV and outputs each line as a separate row. The values of other columns like the partition, timestamp, and key are the same across each row.

"1","alpha"
"2","beta"
"3","gamma"

Bulk messages are not supported for key values. When MessageKeyType is set to a bulk format, the Sync App reads only the first row of the key and ignore the rest. For example, when the Sync App reads the above CSV data as a message key, the entries on the alpha row are repeated across every bulk row from the message value. The entries on the beta and gamma rows are lost.

Bulk Limitations

Apache Kafka does not natively support bulk messages, which can lead to rows being skipped in some circumstances. For example:

1. A Sync App connection is created with ConsumerGroupId=x
2. The connection executes the query SELECT * FROM topic LIMIT 3.
3. The connection commits its offset and closes.
4. Another connection is created with the same ConsumerGroupId
5. The connection executes the query SELECT * FROM topic.

Consider what happens if this procedure is performed on the following topic. The first connection consumes all rows from the first message and one row from the second. However, the Sync App has no way to report to Apache Kafka that only part of the second message was read. This means that step 3 commits the offset 3 and the second connection starts on row 5, skipping row 4.

"row 1"
"row 2"
/* End of message 1 */

"row 3"
"row 4"
/* End of message 2 */

"row 5"
"row 6"
/* End of message 3 */

接続文字列プロパティは、接続を確立するために使用できるさまざまなオプションです。このセクションでは、本プロバイダーの接続文字列で設定できるオプションの一覧を示します。詳細については各リンクをクリックしてください。

接続を確立する方法について詳しくは、接続の確立を参照してください。

Authentication

---

プロパティ	説明
AuthScheme	The scheme used for authentication with the Apache Kafka broker.
User	The user who is authenticating to Apache Kafka.
Password	The password used to authenticate to Apache Kafka.
BootstrapServers	The address of the Apache Kafka BootstrapServers to which you are connecting to.
UseSSL	This field sets whether SSL is enabled. Automatically enabled if AuthScheme is set to SSL.

Connection

---

プロパティ	説明
ConsumerGroupId	Specifies which group the consumers created by the driver should belong to.
AutoCommit	Specifies if the Apache Kafka consumer should automatically commit read offsets.

Azure Authentication

---

プロパティ	説明
AzureTenant	データにアクセスするために使用されるApache Kafka テナントを、名前（例えば、contoso.omnicrosoft.com）またはID で識別します。（条件付き）
AzureResource	認証するAzure Active リソース（Azure OAuth 交換時に使用されます）。

OAuth

---

プロパティ	説明
OAuthClientId	カスタムOAuth アプリケーションの作成時に割り当てられたクライアントId を指定します。（コンシューマーキーとも呼ばれます。）このID は、カスタムアプリケーションをOAuth 認可サーバーに登録します。
OAuthClientSecret	カスタムOAuth アプリケーションの作成時に割り当てられたクライアントシークレットを指定します。（ コンシューマーシークレット とも呼ばれます。）このシークレットは、カスタムアプリケーションをOAuth 認可サーバーに登録します。
DelegatedServiceAccounts	委任されたリクエストのためのサービスアカウントE メールのスペース区切りのリスト。
RequestingServiceAccount	委任されたリクエストを行うためのサービスアカウントのE メール。

JWT OAuth

---

プロパティ	説明
OAuthJWTCert	JWT 証明書のストア。
OAuthJWTCertType	JWT 証明書を格納するキーストアの種類。
OAuthJWTCertPassword	OAuth JWT 証明書のパスワード。パスワードを必要とする証明書ストアにアクセスするために使用されます。証明書ストアがパスワードを必要としない場合は、このプロパティを空白のままにします。
OAuthJWTCertSubject	OAuth JWT 証明書のサブジェクトで、ストアで一致する証明書を検索するために使用されます。部分一致と、先頭の証明書を選択するためのワイルドカード '*' をサポートします。

Kerberos

---

プロパティ	説明
KerberosKeytabFile	The Keytab file containing your pairs of Kerberos principals and encrypted keys.
KerberosSPN	The service principal name (SPN) for the Kerberos Domain Controller.
KerberosServiceName	The name of the Kerberos service you want to authenticate with.
UseKerberosTicketCache	Set this to use a ticket cache with the logged in user instead of a keytab file.

SSL

---

プロパティ	説明
SSLServerCert	The SSL server certificate used to validate to the Apache Kafka broker.
SSLServerCertType	The format of the SSL server certificate used to verify the Apache Kafka broker.
SSLClientCert	The SSL client certificate used to connect to the Apache Kafka broker.
SSLClientCertType	The format of the SSL client certificate used to connect to the Apache Kafka broker.
SSLClientCertPassword	The password used to decrypt the certificate in SSLClientCert .
SSLIdentificationAlgorithm	The endpoint identification algorithm used by the Apache Kafka data provider client app to validate server host name.

Schema Registry

---

プロパティ	説明
RegistryUrl	The server for the schema registry. When this property is specified, the driver supports reading Avro and JSON schemas from the server.
RegistryService	The Schema Registry service used for working with topic schemas.
RegistryAuthScheme	The scheme used to authenticate to the schema registry.
RegistryUser	Username to authorize with the server specified in RegistryUrl .
RegistryPassword	Password to authorize with the server specified in RegistryUrl .
RegistryClientCert	The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.
RegistryClientCertType	The type of key store used by the TLS/SSL client certificate given in RegistryClientCert .
RegistryClientCertPassword	The password for the TLS/SSL client certificate given in RegistryClientCert .
RegistryClientCertSubject	The subject of the TLS/SSL client certificate given in RegistryClientCert .
RegistryVersion	Version of the schema read from RegistryUrl for the specified topic.
RegistryServerCert	The certificate to be accepted from the schema registry when connecting using TLS/SSL.
SchemaMergeMode	How the provider exposes schemas with multiple versions.

Firewall

---

プロパティ	説明
FirewallType	provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
FirewallServer	ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
FirewallPort	プロキシベースのファイアウォールで使用するTCP ポートを指定します。
FirewallUser	プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
FirewallPassword	プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

Proxy

---

プロパティ	説明
ProxyAutoDetect	provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
ProxyServer	HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
ProxyPort	クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバー（ProxyServer 接続プロパティで設定）のTCP ポート。
ProxyAuthScheme	ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
ProxyUser	ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。
ProxyPassword	ProxyUser 接続プロパティで指定されたユーザーに紐付けられたパスワード。
ProxySSLType	ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプ。
ProxyExceptions	ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

Logging

---

プロパティ	説明
LogModules	ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

Schema

---

プロパティ	説明
Location	テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
BrowsableSchemas	レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tables	レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
Views	レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

Miscellaneous

---

プロパティ	説明
AWSWorkloadIdentityConfig	AWS 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。
CompressionType	Data compression type. Batches of data will be compressed together.
ConsumerProperties	Additional options used to configure Kafka consumers.
CreateTablePartitions	The number of partitions assigned to a topic created with CREATE TABLE.
CreateTableReplicationFactor	The number of replicas assigned to a topic created with CREATE TABLE.
EnableIdempotence	If set to true, the Apache Kafka will ensure messages are delivered in the correct order, and without duplicates.
FlattenArrays	By default, nested arrays won't show up if TypeDetectionScheme is set to SchemaRegistry. The FlattenArrays property can be used to flatten the elements of nested arrays into columns of their own. Set FlattenArrays to the number of elements you want to return from nested arrays.
GenerateSchemaFiles	スキーマを生成して保存するユーザーの好みのタイミングを示します。
MaximumBatchSize	Specifies maximum batch size to gather before sending a request.
MaxRows	集計やGROUP BY を使用しないクエリで返される最大行数を指定します。
MessageKeyColumn	The name of the column that message key data is stored in.
MessageKeyType	The type of data stored in message keys.
OffsetResetStrategy	Specifies an offset for the consumer group.
Other	特定のユースケースに対して追加の隠しプロパティを指定します。これらは通常のprovider の機能では必要ありません。複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。
Pagesize	The maximum number of rows to fetch from Kafka at one time.
ProducerProperties	Additional options used to configure Kafka producers.
PseudoColumns	テーブルカラムとして公開する擬似カラムを指定します。'TableName=ColumnName;TableName=ColumnName' という形式を使用します。デフォルトは空の文字列で、このプロパティを無効にします。
ReadDuration	The duration which additional messages are allowed.
RowScanDepth	The maximum number of messages to scan for the columns available in the topic.
SchemaRegistryOnly	Whether to connect only to the schema registry.
SerializationFormat	Specifies how to serialize/deserialize message contents.
Timeout	provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。デフォルトは60秒です。タイムアウトを無効にするには0を設定します。
TypeDetectionScheme	Comma-separated list of options specifying how the provider scans the data to determine the fields and datatypes for the topic.
UseConfluentAvroFormat	Specifies how Avro data should be formatted during an INSERT.
UserDefinedViews	カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
ValidateRegistryTopics	Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry
WorkloadPoolId	Workload Identity Federation プールのID。
WorkloadProjectId	Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。
WorkloadProviderId	Workload Identity Federation プールプロバイダーのID。

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。

---

プロパティ	説明
AuthScheme	The scheme used for authentication with the Apache Kafka broker.
User	The user who is authenticating to Apache Kafka.
Password	The password used to authenticate to Apache Kafka.
BootstrapServers	The address of the Apache Kafka BootstrapServers to which you are connecting to.
UseSSL	This field sets whether SSL is enabled. Automatically enabled if AuthScheme is set to SSL.

The scheme used for authentication with the Apache Kafka broker.

解説

Supported schemes for Apache Kafka:

None	Connect to the data source without specifying the user credentials. User is authenticated anonymously.
Plain	Authenticate via credentials passed in a plain text login module.
SCRAM	Authenticate via a SCRAM login module with SHA-256 hashing.
SCRAM-SHA-512	Authenticate via a SCRAM login module with SHA-512 hashing.
Kerberos	Use Kerberos authentication. (Requires you to specify the system kerberos configuration file.)
SSLCertificate	Authenticate via SSL client certificate.
AzureAD	Perform Azure Active Directory OAuth authentication.
AzureMSI	(Azure VM only) Automatically obtain Managed Service Identity credentials.
AzureServicePrincipal	Authenticate as an Azure Service Principal using a Client Secret.
AzureServicePrincipalCert	Authenticate as an Azure Service Principal using a Certificate.
OAuthJWT	Perform OAuth authentication using an OAuth service account.
GCPInstanceAccount	Obtain an Access Token from Google Cloud Platform instance.
AWSWorkloadIdentity	Authenticate using Workload Identity Federation.

Schemes for authenticating to Azure Event Hubs:

AzureAD	Perform Azure Active Directory OAuth authentication.
AzureMSI	(Azure VM only) Automatically obtain Managed Service Identity credentials.
AzureServicePrincipal	Authenticate as an Azure Service Principal using a Client Secret.
AzureServicePrincipalCert	Authenticate as an Azure Service Principal using a Certificate.

Schemes for authenticating to GMS Kafka:

OAuthJWT	Perform OAuth authentication using an OAuth service account.
GCPInstanceAccount	Obtain an Access Token from Google Cloud Platform instance.
AWSWorkloadIdentity	Authenticate using Workload Identity Federation. Since GMS Kafka does not support using external principals to authenticate directly, you must delegate to a service account using the RequestingServiceAccount property.

The user who is authenticating to Apache Kafka.

解説

If not specified, the driver will attempt unauthorized connection.

The password used to authenticate to Apache Kafka.

解説

If not specified, the driver will attempt an unauthorized connection.

The address of the Apache Kafka BootstrapServers to which you are connecting to.

解説

Specify both the server and port. The server may be either a hostname or IP address, for example: 10.1.2.3:9092. Multiple comma-separated addresses may be provided. As long as one of the bootstrap servers is in the list responses, the connection will be successful.

If you are connecting to Confluent Cloud, you can find this on the Cluster settings.

This field sets whether SSL is enabled. Automatically enabled if AuthScheme is set to SSL.

解説

This field sets whether the Sync App will attempt to negotiate TLS/SSL connections to the server. By default, the Sync App checks the server's certificate against the system's trusted certificate store. To specify another certificate, set SSLServerCert.

このセクションでは、本プロバイダーの接続文字列で設定可能なConnection プロパティの全リストを提供します。

---

プロパティ	説明
ConsumerGroupId	Specifies which group the consumers created by the driver should belong to.
AutoCommit	Specifies if the Apache Kafka consumer should automatically commit read offsets.

Specifies which group the consumers created by the driver should belong to.

解説

If not specified, the driver will assign a random string.

Specifies if the Apache Kafka consumer should automatically commit read offsets.

解説

By default, the Sync App does not commit read offsets unless you invoke CommitOffset. If an offset is committed for a topic, the Sync App starts reading from that offset for future queries (until the next CommitOffset). Otherwise, each query starts reading at the position defined by OffsetResetStrategy.

When AutoCommit is enabled, the provider commits offsets periodically and also at the end of each SELECT query. This means that each SELECT query "consumes" the messages it reads from Kafka, preventing later SELECT queries from returning those messages. You must provide a ConsumerGroupId to enable AutoCommit, as the committed offset is shared across the consumer group, allowing later connections with the same group ID to use the same offsets.

Consider the following when enabling AutoCommit:

• Queries with OFFSET: Some queries may consume more messages than they return. For example, a SELECT query with an OFFSET clause first consumes messages up to the specified offset and then returns rows after that point. Messages consumed to satisfy the OFFSET are discarded and cannot be read again within the same consumer group.
• TypeDetectionScheme Options: The None and RowScan options in TypeDetectionScheme perform internal reads on the topic to identify available columns. This can lead to unpredictable results because the Kafka library may auto-commit after these reads if the AutoCommit timer expires. To prevent this, use SchemaRegistry or MessageOnly modes in TypeDetectionScheme to avoid these reads and ensure consistent offsets.
• Message-Based Offsets: Auto-commit operates in terms of Kafka messages, not rows. Some SerializationFormat options can read multiple rows from a single Kafka message, such as when a Kafka message contains a JSON array. If a SELECT query reads only a subset of rows from that message, Kafka treats the entire message as consumed, meaning any unread rows within that message are discarded.

このセクションでは、本プロバイダーの接続文字列で設定可能なAzure Authentication プロパティの全リストを提供します。

---

プロパティ	説明
AzureTenant	データにアクセスするために使用されるApache Kafka テナントを、名前（例えば、contoso.omnicrosoft.com）またはID で識別します。（条件付き）
AzureResource	認証するAzure Active リソース（Azure OAuth 交換時に使用されます）。

データにアクセスするために使用されるApache Kafka テナントを、名前（例えば、contoso.omnicrosoft.com）またはID で識別します。（条件付き）

解説

テナントは、主にドメイン（例えば、microsoft.com）に関連付けられた、組織のデジタル表現です。 テナントは、Tenant ID（ディレクトリID とも呼ばれる）によって管理されます。これは、Azure リソースへのアクセスや管理権限をユーザーに割り当てる際に指定します。

Azure ポータルでディレクトリID を見つけるには、Azure Active Directory -> プロパティに移動します。

AuthScheme = AzureServicePrincipal またはAzureServicePrincipalCert のいずれかである場合、またはAzureTenant = AzureAD であり、ユーザーが複数のテナントに属している場合は、AzureTenant を指定する必要があります。

テナントは、主にドメイン（例えば、microsoft.com）に関連付けられた、組織のデジタル表現です。 テナントは、Tenant ID（ディレクトリID とも呼ばれる）によって管理されます。これは、Azure リソースへのアクセスや管理権限をユーザーに割り当てる際に指定します。

Azure ポータルでディレクトリID を見つけるには、Azure Active Directory -> プロパティに移動します。

AuthScheme = AzureServicePrincipal またはAzureServicePrincipalCert のいずれかである場合、またはAzureTenant = AzureAD であり、ユーザーが複数のテナントに属している場合は、AzureTenant を指定する必要があります。

認証するAzure Active リソース（Azure OAuth 交換時に使用されます）。

解説

Azure OAuth を使用する場合は、リソースを指定する必要があります。 Web API（セキュアリソース）のApp Id URI に設定されなければなりません。

このセクションでは、本プロバイダーの接続文字列で設定可能なOAuth プロパティの全リストを提供します。

---

プロパティ	説明
OAuthClientId	カスタムOAuth アプリケーションの作成時に割り当てられたクライアントId を指定します。（コンシューマーキーとも呼ばれます。）このID は、カスタムアプリケーションをOAuth 認可サーバーに登録します。
OAuthClientSecret	カスタムOAuth アプリケーションの作成時に割り当てられたクライアントシークレットを指定します。（ コンシューマーシークレット とも呼ばれます。）このシークレットは、カスタムアプリケーションをOAuth 認可サーバーに登録します。
DelegatedServiceAccounts	委任されたリクエストのためのサービスアカウントE メールのスペース区切りのリスト。
RequestingServiceAccount	委任されたリクエストを行うためのサービスアカウントのE メール。

カスタムOAuth アプリケーションの作成時に割り当てられたクライアントId を指定します。（コンシューマーキーとも呼ばれます。）このID は、カスタムアプリケーションをOAuth 認可サーバーに登録します。

解説

OAuthClientId は、ユーザーがOAuth 経由で認証を行う前に設定する必要があるいくつかの接続パラメータの1つです。詳細は接続の確立を参照してください。

カスタムOAuth アプリケーションの作成時に割り当てられたクライアントシークレットを指定します。（ コンシューマーシークレット とも呼ばれます。）このシークレットは、カスタムアプリケーションをOAuth 認可サーバーに登録します。

解説

OAuthClientSecret は、ユーザーがOAuth 経由で認証を行う前に設定する必要があるいくつかの接続パラメータの1つです。詳細は接続の確立を参照してください。

委任されたリクエストのためのサービスアカウントE メールのスペース区切りのリスト。

解説

サービスアカウントE メールは、スペース区切りのリストで指定する必要があります。

各サービスアカウントは、チェーン内の次のサービスアカウントのroles/iam.serviceAccountTokenCreator ロールを付与されている必要があります。

チェーンの最後のサービスアカウントは、リクエストするサービスアカウントのroles/iam.serviceAccountTokenCreator ロールが付与されている必要があります。 リクエストするサービスアカウントはRequestingServiceAccount プロパティで指定されたものです。

委任されたリクエストの場合、リクエストするサービスアカウントは、iam.serviceAccounts.getAccessToken 権限を持つ必要があることに注意してください。これは、serviceAccountTokenCreator ロールを介して付与することもできます。

委任されたリクエストを行うためのサービスアカウントのE メール。

解説

委任されたリクエストで認証情報が要求されたアカウントのサービスアカウントのE メール。DelegatedServiceAccounts の委任されたサービスアカウントのリストを用いて、このプロパティは、委任されたリクエストを行うために使用されます。

このサービスアカウントには、IAM 権限iam.serviceAccounts.getAccessToken が必要です。

このセクションでは、本プロバイダーの接続文字列で設定可能なJWT OAuth プロパティの全リストを提供します。

---

プロパティ	説明
OAuthJWTCert	JWT 証明書のストア。
OAuthJWTCertType	JWT 証明書を格納するキーストアの種類。
OAuthJWTCertPassword	OAuth JWT 証明書のパスワード。パスワードを必要とする証明書ストアにアクセスするために使用されます。証明書ストアがパスワードを必要としない場合は、このプロパティを空白のままにします。
OAuthJWTCertSubject	OAuth JWT 証明書のサブジェクトで、ストアで一致する証明書を検索するために使用されます。部分一致と、先頭の証明書を選択するためのワイルドカード '*' をサポートします。

JWT 証明書のストア。

解説

クライアント証明書のための証明書ストア名。

OAuthJWTCertType フィールドは、OAuthJWTCert により指定された証明書ストアの種類を指定します。 ストアがパスワードで保護されている場合は、OAuthJWTCertPassword でパスワードを指定します。

OAuthJWTCert は、OAuthJWTCertSubject フィールドとともにクライアント証明書を指定するために使われます。 OAuthJWTCert に値がある場合で、OAuthJWTCertSubject が設定されている場合は、証明書の検索が始まります。 詳しくは、OAuthJWTCertSubject フィールドを参照してください。

証明書ストアの指定はプラットフォームに依存します。

Windows の共通のユーザとシステム証明書ストアの指定は以下のとおりです。

MY	個人証明書と関連付けられた秘密キーを格納している証明書ストア。
CA	証明機関の証明書。
ROOT	ルート証明書。
SPC	ソフトウェア発行元証明書。

Javaでは、証明書ストアは通常、証明書および任意の秘密キーを含むファイルです。

証明書ストアの種類がPFXFile の場合は、このプロパティにファイル名を設定します。 PFXBlob の場合は、このプロパティをPFX ファイルのバイナリコンテンツ（例えば、PKCS12証明書ストア）に設定する必要があります。

JWT 証明書を格納するキーストアの種類。

解説

このプロパティには次の値の一つを設定できます。

USER	Windows の場合、現在のユーザーにより所有された証明書ストアであることを指定します。 Note：この種類はJava では利用できません。
MACHINE	Windows の場合、この証明書ストアがシステムストアであることを指定します。 Note：この種類はJava では利用できません。
PFXFILE	この証明書ストアは、証明書を含むPFX（PKCS12）ファイルの名前です。
PFXBLOB	この証明書ストアは、PFX（PKCS12）形式の証明書ストアを表すBase-64でエンコードされた文字列です。
JKSFILE	この証明書ストアは、証明書を含むJava key store（JKS）ファイルの名前です。 Note：この種類はJava のみで利用できます。
JKSBLOB	この証明書ストアは、Java key store（JKS）形式の証明書ストアを表すBase-64でエンコードされた文字列です。 Note：この種類はJava のみで利用できます。
PEMKEY_FILE	この証明書ストアは、秘密キーと任意の証明書を含むPEM でエンコードされたファイルの名前です。
PEMKEY_BLOB	この証明書ストアは、秘密キーと任意の証明書を含むBase-64でエンコードされた文字列です。
PUBLIC_KEY_FILE	この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むファイルの名前です。
PUBLIC_KEY_BLOB	この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むBase-64でエンコードされた文字列です。
SSHPUBLIC_KEY_FILE	この証明書ストアは、SSH 公開キーを含むファイルの名前です。
SSHPUBLIC_KEY_BLOB	この証明書ストアは、SSH 公開キーを含むBase-64でエンコードされた文字列です。
P7BFILE	この証明書ストアは、証明書を含むPKCS7 ファイルの名前です。
PPKFILE	この証明書ストアは、PuTTY 秘密キー（PPK）を含むファイルの名前です。
XMLFILE	この証明書ストアは、XML 形式の証明書を含むファイルの名前です。
XMLBLOB	この証明書ストアは、XML 形式の証明書を含む文字列の名前です。
BCFKSFILE	この証明書ストアは、Bouncy Castle キーストアを含むファイルの名前です。
BCFKSBLOB	この証明書ストアは、Bouncy Castle キーストアを含む文字列（Base-64エンコード）です。
GOOGLEJSON	この証明書ストアは、サービスアカウント情報を含むJSON ファイルの名前です。Google サービスに接続する場合にのみ有効です。
GOOGLEJSONBLOB	この証明書ストアは、サービスアカウントのJSON を含む文字列です。Google サービスに接続する場合にのみ有効です。

OAuth JWT 証明書のパスワード。パスワードを必要とする証明書ストアにアクセスするために使用されます。証明書ストアがパスワードを必要としない場合は、このプロパティを空白のままにします。

解説

このプロパティは、証明書ストアを開くために必要なパスワードを指定します。ただし、ストアの種類がパスワードを必要とする場合に限ります。 パスワードが必要かどうかを判断するには、ご利用の証明書ストアのドキュメントまたは設定を参照してください。

GOOGLEJSON OAuthJWTCertType を使用する場合は必要ありません。Google JSON キーは暗号化されていません。

OAuth JWT 証明書のサブジェクトで、ストアで一致する証明書を検索するために使用されます。部分一致と、先頭の証明書を選択するためのワイルドカード '*' をサポートします。

解説

このプロパティの値は、ストアで一致する証明書を検索するために使用されます。検索プロセスは以下のように動作します。

• サブジェクトに完全に一致する証明書が見つかれば、該当する証明書が選択されます。
• 完全に一致するものがない場合、ストアは、サブジェクトがプロパティ値を含む証明書を検索します。
• 一致する証明書がない場合、証明書は選択されません。

値を '*' に設定すると、ストアの先頭の証明書が自動的に選択されます。 証明書のサブジェクトは識別名フィールドおよび値のカンマ区切りのリストです。 例：CN=www.server.com, OU=test, C=US, [email protected]。一般的なフィールドには以下のものが含まれます。

フィールド	説明
CN	共通名。一般的には、www.server.com のようなホスト名です。
O	法人名
OU	法人の部署名
L	法人の住所（市町村名）
S	法人の住所（都道府県）
C	国名
E	E メールアドレス

フィールド値にカンマが含まれる場合は、引用符で囲んでください。例："O=ACME, Inc."。

このセクションでは、本プロバイダーの接続文字列で設定可能なKerberos プロパティの全リストを提供します。

---

プロパティ	説明
KerberosKeytabFile	The Keytab file containing your pairs of Kerberos principals and encrypted keys.
KerberosSPN	The service principal name (SPN) for the Kerberos Domain Controller.
KerberosServiceName	The name of the Kerberos service you want to authenticate with.
UseKerberosTicketCache	Set this to use a ticket cache with the logged in user instead of a keytab file.

The Keytab file containing your pairs of Kerberos principals and encrypted keys.

解説

The Keytab file containing your pairs of Kerberos principals and encrypted keys.

The service principal name (SPN) for the Kerberos Domain Controller.

解説

The service principal name (SPN) for the Kerberos Domain Controller.

The name of the Kerberos service you want to authenticate with.

解説

The name of the Kerberos service you want to authenticate with.

Set this to use a ticket cache with the logged in user instead of a keytab file.

解説

Set this to use a ticket cache with the logged in user instead of a keytab file

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。

---

プロパティ	説明
SSLServerCert	The SSL server certificate used to validate to the Apache Kafka broker.
SSLServerCertType	The format of the SSL server certificate used to verify the Apache Kafka broker.
SSLClientCert	The SSL client certificate used to connect to the Apache Kafka broker.
SSLClientCertType	The format of the SSL client certificate used to connect to the Apache Kafka broker.
SSLClientCertPassword	The password used to decrypt the certificate in SSLClientCert .
SSLIdentificationAlgorithm	The endpoint identification algorithm used by the Apache Kafka data provider client app to validate server host name.

The SSL server certificate used to validate to the Apache Kafka broker.

解説

The value of this property must be provided in the format described on the SSLServerCertType page. Please refer to it for more details.

The format of the SSL server certificate used to verify the Apache Kafka broker.

解説

This property is used to determine what format the SSLServerCert property expects. This property can take one of the following values:

PEMKEY_FILE	The certificate store is the name of a PEM-encoded file that contains a the server certificate.
PEMKEY_BLOB	The certificate store is a string that contains the server certificate.

The SSL client certificate used to connect to the Apache Kafka broker.

解説

The value of this property must be provided in the format described on the SSLClientCertType page. Please refer to it for more details.

The format of the SSL client certificate used to connect to the Apache Kafka broker.

解説

This property is used to determine what format the SSLClientCert property expects. This property can take one of the following values:

PEMKEY_FILE	The certificate store is the name of a PEM-encoded file that contains a private key and certificate.
PEMKEY_BLOB	The certificate store is a string that contains a private key and certificate, optionally encoded in base64.

The password used to decrypt the certificate in SSLClientCert .

解説

Leave this blank if the client certificate isn't password protected.

The endpoint identification algorithm used by the Apache Kafka data provider client app to validate server host name.

解説

The default value is 'https' and the server host name validation is enabled. You can disable it by setting its value to a blank space.

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema Registry プロパティの全リストを提供します。

---

プロパティ	説明
RegistryUrl	The server for the schema registry. When this property is specified, the driver supports reading Avro and JSON schemas from the server.
RegistryService	The Schema Registry service used for working with topic schemas.
RegistryAuthScheme	The scheme used to authenticate to the schema registry.
RegistryUser	Username to authorize with the server specified in RegistryUrl .
RegistryPassword	Password to authorize with the server specified in RegistryUrl .
RegistryClientCert	The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.
RegistryClientCertType	The type of key store used by the TLS/SSL client certificate given in RegistryClientCert .
RegistryClientCertPassword	The password for the TLS/SSL client certificate given in RegistryClientCert .
RegistryClientCertSubject	The subject of the TLS/SSL client certificate given in RegistryClientCert .
RegistryVersion	Version of the schema read from RegistryUrl for the specified topic.
RegistryServerCert	The certificate to be accepted from the schema registry when connecting using TLS/SSL.
SchemaMergeMode	How the provider exposes schemas with multiple versions.

The server for the schema registry. When this property is specified, the driver supports reading Avro and JSON schemas from the server.

解説

• If you are connecting to Confluent Cloud, this corresponds to the Schema Registry endpoint value in Schemas > Schema Registry > Instructions.
• If you are connecting to AWS Glue service, this corresponds to the ARN value of the AWS Registry you want to connect.

The Schema Registry service used for working with topic schemas.

解説

The Schema Registry service used for working with topic schemas.

The scheme used to authenticate to the schema registry.

解説

The schemes are as follows. Note that some schemes are only available when connecting to a specific RegistryService:

None	No authentication will be used.
Basic	RegistryUser and RegistryPassword are used. In Confluent these are the API user/password, while in Glue these are the IAM access key/secret key.
SSLCertificate	RegistryClientCert is used with SSL client authentication. This is only supported when connecting to a Confluent registry.

Username to authorize with the server specified in RegistryUrl .

解説

If you are connecting to Confluent Cloud, this corresponds to the Access Key value in Schemas > Schema Registry > API access.

Password to authorize with the server specified in RegistryUrl .

解説

If you are connecting to Confluent Cloud, this corresponds to the Secret Key value in Schemas > Schema Registry > API access.

The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.

解説

The name of the certificate store for the client certificate.

The RegistryClientCertType field specifies the type of the certificate store specified by RegistryClientCert. If the store is password protected, specify the password in RegistryClientCertPassword.

RegistryClientCert is used in conjunction with the RegistryClientCertSubject field in order to specify client certificates. If RegistryClientCert has a value, and RegistryClientCertSubject is set, a search for a certificate is initiated. See RegistryClientCertSubject for more information.

Designations of certificate stores are platform-dependent.

The following are designations of the most common User and Machine certificate stores in Windows:

MY	A certificate store holding personal certificates with their associated private keys.
CA	Certifying authority certificates.
ROOT	Root certificates.
SPC	Software publisher certificates.

In Java, the certificate store normally is a file containing certificates and optional private keys.

When the certificate store type is PFXFile, this property must be set to the name of the file. When the type is PFXBlob, the property must be set to the binary contents of a PFX file (for example, PKCS12 certificate store).

The type of key store used by the TLS/SSL client certificate given in RegistryClientCert .

解説

This property can take one of the following values:

USER - default	For Windows, this specifies that the certificate store is a certificate store owned by the current user. Note that this store type is not available in Java.
MACHINE	For Windows, this specifies that the certificate store is a machine store. Note that this store type is not available in Java.
PFXFILE	The certificate store is the name of a PFX (PKCS12) file containing certificates.
PFXBLOB	The certificate store is a string (base-64-encoded) representing a certificate store in PFX (PKCS12) format.
JKSFILE	The certificate store is the name of a Java key store (JKS) file containing certificates. Note that this store type is only available in Java.
JKSBLOB	The certificate store is a string (base-64-encoded) representing a certificate store in JKS format. Note that this store type is only available in Java.
PEMKEY_FILE	The certificate store is the name of a PEM-encoded file that contains a private key and an optional certificate.
PEMKEY_BLOB	The certificate store is a string (base64-encoded) that contains a private key and an optional certificate.
PUBLIC_KEY_FILE	The certificate store is the name of a file that contains a PEM- or DER-encoded public key certificate.
PUBLIC_KEY_BLOB	The certificate store is a string (base-64-encoded) that contains a PEM- or DER-encoded public key certificate.
SSHPUBLIC_KEY_FILE	The certificate store is the name of a file that contains an SSH-style public key.
SSHPUBLIC_KEY_BLOB	The certificate store is a string (base-64-encoded) that contains an SSH-style public key.
P7BFILE	The certificate store is the name of a PKCS7 file containing certificates.
PPKFILE	The certificate store is the name of a file that contains a PuTTY Private Key (PPK).
XMLFILE	The certificate store is the name of a file that contains a certificate in XML format.
XMLBLOB	The certificate store is a string that contains a certificate in XML format.

The password for the TLS/SSL client certificate given in RegistryClientCert .

解説

If the certificate store is of a type that requires a password, this property is used to specify that password to open the certificate store.

The subject of the TLS/SSL client certificate given in RegistryClientCert .

解説

When loading a certificate the subject is used to locate the certificate in the store.

If an exact match is not found, the store is searched for subjects containing the value of the property. If a match is still not found, the property is set to an empty string, and no certificate is selected.

The special value "*" picks the first certificate in the certificate store.

The certificate subject is a comma separated list of distinguished name fields and values. For example, "CN=www.server.com, OU=test, C=US, [email protected]". The common fields and their meanings are shown below.

Field	Meaning
CN	Common Name. This is commonly a host name like www.server.com.
O	Organization
OU	Organizational Unit
L	Locality
S	State
C	Country
E	Email Address

If a field value contains a comma, it must be quoted.

Version of the schema read from RegistryUrl for the specified topic.

解説

Version of the schema read from RegistryUrl for the specified topic. This can be either latest or a specific version number. If you provide a specific version number, that version must be available on every schema within the registry.

Note that SchemaMergeMode=Simple overrides this property. The Sync App combines the schemas of every version for any topics it discovers.

The certificate to be accepted from the schema registry when connecting using TLS/SSL.

解説

TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります：

説明	例
フルPEM 証明書（例では省略されています）	-----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE-----
証明書を保有するローカルファイルへのパス。	C:\cert.cer
公開鍵（例では省略されています）	-----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY-----
MD5 Thumbprint （hex 値はスペースおよびコロン区切り）	ecadbdda5a1529c58a1e9e09828d70e4
SHA1 Thumbprint （hex 値はスペースおよびコロン区切り）	34a929226ae0819f2ec14b4a3d904f801cbb150d

これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。

すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。

How the provider exposes schemas with multiple versions.

解説

By default the Sync App uses SchemaMergeMode=None.

None

This mode only supports one version for schemas in the registry. It is normally the latest version, but you can change RegistryVersion to use a specific version number. The Sync App ignores the content of any message that does not match the schema for its topic. Reading the topic returns the message, but all of its data fields (fields other than Partition, Offset, and Timestamp) are reported as NULL.

Limitations

This mode supports both SELECT and INSERT queries into each topic. An INSERT always uses the version of the schema specified by RegistryVersion.

This mode supports all options for RegistryService.

Schema Confusion

For compatibility with previous versions, the Sync App does not enforce the schema ID included on messages when using RegistryService=Confluent. With SchemaMergeMode=None this ID is always ignored, but even with SchemaMergeMode=Simple the Sync App ignores the ID if it cannot find a matching schema. This may cause the Sync App to output field values under unexpected columns.

For example, consider the following two Avro schemas that store names and address details. The schemas are binary compatible: even though the field names differ, they have the same number of fields with the same types in the same order.

{
  "type": "record",
  "name": "personname",
  "fields": [
    { "name": "PersonID", "type": "int" },
    { "name": "LastName", "type": "string" },
    { "name": "FirstName", "type": "string" }
  ],
}
{
  "type": "record",
  "name": "personaddress",
  "fields": [
    { "name": "PersonID", "type": "int" },
    { "name": "Address", "type": "string" },
    { "name": "City", "type": "string" }
  ],
}

If you produce these messages to the topic using the personname schema, the Sync App may parse these messages using the personaddress schema. This happens if, for example, personname and personaddress are two versions of the same registry schema. The Sync App sees that personaddress is the latest version and uses it for this topic.

{"PersonID": 1, "LastName": "Smithers", "FirstName": "William"}
{"PersonID": 2, "LastName": "McAllister", "FirstName": "Amy"}

In that scenario, the Sync App outputs these results:

PersonID	Address	City
1	Smithers	William
2	McAllister	Amy

Simple

Setting SchemaMergeMode=Simple causes the Sync App to load all versions of each topic schema and merge them according to the following rules. These rules ensure that the Sync App produces NULL or a valid value for each column. If any rule fails, the Sync App fails the schema merge by logging an error and outputting a schema with no data fields.

Limitations

This mode supports only SELECT queries. The Sync App does not have a way to specify a specific version of a schema to use for INSERT queries. If you need to produce messages in this mode, use the ProduceMessage stored procedure.

This mode only supports RegistryService=Confluent. Messages produced with the Confluent libraries include the ID of the schema their data conforms to. The Sync App uses this to determine what schema to parse each message with.

If a message does not have an ID, or if the ID refers to a schema that does not match the topic name, the Sync App defaults to the latest schema. This may cause field values to appear in unexpected columns if the schemas are different but produce compatible output. See the Schema Confusion section above for a more detailed discussion of this issue.

Schema Validation Rules

If all versions of the schema are valid according to these rules, the Sync App includes every field from every version of the schema in the table.

• Each field must have the same type across all versions where they appear. Fields may appear in some versions and not others. Those fields are reported as NULL when they are not present.
• All versions must use the same format (Avro or JSON).

Remember that these rules are applied transitively. This means that two versions of the schema may be valid in isolation, but not when considering all versions of the schema. For example, consider a schema where v1 contains an integer amount field, v2 removes it, and v3 adds a decimal amount field. v1 and v2 are valid together because removing fields is allowed, and v2 and v3 are valid together because adding fields is allowed. However, all three versions combined violate the rules because the amount field changed type between v1 and v3.

For best results, we recommend enabling one of the transitive schema compatibility modes within the schema registry. The Sync App does not check the compatibility mode as part of its validation rules. However, setting a transitive schema compatibility mode prevents you from creating schemas that the Sync App cannot process.

このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。

---

プロパティ	説明
FirewallType	provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
FirewallServer	ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
FirewallPort	プロキシベースのファイアウォールで使用するTCP ポートを指定します。
FirewallUser	プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
FirewallPassword	プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Note：デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し、次のプロキシタイプのいずれかに接続するには、ProxyAutoDetect をfalse に設定します。

次の表は、サポートされている各プロトコルのポート番号情報です。

プロトコル	デフォルトポート	説明
TUNNEL	80	Sync App がApache Kafka への接続を開くポート。トラフィックはこの場所のプロキシを経由して行き来します。
SOCKS4	1080	Sync App がApache Kafka への接続を開くポート。SOCKS 4 は次にFirewallUser 値をプロキシに渡し、接続リクエストが許容されるかどうかを決定します。
SOCKS5	1080	Sync App がApache Kafka にデータを送信するポート。SOCKS 5 プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。

HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。

ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

プロキシベースのファイアウォールで使用するTCP ポートを指定します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。

---

プロパティ	説明
ProxyAutoDetect	provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
ProxyServer	HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
ProxyPort	クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバー（ProxyServer 接続プロパティで設定）のTCP ポート。
ProxyAuthScheme	ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
ProxyUser	ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。
ProxyPassword	ProxyUser 接続プロパティで指定されたユーザーに紐付けられたパスワード。
ProxySSLType	ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプ。
ProxyExceptions	ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。

解説

この接続プロパティをTrue に設定すると、Sync App は既存のプロキシサーバー構成についてシステムプロキシ設定をチェックします（プロキシサーバーの詳細を手動で入力する必要はありません）。

この接続プロパティは他のプロキシ設定より優先されます。特定のプロキシサーバーに接続するためにSync App を手動で構成する場合は、False に設定します。

HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。

HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。

解説

ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたプロキシサーバーを通じてのみHTTP トラフィックをルーティングします。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーを介してHTTP トラフィックをルーティングします。

クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバー（ProxyServer 接続プロパティで設定）のTCP ポート。

解説

ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたプロキシサーバーポートを通じてのみHTTP トラフィックをルーティングします。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーポートを介してHTTP トラフィックをルーティングします。

その他のプロキシタイプについては、FirewallType を参照してください。

ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。

解説

認証タイプは次のいずれかです。

• BASIC：Sync App はHTTP BASIC 認証を行います。
• DIGEST：Sync App はHTTP DIGEST 認証を行います。
• NTLM：Sync App はNTLM トークンを取得します。
• NEGOTIATE：Sync App は認証において有効なプロトコルに応じて、NTLM もしくはKerberos トークンを取得します。
• NONE：ProxyServer が認証を必要としない場合に設定します。

"NONE" 以外のすべての値については、ProxyUser およびProxyPassword 接続プロパティも設定する必要があります。

SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。

ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。

解説

ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。

ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。

ProxyAuthScheme の値	ProxyUser に設定する値
BASIC	プロキシサーバーに登録されているユーザーのユーザー名。
DIGEST	プロキシサーバーに登録されているユーザーのユーザー名。
NEGOTIATE	プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。
NTLM	プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。
NONE	ProxyPassword 接続プロパティは設定しないでください。

Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このユーザー名を使用します。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムのプロキシ設定で指定されているユーザー名を使用します。

ProxyUser 接続プロパティで指定されたユーザーに紐付けられたパスワード。

解説

ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。

ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。

ProxyAuthScheme の値	ProxyPassword に設定する値
BASIC	ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。
DIGEST	ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。
NEGOTIATE	ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。
NTLM	ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。
NONE	ProxyPassword 接続プロパティは設定しないでください。

SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。

Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このパスワードを使用します。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムのプロキシ設定で指定されているパスワードを使用します。

ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプ。

解説

このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この接続プロパティには、以下の値を設定できます。

AUTO	デフォルト設定。ProxyServer がHTTPS URL に設定されている場合、Sync App は、TUNNEL オプションを使用します。ProxyServer がHTTP URL に設定されている場合、コンポーネントはNEVER オプションを使用します。
ALWAYS	接続は、常にSSL 有効となります。
NEVER	接続は、SSL 有効になりません。
TUNNEL	接続はトンネリングプロキシ経由で行われます。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。

ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

解説

ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。

Sync App はデフォルトでシステムプロキシ設定を使用するため、それ以上の設定は必要ありません。この接続にプロキシ例外を明示的に設定する場合は、ProxyAutoDetect をFalse に設定します。

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。

---

プロパティ	説明
LogModules	ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

解説

このプロパティは、含めるログモジュールを指定することでログファイルの内容をカスタマイズすることができます。 ログモジュールは、クエリ実行、メタデータ、SSL 通信などの異なる領域にログ情報を分類します。 各モジュールは4文字のコードで表され、文字の名前の場合は末尾にスペースが必要なものもあります。

例えば、EXEC はクエリ実行をログに記録し、INFO は一般的なプロバイダーメッセージをログに記録します。 複数のモジュールを含めるには、次のように名前をセミコロンで区切ります：INFO;EXEC;SSL。

Verbosity 接続プロパティは、このプロパティで指定されたモジュールベースのフィルタリングよりも優先されます。 Verbosity レベルを満たし、指定されたモジュールに属するログエントリのみが記録されます。 利用可能なすべてのモジュールをログファイルに含めるには、このプロパティを空白のままにします。

利用可能なモジュールの完全なリストとログの設定に関する詳細な手引きについては、ログ の「高度なログの記録」セクションを参照してください。

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。

---

プロパティ	説明
Location	テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
BrowsableSchemas	レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tables	レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
Views	レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。

解説

Location プロパティは、定義をカスタマイズしたり（例えば、カラム名を変更する、カラムを無視するなど）、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。

指定しない場合、デフォルトの場所は%APPDATA%\\CData\\ApacheKafka Data Provider\\Schema となり、%APPDATA%はユーザーのコンフィギュレーションディレクトリに設定されます：

プラットフォーム	%APPDATA%
Windows	APPDATA 環境変数の値
Linux	~/.config

レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

解説

利用可能なデータベーススキーマをすべてリストすると余分な時間がかかり、パフォーマンスが低下します。 接続文字列にスキーマのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。

解説

データベースによっては、利用可能なすべてのテーブルをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にテーブルのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

利用可能なテーブルがたくさんあり、すでに作業したいテーブルが決まっている場合、このプロパティを使用して対象のテーブルのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。

Note：複数のスキーマまたはカタログを持つデータソースに接続する場合は、表示する各テーブルを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するテーブルが混同されることを防ぎます。

レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

解説

データベースによっては、利用可能なすべてのビューをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にビューのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

利用可能なビューがたくさんあり、すでに作業したいビューが決まっている場合、このプロパティを使用して対象のビューのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。

Note：複数のスキーマまたはカタログを持つデータソースに接続する場合は、確認する各ビューを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するビューが混同されることを防ぎます。

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。

---

プロパティ	説明
AWSWorkloadIdentityConfig	AWS 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。
CompressionType	Data compression type. Batches of data will be compressed together.
ConsumerProperties	Additional options used to configure Kafka consumers.
CreateTablePartitions	The number of partitions assigned to a topic created with CREATE TABLE.
CreateTableReplicationFactor	The number of replicas assigned to a topic created with CREATE TABLE.
EnableIdempotence	If set to true, the Apache Kafka will ensure messages are delivered in the correct order, and without duplicates.
FlattenArrays	By default, nested arrays won't show up if TypeDetectionScheme is set to SchemaRegistry. The FlattenArrays property can be used to flatten the elements of nested arrays into columns of their own. Set FlattenArrays to the number of elements you want to return from nested arrays.
GenerateSchemaFiles	スキーマを生成して保存するユーザーの好みのタイミングを示します。
MaximumBatchSize	Specifies maximum batch size to gather before sending a request.
MaxRows	集計やGROUP BY を使用しないクエリで返される最大行数を指定します。
MessageKeyColumn	The name of the column that message key data is stored in.
MessageKeyType	The type of data stored in message keys.
OffsetResetStrategy	Specifies an offset for the consumer group.
Other	特定のユースケースに対して追加の隠しプロパティを指定します。これらは通常のprovider の機能では必要ありません。複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。
Pagesize	The maximum number of rows to fetch from Kafka at one time.
ProducerProperties	Additional options used to configure Kafka producers.
PseudoColumns	テーブルカラムとして公開する擬似カラムを指定します。'TableName=ColumnName;TableName=ColumnName' という形式を使用します。デフォルトは空の文字列で、このプロパティを無効にします。
ReadDuration	The duration which additional messages are allowed.
RowScanDepth	The maximum number of messages to scan for the columns available in the topic.
SchemaRegistryOnly	Whether to connect only to the schema registry.
SerializationFormat	Specifies how to serialize/deserialize message contents.
Timeout	provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。デフォルトは60秒です。タイムアウトを無効にするには0を設定します。
TypeDetectionScheme	Comma-separated list of options specifying how the provider scans the data to determine the fields and datatypes for the topic.
UseConfluentAvroFormat	Specifies how Avro data should be formatted during an INSERT.
UserDefinedViews	カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
ValidateRegistryTopics	Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry
WorkloadPoolId	Workload Identity Federation プールのID。
WorkloadProjectId	Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。
WorkloadProviderId	Workload Identity Federation プールプロバイダーのID。

AWS 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。

解説

このプロパティは、Key=Value プロパティのセミコロン区切りリストとしてフォーマットされ、値はオプションで引用符で囲むこともできます。 例えば、この設定はユーザーのルートキーを使用してAWS で認証します：

AWSWorkloadIdentityConfig="AuhtScheme=AwsRootKeys;AccessKey='AKIAABCDEF123456';SecretKey=...;Region=us-east-1"

Data compression type. Batches of data will be compressed together.

解説

The following values are supported:

NONE	Messages will not be compressed.
GZIP	Messages will be compressed using gzip.
SNAPPY	Messages will be compressed using snappy.
LZ4	Messages will be compressed using lz4.

Additional options used to configure Kafka consumers.

解説

The Sync App exposes several Kafka consumer configuration values directly as connection properties. Internally, these are all mapped into properties that are passed to the Kafka client libraries.

If the Sync App does not expose an option for the consumer configuration, it can be set here. This option takes a connection string value and passes all its options directly to the consumer. For example, security.protocol=SASL_SSL;sasl.mechanism=SCRAM-SHA-512 sets the security.protocol and sasl.mechanism consumer properties.

The number of partitions assigned to a topic created with CREATE TABLE.

解説

When executing a CREATE TABLE statement, the Sync App creates a new empty topic. By default, the Sync App creates this new topic with 1 partition.

You can create topics with more partitions by changing this setting. This can be useful if you plan on having multiple consumers process the messages on this topic.

The number of replicas assigned to a topic created with CREATE TABLE.

解説

When executing a CREATE TABLE statement, the Sync App creates a new empty topic. By default, the Sync App creates this topic with a replication factor of 3.

You can create topics with a different number of replicas by changing this setting. There are two main cases where this is useful:

• When your cluster has fewer than 3 nodes. This setting should never be higher than the number of nodes in your cluster. For example, creating topics with a replication factor of 3 on a cluster with 2 nodes will fail.
• When your cluster has more than 3 nodes and you want more safety in case of failover. Apache Kafka uses replicas to prevent data loss when a node fails, and if all the replicas fail then the topic is unavailable.

If set to true, the Apache Kafka will ensure messages are delivered in the correct order, and without duplicates.

解説

Gives each message a sequence number when enabled. Specifies how to serialize/deserialize the incoming or outgoing message.

By default, nested arrays won't show up if TypeDetectionScheme is set to SchemaRegistry. The FlattenArrays property can be used to flatten the elements of nested arrays into columns of their own. Set FlattenArrays to the number of elements you want to return from nested arrays.

解説

Set FlattenArrays to the number of elements you want to return from nested arrays. The specified elements are returned as columns.

For example, you can return an arbitrary number of elements from an array of strings:

["FLOW-MATIC","LISP","COBOL"]

When FlattenArrays is set to 1, the preceding array is flattened into the following table:

Column Name	Column Value
languages.0	FLOW-MATIC

スキーマを生成して保存するユーザーの好みのタイミングを示します。

解説

このプロパティは、Location で指定されたパスの.rsd ファイルにスキーマをアウトプットします。

有効な設定は次のとおりです。

• Never：スキーマファイルは生成されません。
• OnUse：スキーマファイルがまだ存在していない場合に、初めてテーブルが参照されるときにスキーマファイルが生成されます。
• OnStart：現在スキーマファイルを持たないあらゆるテーブルに対して、接続時にスキーマファイルが生成されます。
• OnCreate：CREATE TABLE SQL クエリを実行すると、スキーマファイルが生成されます。

ファイルを再生成したい場合には、既存のファイルを削除する必要があることに注意してください。

SQL でスキーマを生成する

GenerateSchemaFiles をOnUse に設定すると、Sync App はSELECT クエリを実行したときにスキーマを生成します。スキーマはクエリのそれぞれの参照されたテーブルに対して生成されます。

GenerateSchemaFiles をOnCreate に設定すると、CREATE TABLE クエリが実行されたときにのみスキーマが生成されます。

接続時にスキーマを生成する

このプロパティのもう一つの使い方は、接続するときにデータベース内のすべてのテーブルのスキーマを取得することです。これには、GenerateSchemaFiles をOnStart に設定して接続します。

Specifies maximum batch size to gather before sending a request.

解説

A batch can be formed by one or more messages. The size is specified in bytes.

集計やGROUP BY を使用しないクエリで返される最大行数を指定します。

解説

このプロパティは、集計やGROUP BY 句を含まないクエリに対してSync App が返す行数の上限を設定します。 この制限により、クエリがデフォルトで過度に大きな結果セットを返さないようにします。

クエリにLIMIT 句が含まれている場合、クエリで指定された値がMaxRows 設定よりも優先されます。 MaxRows が"-1" に設定されている場合、LIMIT 句が明示的にクエリに含まれていない限り、行の制限は行われません。

このプロパティは、非常に大きなデータセットを返す可能性のあるクエリを実行する際に、パフォーマンスを最適化し過剰なリソース消費を防ぐのに役立ちます。

The name of the column that message key data is stored in.

解説

See MessageKeyType for a complete description of how the Sync App supports message keys.

The type of data stored in message keys.

解説

By default the Sync App does not report message keys. To enable message keys, this property must be set to a value other than Null and MessageKeyColumn must be set to a valid column name.

See トピックからのメタデータの抽出 for a description of how this interacts with the TypeDetectionScheme property. SerializationFormat describes how each of these supported formats is encoded. There are three main differences between how that property and this property work:

• Complex key columns are always prefixed with MessageKeyColumn and a dot, while primitive key columns use MessageKeyColumn as their name. For example, if MessageKeyColumn is Key, an Avro key would expose columns like Key.field1. A string key would be expose a single column called Key.
• SerializationFormat uses NONE for binary fields while this property uses Binary.
• The Sync App only supports reading key schemas from the registry when connected to a Confluent RegistryService. COnfluent registries use a naming convention that allows for both key and value schemas that cover the same topic.

Specifies an offset for the consumer group.

解説

Select one of the following strategies:

Latest	Will only consume messages that are produced after the consumer group is created.
Earliest	Will consume any unconsumed messages including any message produced before the lifetime of the consumer group.

特定のユースケースに対して追加の隠しプロパティを指定します。これらは通常のprovider の機能では必要ありません。複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。

解説

このプロパティは、シニアユーザーが特定のシナリオに対して隠しプロパティを設定できるようにします。 これらの設定は通常のユースケースには必要ありませんが、特定の要件に対応したり、追加の機能を提供したりすることができます。 複数のプロパティをセミコロン区切りのリストで定義できます。

Note： 特定のシナリオや問題に対処するためにサポートチームから助言があった場合にのみ、これらのプロパティを設定することを強く推奨します。

複数のプロパティをセミコロン区切りリストで指定します。

統合およびフォーマット

DefaultColumnSize	データソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。
ConvertDateTimeToGMT	日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換するかどうかを決定します。
RecordToFile=filename	基底のソケットデータ転送を指定のファイルに記録します。

The maximum number of rows to fetch from Kafka at one time.

解説

The Sync App batches reads to Kafka to reduce overhead. Instead of fetching a single row from the broker every time a query row is read, the Sync App will read multiple rows and save them to the resultset. This means that only the first row read from the resultset must wait for the broker. Later rows can be read out of this buffer directly.

This option controls the maximum number of rows the Sync App stores on the resultset. Setting this to a higher value will use more memory but requires waiting on the broker less often. Lower values will give lower throughput while using less memory.

Additional options used to configure Kafka producers.

解説

This option is like ConsumerProperties but applies to producers instead. Please refer to that property for more information.

テーブルカラムとして公開する擬似カラムを指定します。'TableName=ColumnName;TableName=ColumnName' という形式を使用します。デフォルトは空の文字列で、このプロパティを無効にします。

解説

このプロパティを使用すると、Sync App がテーブルカラムとして公開する擬似カラムを定義できます。

個々の擬似カラムを指定するには、以下の形式を使用します。"Table1=Column1;Table1=Column2;Table2=Column3"

すべてのテーブルのすべての擬似カラムを含めるには、次のようにします："*=*"

The duration which additional messages are allowed.

解説

A timeout for the Sync App to stop waiting for additional messages to come.

The maximum number of messages to scan for the columns available in the topic.

解説

Setting a high value may decrease performance. Setting a low value may prevent the data type from being determined properly.

Whether to connect only to the schema registry.

解説

Enable this option to prevent connections to the Kafka broker. In this mode the Sync App does not perform any action that would require a broker connection. Performing any of the following actions in registry-only mode reports an error:

• SELECT queries (excluding system tables)
• INSERT statements
• CREATE TABLE statements
• CommitOffset
• ProduceMessage

Note that registry-only mode requires that other properties be set appropriately:

• TypeDetectionScheme=SchemaRegistry. Any other value requires connecting to the Kafka broker to list tables.
• ValidateRegistryTopics=false. When this option is enabled, the Sync App compares the topics in the broker to the subjects in the schema registry.

Specifies how to serialize/deserialize message contents.

解説

The Sync App uses this property differently based on the value of TypeDetectionScheme. See トピックからのメタデータの抽出 for details on how these properties interact.

Primitive and Complex Formats

This section applies only to the SchemaRegistry, None, and RowScan TypeDetectionScheme modes. MessageOnly always reports the message as a single column regardless of the format. The only difference is the column type.

The Sync App supports two different kinds of formats: primitive formats and complex formats. Primitive formats are reported in a single column called Message. The primitive formats use encodings that are compatible with the kafka-clients and Confluent.Kafka libraries.

Avro, CSV, CSV_WITH_HEADERS, XML, and JSON are all complex formats. The Sync App parses these formats into one or more columns, flattening nested Avro, XML, and JSON values as necessary.

Auto is also a complex format but the exact data format is determined at runtime. The Sync App determines whether a value is Avro, CSV, XML, or JSON by looking for either a specific header (the Avro OBJ header) or specific characters. If none of these methods succeed the Sync App assumes the value is CSV.

Available formats:

NONE	Message is always BASE64 encoded on both the consume and produce operations.
AUTO	Attempt to automatically figure out the current topic's serialization format. See トピックからのメタデータの抽出 for a discussion of how this occurs in different contexts.
JSON	Message is serialized using the JSON format.
CSV	Message is serialized using the CSV format.
CSV_WITH_HEADERS	Message is serialized using the CSV format with a separate header line before the data. Note that this option only applies to messages created using INSERT. It behaves the same as CSV in SELECT.
XML	Message is serialized using the XML format.
AVRO	Message is serialized using the Avro format.
LONG	Message is serialized as a 64-bit big-endian integer.
INTEGER	Message is serialized as a 32-bit big-endian integer.
FLOAT	Message is serialized as a 32-bit floating-point number.
DOUBLE	Message is serialized as a 64-bit floating-point number.
STRING	Message is serialized as text. By default the Sync App uses UTF-8, but setting Charset overrides this.

provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。デフォルトは60秒です。タイムアウトを無効にするには0を設定します。

解説

このプロパティは、Sync App が操作をキャンセルする前に操作の完了を待機する最大時間を秒単位で制御します。 操作の完了前にタイムアウト時間が経過すると、Sync App は操作をキャンセルして例外をスローします。

タイムアウトは、クエリや操作全体ではなくサーバーとの個々の通信に適用されます。 例えば、各ページング呼び出しがタイムアウト制限内に完了する場合、クエリは60秒を超えて実行を続けることができます。

このプロパティを0に設定するとタイムアウトが無効になり、操作が成功するか、サーバー側のタイムアウト、ネットワークの中断、またはサーバーのリソース制限などの他の条件で失敗するまで無期限に実行されます。 このプロパティは慎重に使用してください。長時間実行される操作がパフォーマンスを低下させたり、応答しなくなる可能性があるためです。

Comma-separated list of options specifying how the provider scans the data to determine the fields and datatypes for the topic.

解説

See トピックからのメタデータの抽出 for more information on how this property interacts with different values of SerializationFormat, RegistryService, and MessageKeyType.

Specifies how Avro data should be formatted during an INSERT.

解説

By default the Sync App writes out Avro data as a series of file blocks (as defined in the Avro specification). Confluent tools and libraries cannot decode this format and it cannot be used with Confluent schema validation. However, it is more compact because it allows multiple rows of Avro data to be stored in a single message.

Enable this option if you use Confluent schema validation, or otherwise require compatibility with Confluent tools and libraries. Each row inserted into an Avro topic will be a separate message and contain a reference to an schema stored in the registry.

Note that this cannot be enabled if there is no RegistryUrl set or RegistryUrl points to an AWS Glue schema registry. AWS Glue schemas do not support schema IDs which are a key part of how Confluent handles Avro data.

カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。

解説

このプロパティを使用すると、UserDefinedViews.json というJSON 形式の構成ファイルを通じてカスタムビューを定義および管理できます。 これらのビューはSync App によって自動的に認識され、標準のデータベースビューのようにカスタムSQL クエリを実行できるようになります。 JSON ファイルは、各ビューをルート要素として定義し、その子要素として"query" を持ちます。この"query" にはビューのSQL クエリが含まれています。次に例を示します。

{
	"MyView": {
		"query": "SELECT * FROM SampleTable_1 WHERE MyColumn = 'value'"
	},
	"MyView2": {
		"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
	}
}

このプロパティを使用して、1つのファイルに複数のビューを定義し、ファイルパスを指定できます。 例：UserDefinedViews=C:\Path\To\UserDefinedViews.json。 このプロパティを使用すると、指定されたビューのみがSync App によって検知されます。

詳しくは、ユーザー定義ビュー を参照してください。

Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry

解説

Schema registries can include metadata for topics that cannot be accessed in Kafka. This can happen because the topic doesn't exist on the broker. It is also possible that the principal the connection is authenticated to does not have access to the topic.

By default, the Sync App will get a list of schemas from the registry and then filter out any that the broker does not report. All the remaining valid topics are exposed as tables. You can disable this behavior by setting this option to false. This will report all schemas in the registry as tables regardless of whether they are accessible on the broker.

Workload Identity Federation プールのID。

解説

Workload Identity Federation プールのID。

Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。

解説

Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。

Workload Identity Federation プールプロバイダーのID。

解説

Workload Identity Federation プールプロバイダーのID。