Apache Kafka への接続を追加

Apache Kafka への接続を追加するには：

1. アプリケーションコンソールで、接続ページに移動します。
2. 接続の追加パネルで、追加したい接続のアイコンを選択します。
3. Apache Kafka アイコンが利用できない場合は、Add More アイコンをクリックしてCData サイトからApache Kafka コネクタをダウンロードおよびインストールします。

必須プロパティについては、設定タブを参照してください。

通常必須ではない接続プロパティについては、高度な設定タブを参照してください。

Apache Kafka への接続

.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的にSync App と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.10.0 をインストールしてください。

Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

デフォルトでは、Sync App はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：

1. UseSSL をtrue に設定し、Sync App がSSL 暗号化を使用するように構成します。
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

Note： ProxyServer のようなプロキシ設定やFirewallServer のようなファイアウォール設定は、Apache Kafka ブローカーへの接続には影響しません。 なぜなら、Sync App はプロキシをサポートしていない公式ライブラリを使用してApache Kafka に相互接続するからです。 これらのオプションは、Sync App がスキーマレジストリに接続する場合にのみ使用されます。詳細はトピックからのメタデータの抽出 を参照してください。

Apache Kafka への認証

Apache Kafka データソースは、次の認証メソッドをサポートしています：

• Anonymous
• Plain
• SCRAM ログインモジュール
• SSL クライアント証明書
• Kerberos

Anonymous

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。

匿名認証を行うには、このプロパティを設定します。

• AuthScheme：None。

SASL Plain

Plain 認証では、認証にプレーンテキストのログインモジュールを使用します。

次のプロパティを設定します。

• AuthScheme：Plain。
• User：認証を行うユーザー。
• Password：認証するユーザーのパスワード。

SCRAM ログインモジュール

SCRAM ログインモジュールを使用して認証するには、以下のプロパティを設定します。

• AuthScheme：SHA-256 ハッシュでSCRAM ログインモジュールを使用する場合はSCRAM を、SHA-512 ハッシュでSCRAM ログインモジュールを使用する場合はSCRAM-SHA-512 を指定します。
• User：認証を行うユーザー。
• Password：認証するユーザーのパスワード。

SSL クライアント証明書

SSL クライアント証明書を使用して認証するには、次のプロパティを設定します。

• AuthScheme：SSLCertificate。
• SSLClientCert：Apache Kafka Connector for CData Sync ブローカーへの接続に使用されるSSL クライアント証明書。
• SSLClientCertType：Apache Kafka Connector for CData Sync ブローカーへの接続に使用されるSSL クライアント証明書の形式：PEMKEY_FILE（デフォルト）、JKSFILE、またはPMKEY_BLOB。

Kerberos

Kerberos で認証するには、システムのKerberos 設定ファイルを指定する必要があります。 次のプロパティを設定します。

• AuthScheme：KERBEROS。
• KerberosServiceName：Kafka ブローカーのプリンシパル名。例えば、プリンシパルがkafka/[email protected] の場合、KerberosServiceName はkkafka です。

Kafka OpenID Connect

Sync App は、Apache Kafka クライアントライブラリによって提供される限定的なOAuth をサポートしています。 Azure Event Hubs やGCP Kafka に接続する認証スキームとは異なり、この認証スキームは特定の認証プロバイダー（IdP）に紐づいていません。 IdP がクライアント資格情報グラント種別をサポートし、アクセストークン形式としてJWT を使用することのみが必要です。 IdP がこれらの要件を満たす場合、Sync App で使用するためのOAuth アプリケーションをIdP に登録できます。

Note：IdP もApache Kafka ブローカーも、多様な方法で設定できます。 Sync App と接続する際は、双方の要件を理解している必要があります。 詳細については、Apache Kafka ブローカーとIdP のドキュメントを参照してください。

• 認証プロバイダー：IdP は通常、アプリケーションが認証を行う前に登録を要求します。 クライアント資格情報アプリケーションを登録すると、クライアントID、クライアントシークレット、およびこれらの値を受け入れるトークンURL が提供されます。 IdP は、Apache Kafka ブローカーが受け入れるアクセストークンを生成するために、特定のスコープも要求する場合があります。
• Apache Kafka Broker：Apache Kafka ブローカーは、アクセストークンを検証するための複数のオプションをサポートしています。 これらの中でSync App にとって最も重要なのは、アクセストークンに適用されるオーディエンス、発行者、署名鍵です。 アクセストークンが一致するオーディエンスや発行者を持たない場合、あるいは認識されない鍵で署名されている場合、ブローカーは接続を拒否します。 このような場合、ブローカーログを確認して検証に失敗した原因を特定する必要があります。 ブローカーはSync App に検証に失敗した理由を伝えないため、クライアントログの使用は限定的です。

認証するには、次のプロパティを設定します。

• AuthScheme：KafkaOAuthClient。
• OAuthAccessTokenURL：IdP がOAuth トークンリクエストを受け入れるURL。
• OAuthClientId：IdP に登録したアプリケーションのクライアントID。
• OAuthClientSecret：IdP に登録したアプリケーションのクライアントシークレット。
• Scope（オプション）：IdP が有効なアクセストークンを取得するために特定のスコープを要求する場合、ここで設定します。

Azure Event Hubs への接続

Sync App は、OAuth および共有アクセス署名を使用したAzure Event Hubs への接続をサポートします。 開始する前に、Event Hubs のネームスペースがKafka プロトコルを使用した接続をサポートしていることを確認してください。 Sync App ではこの機能を必須としており、価格体系によってはご利用いただけない場合があります。

以下で説明するスキーム固有のプロパティに加えて、Azure へのすべての接続で次のプロパティを設定する必要があります。

• BootstrapServers：mynamespace.servicebus.windows.net:9093。
• UseSSL：True。

Entra ID（Azure AD）

Note：Microsoft はAzure AD をEntra ID にリブランドしました。ユーザーがEntra ID 管理サイトを操作する必要があるトピックでは、Microsoft が使用している名称と同じものを使用します。ただし、名前または値が"Azure AD" を参照しているCData 接続プロパティは、依然として存在します。

Microsoft Entra ID は、マルチテナント型のクラウドベースのID およびアクセス管理プラットフォームです。 OAuth ベースの認証フローに対応しており、ドライバーによるApache Kafka エンドポイントへのセキュアなアクセスを実現します。

Web アプリケーションを介したEntra ID への認証には、必ずはじめにカスタムOAuth アプリケーションを作成して登録する必要があります。 これにより、アプリケーションは独自のリダイレクトURI を定義し、クレデンシャルのスコープを管理し、組織固有のセキュリティポリシーに準拠することができるようになります。

カスタムOAuth アプリケーションの作成および登録方法の詳細については、Entra ID（Azure AD）アプリケーションの作成 を参照してください。

AuthScheme をAzureAD に設定した後の認証手順は、環境によって異なります。 デスクトップアプリケーション、Web ベースのワークフロー、またはヘッドレスシステムから接続する方法の詳細については、以下のセクションを参照してください。

Azure サービスプリンシパル

Note：Microsoft はAzure AD をEntra ID にリブランドしました。ユーザーがEntra ID 管理サイトを操作する必要があるトピックでは、Microsoft が使用している名称と同じものを使用します。ただし、名前または値が"Azure AD" を参照しているCData 接続プロパティは、依然として存在します。

Azure サービスプリンシパルは、ロールに基づいたアプリケーションベースの認証です。これは、認証がユーザーごとではなく、アプリケーションごとに行われることを意味します。 アプリケーションで実行されるすべてのタスクは、デフォルトユーザーコンテキストなしで、割り当てられたロールに基づいて実行されます。 リソースへのアプリケーションのアクセスは、割り当てられたロールの権限によって制御されます。

Azure サービスプリンシパル認証の設定方法については、Entra ID（Azure AD）でのサービスプリンシパルアプリの作成 を参照してください。

Managed Service Identity (MSI)

Azure VM 上でApache Kafka を実行しており、マネージドID（MSI）認証情報を自動的に取得して接続したい場合は、AuthScheme を AzureMSI に設定します。

User-Managed Identities

マネージドID のトークンを取得するには、OAuthClientId プロパティを使用してマネージドID のclient_id を指定します。

VM に複数のユーザーが割り当てられたマネージドID がある場合は、OAuthClientId も指定する必要があります。

共有アクセス署名

Sync App は、共有アクセス署名を使用したパスワードベースの認証をサポートします。 共有シークレットを作成したら、以下のプロパティを設定します。

• AuthScheme：Plain。
• User：$ConnectionString。
• Password：Shared Access Policies 画面にあるEvent Hubs 接続文字列。

GCP Kafka への接続

Sync App は、Google Managed Service for Apache Kafka（GCP Kafka）への接続をサポートします。 GCP Kafka はOAuth 認証を使用し、サービスアカウント、GCP インスタンスアカウント、Workload Identity Federation をサポートしています。

GCP Kafka への接続はすべて、以下のプロパティを設定する必要があります。

• BootstrapServers：bootstrap.myclustername.myregion.managedkafka.mygcpproject.cloud.goog:9092。 この値は、Cluster Configuration ページのConfigurations タブに表示されます。
• UseSSL：True。

以下に説明する適切なスキーム固有のプロパティを設定すると、接続の準備が整います。

GCP Kafka への認証

GCP Kafka には、Google サービスアカウント、GCP インスタンスアカウント、またはWorkload Identity Federation 認証情報を使用して認証できます。

サービスアカウント

GCP Kafka はGoogle サービスアカウントでの認証をサポートしています。 このサービスアカウントには、Managed Kafka Client ロールが必要です。

サービスアカウント認証情報を、以下のプロパティとともにSync App に入力します。

• AuthScheme：OAuthJWT。
• OAuthJWTCertType：GOOGLEJSON。
• OAuthJWTCert：サービスアカウント認証情報を含むJSON ファイルのパス。

GCP インスタンスアカウント

GCP Kafka は、GCP インスタンスアカウントを使用した接続をサポートします。 このためには、Compute Engine インスタンスにManaged Kafka Client ロールを持つサービスアカウントが必要です。 インスタンスは、Cloud API Access Scopes 内のCloud Platform スコープを有効にする必要もあります。

GCP インスタンスアカウントを使用して接続するには、このプロパティを設定します。

• AuthScheme：GCPInstanceAccount。

Workload Identity Federation 認証情報

GCP Kafka は、Workload Identity Federation 認証情報を使用した接続をサポートします。 ただし、RequestingServiceAccount プロパティによる委任によってのみ、これらのアカウントをサポートします。 通常のサービスアカウントと同様に、委任されたサービスアカウントには、Managed Kafka Client ロールが必要です。

Workload Identity Federation 認証情報を使用して接続するには、以下のプロパティを設定します。

• AuthScheme：AWSWorkloadIdentity。
• AWSWorkloadIdentityConfig：これは、AWS への認証方法に依存します。
• RequestingServiceAccount：AWS プリンシパルが委任できるサービスアカウントのE メールアドレス。

このセクションでは、Apache Kafka Sync App の高度な機能を厳選して説明します。

ユーザー定義ビュー

Sync App はユーザー定義ビューの使用をサポートします。これは事前設定されたユーザー定義クエリによって内容が決定される仮想テーブルです。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。

SSL の設定

SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。詳しくは、「接続文字列オプション」にあるSSLServerCert プロパティを参照してください。

ファイアウォールとプロキシ

Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。

クエリ処理

Sync App は、Apache Kafka にできるだけ多くのSELECT ステートメント処理をオフロードし、残りのクエリをクライアント側のインメモリで処理します。

詳しくは、クエリ処理 を参照してください。

ログ

CData ログを調整するために使用可能な設定の概要については、ログ を参照してください。基本的なロギングに必要なのは2つの接続プロパティだけですが、より詳細なロギングをサポートする多くの機能があり、LogModules 接続プロパティを使用してロギングする情報のサブセットを指定することができます。

SSL 設定のカスタマイズ

To enable TLS, set UseSSL to True.

With this configuration, the Sync App attempts to negotiate TLS with the server. The server certificate is validated against the default system trusted certificate store. You can override how the certificate gets validated using the SSLServerCert connection property.

別の証明書を指定するには、SSLServerCert 接続プロパティを参照してください。

クライアントSSL 証明書

Apache Kafka Sync App はクライアント証明書の設定もサポートしています。次を設定すれば、クライアント証明書を使って接続できます。

• SSLClientCert：クライアント証明書のための証明書ストア名。
• SSLClientCertType：TLS / SSL クライアント証明書を格納するキーストアの種類。
• SSLClientCertPassword：TLS / SSL クライアント証明書のパスワード。
• SSLClientCertSubject：TLS / SSL クライアント証明書のサブジェクト。

Firewall またはProxy 経由の接続

HTTP プロキシ

HTTP プロキシへの認証には、以下のように設定します。

• ProxyServer：HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
• ProxyPort：プロキシサーバーが起動しているTCP ポート。
• ProxyAuthScheme：プロキシサーバーに対して認証する際にSync App が使用する認証方法。
• ProxyUser：プロキシサーバーに登録されているユーザーアカウントのユーザー名。
• ProxyPassword：ProxyUser に紐付けられたパスワード。

その他のプロキシ

次のプロパティを設定します。

• プロキシベースのファイヤーウォールを使用するには、FirewallType、FirewallServer、およびFirewallPort を設定します。
• 接続をトンネルするには、FirewallType をTUNNEL に設定します。
• 認証するには、FirewallUser とFirewallPassword を設定します。
• SOCKS プロキシへの認証には、さらにFirewallType をSOCKS5 に設定します。

Tables

The CData Sync App dynamically models Apache Kafka topics as tables. A complete list of discovered topics can be obtained from the sys_tables system table.

SELECTing from a topic returns existing messages on the topic, as well as live messages posted before the number of seconds specified by the ReadDuration have elapsed.

Stored Procedures

ストアドプロシージャ are function-like interfaces to Apache Kafka. They can be used to create schema files, commit messages, and more.

Consumer Groups

Connections that the Sync App makes to Apache Kafka are always part of a consumer group. You can control the consumer group by setting a value for the ConsumerGroupId connection property. Using the same consumer group ID across multiple connections puts those connections into the same consumer group. The Sync App generates a random consumer group ID if one is not provided.

All members of a consumer group share an offset that determines what messages are read next within each topic and partition. The Sync App supports two ways of updating the offset:

• If AutoCommit is enabled, the Sync App periodically commits the offset for any topics and partitions that have been read by SELECT queries. The exact interval is determined by the auto-commit properties in the native library. See ConsumerProperties for details on how to configure these properties.
• The CommitOffset stored procedure stores the offset of the last item read by the current query. Note that this must be called while the query resultset is still open. The Sync App resets the offset when the resultset is closed.

If there is no existing offset, the Sync App uses the OffsetResetStrategy to determine what the offset should be. This may happen if the broker does not recognize the consumer group or if the consumer group never committed an offset.

Bulk Messages

The Sync App supports reading bulk messages from topics using the CSV, JSON, or XML SerializationFormat. When the Sync App reads CSV data like the following block, it splits the CSV and outputs each line as a separate row. The values of other columns like the partition, timestamp, and key are the same across each row.

"1","alpha"
"2","beta"
"3","gamma"

Bulk messages are not supported for key values. When MessageKeyType is set to a bulk format, the Sync App reads only the first row of the key and ignore the rest. For example, when the Sync App reads the above CSV data as a message key, the entries on the alpha row are repeated across every bulk row from the message value. The entries on the beta and gamma rows are lost.

Bulk Limitations

Apache Kafka does not natively support bulk messages, which can lead to rows being skipped in some circumstances. For example:

1. A Sync App connection is created with ConsumerGroupId=x
2. The connection executes the query SELECT * FROM topic LIMIT 3.
3. The connection commits its offset and closes.
4. Another connection is created with the same ConsumerGroupId
5. The connection executes the query SELECT * FROM topic.

Consider what happens if this procedure is performed on the following topic. The first connection consumes all rows from the first message and one row from the second. However, the Sync App has no way to report to Apache Kafka that only part of the second message was read. This means that step 3 commits the offset 3 and the second connection starts on row 5, skipping row 4.

"row 1"
"row 2"
/* End of message 1 */

"row 3"
"row 4"
/* End of message 2 */

"row 5"
"row 6"
/* End of message 3 */

ストアドプロシージャはファンクションライクなインターフェースで、Apache Kafka の単純なSELECT/INSERT 処理にとどまらずSync App の機能を拡張します。

ストアドプロシージャは、パラメータのリストを受け取り、目的の機能を実行し、プロシージャが成功したか失敗したかを示すとともにApache Kafka から関連するレスポンスデータを返します。

Apache Kafka Connector for CData Sync ストアドプロシージャ

Name	Description
CommitOffset	Commits the current set of message offsets for a specified consumer group. This stored procedure ensures that consumed messages are marked as processed within Kafka, preventing the same records from being read again when the consumer resumes operation.
CreateTopic	Creates a new topic on the Kafka broker. This stored procedure allows you to define key topic parameters (for example, the number of partitions and replication factor) and initialize new message streams for publishing and consumption.
DeleteTopic	Deletes an existing topic from the Kafka broker. This stored procedure permanently removes the topic and all of its messages, so it should be used with caution in production environments.
GetAdminConsentURL.rsb	Specifies any additional parameters that are required by the authorization request. These parameters are passed directly to the OAuth authorization endpoint.
ProduceMessage	Publishes a raw message to a specified Kafka topic. This stored procedure enables data producers to send serialized message payloads (for example, JSON or Avro) directly into the message stream for downstream consumers to process.

Commits the current set of message offsets for a specified consumer group. This stored procedure ensures that consumed messages are marked as processed within Kafka, preventing the same records from being read again when the consumer resumes operation.

Result Set Columns

Name	Type	Description
Success	String	Specifies whether the offset commit operation is successful. This output returns a value of 'true' when the stored procedure successfully commits the consumer group offsets to Kafka, and a value of 'false' when the commit fails due to connection issues or broker errors.

Creates a schema definition that maps a Kafka topic to a relational table structure. This stored procedure is typically used to establish a structured representation of message data so that the topic can be queried or transformed using SQL-like operations.

CreateSchema

データモデル内の既存のテーブルまたはビューからローカルスキーマファイル（.rsd）を作成します。

スキーマファイルは、このプロシージャが実行されると、Location 接続プロパティで設定されたディレクトリに作成されます。ファイルを編集してカラムを含めたり除外したり、カラム名を変更したり、カラムのデータ型を変更したりできます。

Sync App はLocation を確認し、.rsd ファイルの名前がデータモデルのテーブルまたはビューに一致するかどうかを判断します。重複がある場合、スキーマファイルはデータモデル内のこのテーブルのデフォルトインスタンスよりも優先されます。既存のテーブルまたはビューに一致しないスキーマファイルがLocation に存在する場合、新しいテーブルまたはビューのエントリがSync App のデータモデルに追加されます。

Input

Name	Type	Required	Description
TableName	String	True	Specifies the name of the table for which the schema definition is created. This input determines the table structure that the stored procedure uses to generate the corresponding schema file.
FileName	String	False	Specifies the full file path and name of the schema file to generate (for example, 'C:\\Users\\User\\Desktop\\ApacheKafka\\company.rsd'). This input is required when you want the generated schema to be saved directly to a file.

Result Set Columns

Name	Type	Description
Result	String	Returns a value of 'true' when the stored procedure successfully generates and writes the schema and a value of 'false' when the operation fails due to missing parameters or write-access issues.
FileData	String	Returns the generated schema definition in Base64-encoded format. This output is populated only when the FileName and FileStream inputs are not provided, allowing the schema to be retrieved directly from the stored procedure response.

Creates a new topic on the Kafka broker. This stored procedure allows you to define key topic parameters (for example, the number of partitions and replication factor) and initialize new message streams for publishing and consumption.

Input

Name	Type	Required	Description
Topic	String	True	Specifies the name of the Kafka topic to create. This input defines the identifier for the new message stream that producers can publish to and consumers can subscribe to after creation.
Partitions	String	True	Specifies the number of partitions to assign to the topic. This value determines how message data is distributed across brokers and affects parallel processing and scalability.
ReplicationFactor	String	True	Specifies the number of replicas that are maintained for each partition. The value cannot exceed the number of brokers in the Kafka cluster, and it determines the level of fault tolerance and data redundancy.

Result Set Columns

Name	Type	Description
Success	String	Returns a value of 'true' when the stored procedure successfully creates the Kafka topic and a value of 'false' when the operation fails because of configuration or broker-level errors.

Deletes an existing topic from the Kafka broker. This stored procedure permanently removes the topic and all of its messages, so it should be used with caution in production environments.

Input

Name	Type	Required	Description
Topic	String	True	Specifies the name of the Kafka topic to delete. This input identifies the message stream that is permanently removed from the Kafka broker, including all associated partitions and stored data.

Result Set Columns

Name	Type	Description
Success	String	Returns a value of 'true' when the stored procedure successfully deletes the specified Kafka topic and a value of 'false' when the deletion fails because of permission restrictions or broker-level errors.

Specifies any additional parameters that are required by the authorization request. These parameters are passed directly to the OAuth authorization endpoint.

Input

Name	Type	Required	Description
CallbackUrl	String	False	Specifies the URL to which the user is redirected after authorizing the application. This value must match the Reply URL that is defined in the Azure Active Directory application settings.
State	String	False	Specifies the same state value that is sent when the application requests the authorization code. This input is used to maintain request integrity and to prevent cross-site request forgery (CSRF) attacks during the OAuth process.

Result Set Columns

Name	Type	Description
URL	String	Returns the administrator consent URL that must be entered in a web browser to obtain the verifier token and authorize the application for domain-level access.

Gets an OAuth authentication token.

Input

Name	Type	Required	Description
AuthMode	String	False	The type of authentication mode to use. Select APP for getting authentication tokens via a desktop app. Select WEB for getting authentication tokens via a Web app. 使用できる値は次のとおりです。APP, WEB デフォルト値はWEBです。
Verifier	String	False	The verifier returned after the user has authorized your app to have access to their data. This value will be returned as a parameter to the callback URL.
CallbackURL	String	False	Determines where the response is sent.
State	String	False	Indicates any state which may be useful to your application upon receipt of the response. Your application receives the same value it sent, as this parameter makes a round-trip to the authorization server and back. Uses include redirecting the user to the correct resource in your site, nonces, and cross-site-request-forgery mitigations.

Result Set Columns

Name	Type	Description
OAuthAccessToken	String	The access token used for communication with the API.
OAuthRefreshToken	String	The refresh access token used to refresh your connection.
ExpiresIn	String	The lifetime of the access token, in seconds.

Gets the authorization URL that must be opened separately by the user to grant access to your application. You will request the OAuthAccessToken from this URL.

Input

Name	Type	Required	Description
CallbackURL	String	False	Determines where the response is sent. The value of this parameter must exactly match one of the values registered in the APIs Console (including the HTTP or HTTPS schemes, capitalization, and trailing '/').
State	String	False	Indicates any state which may be useful to your application upon receipt of the response. Your application receives the same value it sent, as this parameter makes a round-trip to the Google authorization server and back. Uses include redirecting the user to the correct resource in your site, nonces, and cross-site-request-forgery mitigations.

Result Set Columns

Name	Type	Description
URL	String	The authorization URL, entered into a Web browser to obtain the verifier token and authorize your app.

Publishes a raw message to a specified Kafka topic. This stored procedure enables data producers to send serialized message payloads (for example, JSON or Avro) directly into the message stream for downstream consumers to process.

Minimum Required Inputs

When producing a message, only the Topic input is required:

EXEC ProduceMessage Topic = 'mytopic'

The other properties have the following default behaviors:

• Partition: The native library determines the partition automatically, taking into account any relevant options from ProducerProperties.
• KeyText and KeyBytes: If neither of these is provided, the Sync App produces a message without a key.
• MessageText and MessageBytes: If neither of these is provided, the Sync App produces a message without any content.

Omitting the key or message content may make the message unreadable with certain Sync App settings. For example, setting MessageKeyType to integer may cause read failures with messages that have no keys. TypeDetectionScheme MessageOnly and MessageKeyType Binary are recommended if you need to read messages containing arbitrary content or keys.

KeyText/KeyBytes and MessageText/MessageBytes

The key and message can each be provided either as text or base64-encoded strings. KeyBytes and MessageBytes accept base64-encoded strings. The Sync App decodes these values into bytes before sending the message to Kafka.

KeyText and MessageText accept any text. The Sync App encodes these values as UTF-8 before sending the message to Kafka.

For example, the following statement inserts a message with no key and content that is a single NUL byte:

EXEC ProduceMessage Topic = 'mytopic', MessageBytes = 'AA=='

Input

Name	Type	Required	Description
Topic	String	True	Specifies the Kafka topic that contains the message. This input identifies the message stream to which the data record is published.
Partition	String	False	Specifies the partition that the message is assigned to. The partition value must be valid for the specified topic. The native Kafka client automatically assigns a partition when this input is not set.
KeyText	String	False	Specifies the message key that is provided as readable text. The KeyText input defines the human-readable key portion of the Kafka message that determines how messages are partitioned. The value is encoded as UTF-8 before it is sent to Kafka. Do not set KeyText when KeyBytes input is provided.
KeyBytes	String	False	Specifies the message key that is provided as a Base64-encoded binary string. The KeyBytes input defines the binary representation of the same logical key as the KeyText parameter and is used when the key must preserve exact byte content (for example, hashed or serialized identifiers). Do not set KeyBytes when KeyText input is provided.
MessageText	String	False	Specifies the message value that is provided as readable text. The MessageText input defines the human-readable content of the Kafka message that is sent to the specified topic. The value is encoded as UTF-8 before it is sent to Kafka. Do not set MessageText when MessageBytes input is provided. The MessageBytes input represents the same message value in Base64-encoded binary format.
MessageBytes	String	False	Specifies the message value that is provided as a Base64-encoded binary string. The MessageBytes input defines the binary representation of the same message value as the MessageText input parameter and is used when the message content must preserve exact byte content (for example, serialized, compressed, or non-text data). Do not set MessageBytes when the MessageText input is provided.
Message	String	False	Indicates a deprecated input that functions the same as MessageBytes. This input is used only when MessageBytes is not provided. Both MessageBytes and Message input parameters must be omitted to send a message with no content.

Result Set Columns

Name	Type	Description
PartitionWritten	Int	Returns the partition that the message is written to. The value is identical to the Partition input when that parameter is specified.
OffsetWritten	Long	Returns the offset position within the partition where the message is written. This value enables message retrieval or replay from a specific point in the stream.
TimestampWritten	Long	Returns the UNIX timestamp that represents the exact instant when the message is committed to the partition.
KeyWritten	String	Returns the Base64-encoded data of the key that is written. This output is null when neither KeyText nor KeyBytes is provided.
MessageWritten	String	Returns the Base64-encoded data of the message value that is written. This output is null when neither MessageText nor MessageBytes is provided.
Success	Bool	Returns a value of 'true' when the stored procedure successfully writes the message to Kafka and a value of 'false' when the operation fails due to invalid parameters or broker-level errors.

Exchanges a access token for a new access token.

Input

Name	Type	Required	Description
OAuthRefreshToken	String	True	The refresh token returned from the original authorization code exchange.

Result Set Columns

Name	Type	Description
OAuthAccessToken	String	The access token used for communication with the API.
OAuthRefreshToken	String	The refresh access token used to refresh your connection.
ExpiresIn	String	The lifetime of the access token, in seconds.

接続文字列プロパティは、接続を確立するために使用できるさまざまなオプションです。このセクションでは、本プロバイダーの接続文字列で設定できるオプションの一覧を示します。詳細については各リンクをクリックしてください。

接続を確立する方法について詳しくは、接続の確立を参照してください。

Authentication

---

プロパティ	説明
AuthScheme	Specifies the authentication scheme that the provider uses when connecting to the Apache Kafka broker.
User	Specifies the username used to authenticate to the Apache Kafka broker.
Password	Specifies the password used to authenticate to Apache Kafka for the selected authentication scheme.
BootstrapServers	Specifies the Kafka bootstrap servers that the provider uses to establish the initial connection to the Kafka cluster.
UseSSL	Specifies whether the provider negotiates SSL/TLS when connecting to the Apache Kafka broker.

Connection

---

プロパティ	説明
ConsumerGroupId	Specifies the consumer group that the provider uses when reading messages from Apache Kafka.
AutoCommit	Specifies whether the Apache Kafka consumer automatically commits read offsets.

Azure Authentication

---

プロパティ	説明
AzureTenant	データにアクセスするために使用されているApache Kafka テナントを識別します。テナントのドメイン名（例： contoso.onmicrosoft.com ）またはディレクトリ（テナント）ID のいずれかを受け付けます。
AzureResource	認証するAzure Active リソース（Azure OAuth 交換時に使用されます）。

OAuth

---

プロパティ	説明
OAuthClientId	カスタムOAuth アプリケーションに割り当てられたクライアントID（コンシューマーキーとも呼ばれます）を指定します。このID は、認証時にOAuth 認可サーバーにアプリケーションを識別させるために必要です。
OAuthClientSecret	カスタムOAuth アプリケーションに割り当てられたクライアントシークレットを指定します。この機密情報は、OAuth 認可サーバーに対してアプリケーションを認証するために使用されます。（カスタムOAuth アプリケーションのみ）
DelegatedServiceAccounts	委任されたリクエストのためのサービスアカウントE メールをスペース区切りで指定します。
RequestingServiceAccount	委任されたリクエストを行うためのサービスアカウントのE メールを指定します。
Scope	Specifies the scopes to request when obtaining an OAuth token from the OIDC token endpoint.
OAuthAccessTokenURL	OAuth アクセストークンを取得するURL。

JWT OAuth

---

プロパティ	説明
OAuthJWTCert	クライアント証明書のJWT 証明書ストアの名前を指定します。
OAuthJWTCertType	JWT 証明書を格納しているキーストアの種類を指定します。
OAuthJWTCertPassword	パスワードで保護された証明書ストアにアクセスするために使用されるOAuth JWT 証明書のパスワードを指定します。証明書ストアがパスワードを必要としない場合は、このプロパティを空白のままにします。
OAuthJWTCertSubject	ストアで一致する証明書を検索するために使用される、OAuth JWT 証明書のサブジェクトを指定します。部分一致と、先頭の証明書を選択するためのワイルドカード '*' をサポートします。

Kerberos

---

プロパティ	説明
KerberosKeytabFile	Specifies the path to the keytab file that contains the Kerberos principals and encrypted keys used for authentication.
KerberosSPN	Specifies the full Kerberos service principal name (SPN) of the Kafka broker.
KerberosServiceName	Specifies the Kerberos service name used when authenticating to the Kafka broker.
UseKerberosTicketCache	Specifies whether the provider uses the Kerberos ticket cache for authentication instead of a keytab file.

SSL

---

プロパティ	説明
SSLServerCert	Specifies the SSL server certificate or certificate store used to verify the identity of the Apache Kafka broker.
SSLServerCertType	Specifies the format of the SSL server certificate used to verify the Apache Kafka broker.
SSLClientCert	Specifies the SSL client certificate used to authenticate with the Apache Kafka broker.
SSLClientCertType	Specifies the format of the SSL client certificate used to connect to the Apache Kafka broker.
SSLClientCertPassword	Specifies the password used to decrypt the certificate provided in SSLClientCert .
SSLIdentificationAlgorithm	Specifies the endpoint identification algorithm used to validate the server host name during SSL/TLS connections.

Schema Registry

---

プロパティ	説明
RegistryURL	Specifies the endpoint of the schema registry. When this property is specified, the driver supports reading Avro and JSON schemas from the server.
RegistryService	Specifies the schema registry service that the provider uses to retrieve key and value schemas for Apache Kafka topics.
RegistryAuthScheme	Specifies the authentication scheme that the provider uses when connecting to the schema registry.
RegistryUser	Specifies the user name used when authenticating to the schema registry with the Basic authentication scheme.
RegistryPassword	Specifies the password used when authenticating to the schema registry with the Basic authentication scheme.
RegistryClientCert	The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.
RegistryClientCertType	Specifies the type of key store used by the TLS/SSL client certificate given in RegistryClientCert .
RegistryClientCertPassword	Specifies the password for the client certificate store defined in RegistryClientCert.
RegistryClientCertSubject	Specifies the subject of the client certificate to select from the certificate store defined in RegistryClientCert.
RegistryVersion	Specifies which version of a schema the provider retrieves from the schema registry when resolving topic columns.
RegistryServerCert	The certificate to be accepted from the schema registry when connecting using TLS/SSL.
SchemaMergeMode	Specifies how the provider exposes schemas with multiple versions.

Firewall

---

プロパティ	説明
FirewallType	provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
FirewallServer	ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
FirewallPort	プロキシベースのファイアウォールで使用するTCP ポートを指定します。
FirewallUser	プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
FirewallPassword	プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

Proxy

---

プロパティ	説明
ProxyAutoDetect	provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
ProxyServer	HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレスを指定します。
ProxyPort	クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバーのTCP ポートを指定します。
ProxyAuthScheme	ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
ProxyUser	ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名を提供します。
ProxyPassword	ProxyUser 接続プロパティで指定されたユーザーのパスワードを指定します。
ProxySSLType	ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプを指定します。
ProxyExceptions	ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリストを指定します。

Logging

---

プロパティ	説明
LogModules	ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

Schema

---

プロパティ	説明
Location	テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
BrowsableSchemas	レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tables	レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
Views	レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

Miscellaneous

---

プロパティ	説明
AllowKeyOnlyRegistryTopics	Specifies whether the provider exposes key-only Schema Registry topics as tables.
AWSWorkloadIdentityConfig	AWS 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。
AzureWorkloadIdentityConfig	Azure 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。
CompressionType	Specifies the compression algorithm that the provider uses when producing messages to Apache Kafka.
ConsumerProperties	Specifies additional Kafka consumer configuration options that the provider passes directly to the underlying Kafka client.
CreateTablePartitions	Specifies the number of partitions to assign to a topic created through a CREATE TABLE statement.
CreateTableReplicationFactor	Specifies the the number of replicas to assign to a topic created through a CREATE TABLE statement.
EnableIdempotence	Specifies whether the provider ensures that produced messages are delivered in order and without duplicates.
ExposeQueueMetadataColumns	Specifies whether the Partition, Offset, and Timestamp columns are exposed.
FlattenArrays	Specifies how many elements to return from nested arrays when TypeDetectionScheme is set to SchemaRegistry.
GenerateSchemaFiles	スキーマを生成して保存するユーザーの好みのタイミングを示します。
HideUnusedColumns	Determines whether to hide key or value colums when the topic has no associated schema information.
MaximumBatchSize	Specifies the maximum size, in bytes, of a batch of messages that the provider gathers before sending the batch to Apache Kafka.
MaxRows	集計やGROUP BY を含まないクエリで返される最大行数を指定します。
MessageKeyColumn	Specifies the name of the column where the provider stores the message key for each record.
MessageKeyType	The type of data stored in message keys.
NonRegistryTypeDetectionScheme	Specifies the TypeDetectionScheme to use for topics that do not have schemas in the schema registry.
OffsetResetStrategy	Specifies how the provider determines the starting offset when no committed offset exists for the consumer group.
Other	特定の問題に対処するため、特殊なシナリオ向けの高度な接続プロパティを指定します。このプロパティは、サポートチームの指示がある場合にのみ使用してください。
Pagesize	Specifies the maximum number of rows that the provider retrieves from Apache Kafka in a single read operation.
ProducerProperties	Specifies additional Apache Kafka producer configuration options that the provider passes directly to the client.
PseudoColumns	テーブルカラムとして公開する擬似カラムを、'TableName=ColumnName;TableName=ColumnName' の形式の文字列で指定します。
ReadDuration	Specifies how long, in seconds, the provider waits for additional messages after a read operation begins.
RowScanDepth	Specifies the maximum number of messages that the provider scans to determine the columns and data types for a topic.
SASLOAuthExtensions	Specifies the extension values to send with OAuth auth schemes.
SchemaRegistryOnly	Specifies whether the provider connects only to the schema registry.
SerializationFormat	Specifies how to serialize/deserialize message contents.
Timeout	provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。
TypeDetectionScheme	Specifies how the provider determines the available fields and data types for each topic.
UseConfluentAvroFormat	Specifies how Avro data should be formatted during an INSERT.
UserDefinedViews	カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
ValidateRegistryTopics	Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry
WorkloadPoolId	Workload Identity Federation プールのID。
WorkloadProjectId	Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。
WorkloadProviderId	Workload Identity Federation プールプロバイダーのID。

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。

---

プロパティ	説明
AuthScheme	Specifies the authentication scheme that the provider uses when connecting to the Apache Kafka broker.
User	Specifies the username used to authenticate to the Apache Kafka broker.
Password	Specifies the password used to authenticate to Apache Kafka for the selected authentication scheme.
BootstrapServers	Specifies the Kafka bootstrap servers that the provider uses to establish the initial connection to the Kafka cluster.
UseSSL	Specifies whether the provider negotiates SSL/TLS when connecting to the Apache Kafka broker.

Specifies the authentication scheme that the provider uses when connecting to the Apache Kafka broker.

解説

Authentication requirements vary by Kafka deployment. The Sync App supports several authentication schemes used by self-managed Kafka clusters, cloud-managed Kafka services, and Schema Registry environments. The schemes listed below determine how the Sync App obtains credentials and establishes a secure connection to the broker.

Supported schemes for Apache Kafka:

Scheme	Description
None	Connects without authentication. No credentials are required.
Plain	Authenticates using a plain text login module. Requires User and Password.
SCRAM	Authenticates using a SCRAM login module with SHA-256 hashing.
SCRAM-SHA-512	Authenticates using a SCRAM login module with SHA-512 hashing.
Kerberos	Use Kerberos authentication. Requires a Kerberos configuration file and relevant Kerberos properties.
SSLCertificate	Authenticates using an SSL client certificate.
KafkaOAuthClient	Authenticates using Kafka's native OpenID Connect (KIP-768) authentication with the client credentials grant type. Note: This does not use the Sync App's built-in support for OAuth like the Azure and OAuthJWT authentication methods do. Only the OAuthClientId, OAuthClientSecret, OAuthAccessTokenURL, and Scope properties have any effect on the behavior of this scheme. Use ConsumerProperties and ProducerProperties to provide advanced configuration.
AzureAD	Authenticates using Azure Active Directory OAuth.
AzureMSI	Obtains Managed Service Identity credentials automatically when running on an Azure VM.
AzureServicePrincipal	Authenticates as an Azure Service Principal using a client secret.
AzureServicePrincipalCert	Authenticates as an Azure Service Principal using a certificate.
OAuthJWT	Authenticates using an OAuth service account with JWT-based credential flow.
GCPInstanceAccount	Authenticates using an access token obtained from a Google Cloud instance.
AWSWorkloadIdentity	Authenticates using AWS Workload Identity Federation.

Schemes for authenticating to Azure Event Hubs:

AzureAD	Authenticates using Azure Active Directory OAuth.
AzureMSI	Obtains Managed Service Identity credentials automatically when running on an Azure VM.
AzureServicePrincipal	Authenticates as an Azure Service Principal using a client secret.
AzureServicePrincipalCert	Authenticates as an Azure Service Principal using a certificate.

Schemes for authenticating to GMS Kafka:

OAuthJWT	Authenticates using an OAuth service account.
GCPInstanceAccount	Authenticates using a Google Cloud instance account.
AWSWorkloadIdentity	Authenticates using AWS Workload Identity Federation. GMS Kafka does not allow external principals to authenticate directly, so you must delegate authentication to a service account using the RequestingServiceAccount property.

Specifies the username used to authenticate to the Apache Kafka broker.

解説

When using an authentication scheme that requires credentials, this property provides the username associated with the connection. If this property is left blank, the Sync App attempts an unauthenticated connection, which will fail unless the broker allows anonymous access.

Specifies the password used to authenticate to Apache Kafka for the selected authentication scheme.

解説

This property is required when using the Plain, SCRAM, or SCRAM-SHA-512 authentication schemes. If this property is not set when one of these schemes is selected, the connection will fail during authentication.

Specifies the Kafka bootstrap servers that the provider uses to establish the initial connection to the Kafka cluster.

解説

Specify each server using a hostname or IP address followed by a port number. For example: 10.1.2.3:9092. You may provide multiple comma-separated addresses. The connection succeeds as long as the Sync App can reach at least one of the listed servers.

Kafka bootstrap servers are not responsible for all messaging traffic. They are used only to retrieve metadata, after which the Sync App connects to the appropriate brokers in the cluster.

If you are connecting to Confluent Cloud, the bootstrap server address is available in the Cluster settings.

Specifies whether the provider negotiates SSL/TLS when connecting to the Apache Kafka broker.

解説

This option is enabled automatically when AuthScheme is set to SSL.

このセクションでは、本プロバイダーの接続文字列で設定可能なConnection プロパティの全リストを提供します。

---

プロパティ	説明
ConsumerGroupId	Specifies the consumer group that the provider uses when reading messages from Apache Kafka.
AutoCommit	Specifies whether the Apache Kafka consumer automatically commits read offsets.

Specifies the consumer group that the provider uses when reading messages from Apache Kafka.

解説

A consumer group is a logical identifier that Kafka uses to track committed offsets and coordinate message consumption across multiple consumers. All consumers that share the same group ID use the same committed offsets and divide message processing among themselves.

If this property is not specified, the Sync App generates a unique random group ID for each connection. In this mode, offsets are not shared across connections, and each connection reads messages independently of others. Set this property when you want multiple connections or applications to share the same committed offsets, or when you are using features that depend on offset tracking, such as AutoCommit.

Specifies whether the Apache Kafka consumer automatically commits read offsets.

解説

By default, the Sync App does not commit read offsets unless you invoke CommitOffset. When an offset is committed for a topic, the Sync App starts reading from that offset in future queries until the next call to CommitOffset. If no offsets are committed, each query begins reading from the position determined by OffsetResetStrategy.

When set to true, the Sync App commits offsets periodically and also at the end of each SELECT query. This causes each SELECT query to consume the messages it reads, preventing future queries in the same consumer group from returning those messages. A ConsumerGroupId is required because the committed offset is shared across the consumer group, allowing later connections with the same group ID to use the same offsets.

Consider the following when enabling AutoCommit:

• Queries with OFFSET: Some queries may consume more messages than they return. For example, a SELECT query with an OFFSET clause consumes messages up to the specified offset and then returns rows after that point. Messages consumed to satisfy the OFFSET are discarded and cannot be read again within the same consumer group.
• TypeDetectionScheme Behavior: The None and RowScan options in TypeDetectionScheme perform internal reads on the topic to identify available columns. Because AutoCommit relies on periodic commits performed by the underlying Apache Kafka client, offsets may be committed during these internal reads. To avoid this, use SchemaRegistry or MessageOnly in TypeDetectionScheme.
• Message-Based Offsets: AutoCommit operates on messages, not rows. Some SerializationFormat options can read multiple rows from a single Kafka message, such as when a Kafka message contains a JSON array. If a SELECT query reads only a subset of rows from that message, Kafka treats the entire message as consumed, meaning any unread rows within that message are discarded.

このセクションでは、本プロバイダーの接続文字列で設定可能なAzure Authentication プロパティの全リストを提供します。

---

プロパティ	説明
AzureTenant	データにアクセスするために使用されているApache Kafka テナントを識別します。テナントのドメイン名（例： contoso.onmicrosoft.com ）またはディレクトリ（テナント）ID のいずれかを受け付けます。
AzureResource	認証するAzure Active リソース（Azure OAuth 交換時に使用されます）。

データにアクセスするために使用されているApache Kafka テナントを識別します。テナントのドメイン名（例： contoso.onmicrosoft.com ）またはディレクトリ（テナント）ID のいずれかを受け付けます。

解説

テナントとは、Microsoft Entra ID（旧称：Azure AD）を通じて管理される、組織のユーザーやリソースのためのデジタルコンテナです。 各テナントには一意のディレクトリID が関連付けられており、多くの場合、カスタムドメイン（例：microsoft.com やcontoso.onmicrosoft.com）も関連付けられています。

Microsoft Entra 管理センターでディレクトリ（テナント）ID を確認するには、Microsoft Entra ID -> プロパティに移動し、「ディレクトリ（テナント）ID」と表示されている値をコピーします。

このプロパティは以下の場合に必要です。

• AuthScheme がAzureServicePrincipal またはAzureServicePrincipalCert に設定されている場合
• AuthScheme がAzureAD で、ユーザーアカウントが複数のテナントに属している場合

テナントの値は、2つの形式のいずれかで指定できます。

• ドメイン名（例：contoso.onmicrosoft.com）
• GUID 形式のディレクトリ（テナント）ID（例：c9d7b8e4-1234-4f90-bc1a-2a28e0f9e9e0）

テナントを明示的に指定することで、認証リクエストが正しいディレクトリにルーティングされるようになります。これは、ユーザーが複数のテナントに所属している場合や、サービスプリンシパルベースの認証を使用する場合に特に重要です。

この値が必要な場面で省略されると、認証に失敗したり、誤ったテナントに接続されたりする可能性があります。その結果、認可されていないまたはリソースが見つからないといったエラーが発生する可能性があります。

テナントとは、Microsoft Entra ID（旧称：Azure AD）を通じて管理される、組織のユーザーやリソースのためのデジタルコンテナです。 各テナントには一意のディレクトリID が関連付けられており、多くの場合、カスタムドメイン（例：microsoft.com やcontoso.onmicrosoft.com）も関連付けられています。

Microsoft Entra 管理センターでディレクトリ（テナント）ID を確認するには、Microsoft Entra ID -> プロパティに移動し、「ディレクトリ（テナント）ID」と表示されている値をコピーします。

このプロパティは以下の場合に必要です。

• AuthScheme がAzureServicePrincipal またはAzureServicePrincipalCert に設定されている場合
• AuthScheme がAzureAD で、ユーザーアカウントが複数のテナントに属している場合

テナントの値は、2つの形式のいずれかで指定できます。

• ドメイン名（例：contoso.onmicrosoft.com）
• GUID 形式のディレクトリ（テナント）ID（例：c9d7b8e4-1234-4f90-bc1a-2a28e0f9e9e0）

テナントを明示的に指定することで、認証リクエストが正しいディレクトリにルーティングされるようになります。これは、ユーザーが複数のテナントに所属している場合や、サービスプリンシパルベースの認証を使用する場合に特に重要です。

この値が必要な場面で省略されると、認証に失敗したり、誤ったテナントに接続されたりする可能性があります。その結果、認可されていないまたはリソースが見つからないといったエラーが発生する可能性があります。

認証するAzure Active リソース（Azure OAuth 交換時に使用されます）。

解説

Azure OAuth を使用する場合は、リソースを指定する必要があります。 Web API（セキュアリソース）のApp Id URI に設定されなければなりません。

このセクションでは、本プロバイダーの接続文字列で設定可能なOAuth プロパティの全リストを提供します。

---

プロパティ	説明
OAuthClientId	カスタムOAuth アプリケーションに割り当てられたクライアントID（コンシューマーキーとも呼ばれます）を指定します。このID は、認証時にOAuth 認可サーバーにアプリケーションを識別させるために必要です。
OAuthClientSecret	カスタムOAuth アプリケーションに割り当てられたクライアントシークレットを指定します。この機密情報は、OAuth 認可サーバーに対してアプリケーションを認証するために使用されます。（カスタムOAuth アプリケーションのみ）
DelegatedServiceAccounts	委任されたリクエストのためのサービスアカウントE メールをスペース区切りで指定します。
RequestingServiceAccount	委任されたリクエストを行うためのサービスアカウントのE メールを指定します。
Scope	Specifies the scopes to request when obtaining an OAuth token from the OIDC token endpoint.
OAuthAccessTokenURL	OAuth アクセストークンを取得するURL。

カスタムOAuth アプリケーションに割り当てられたクライアントID（コンシューマーキーとも呼ばれます）を指定します。このID は、認証時にOAuth 認可サーバーにアプリケーションを識別させるために必要です。

解説

このプロパティは2つのケースで必要となります：

• カスタムOAuth アプリケーションを使用する場合。たとえば、Web ベースの認証フロー、サービスベースの認証、またはアプリケーションの登録が必要な証明書ベースのフローなどが該当します。
• ドライバーが埋め込みOAuth 資格情報を提供しない場合。

（ドライバーが埋め込みOAuth 資格情報を提供する場合、この値はすでにSync App によって設定されており、手動で入力する必要がないことがあります。）

OAuthClientId は、認証付きの接続を構成する際に、OAuthClientSecret やOAuthSettingsLocation などの他のOAuth 関連プロパティと一緒に使用されるのが一般的です。

OAuthClientId は、ユーザーがOAuth 経由で認証を行う前に設定する必要がある、主要な接続パラメータの1つです。 この値は、通常、ID プロバイダーのアプリケーション登録設定で確認できます。 Client ID、Application ID、Consumer Key などとラベル付けされた項目を探してください。

クライアントID は、クライアントシークレットのような機密情報とは見なされませんが、アプリケーションの識別情報の一部であるため、慎重に取り扱う必要があります。公開リポジトリや共有設定ファイルでこの値を露出させないようにしてください。

接続設定時にこのプロパティを使用する方法の詳細については、接続の確立 を参照してください。

カスタムOAuth アプリケーションに割り当てられたクライアントシークレットを指定します。この機密情報は、OAuth 認可サーバーに対してアプリケーションを認証するために使用されます。（カスタムOAuth アプリケーションのみ）

解説

このプロパティ（アプリケーションシークレットまたはコンシューマシークレットとも呼ばれます）は、安全なクライアント認証を必要とするすべてのフローでカスタムOAuth アプリケーションを使用する場合に必要です。たとえば、Web ベースのOAuth、サービスベースの接続、証明書ベースの認可フローなどが該当します。 組み込みOAuth アプリケーションを使用する場合は必要ありません。

クライアントシークレットは、OAuth フローのトークン交換ステップで使用されます。このステップでは、ドライバーが認可サーバーにアクセストークンを要求します。 この値が欠落しているか正しくない場合、認証はinvalid_client またはunauthorized_client エラーで失敗します。

OAuthClientSecret は、ユーザーがOAuth 経由で認証を行う前に設定する必要がある、主要な接続パラメータの1つです。この値は、OAuth アプリケーションを登録する際にID プロバイダーから取得できます。

Notes：

• この値は安全に保管し、公開リポジトリやスクリプト、安全でない環境では決して公開しないようにしてください。
• クライアントシークレットは、一定期間が経過すると有効期限が切れる場合もあります。 アクセスを中断させないために、有効期限を常に監視し、必要に応じてシークレットをローテーションするようにしてください。

接続設定時にこのプロパティを使用する方法の詳細については、接続の確立 を参照してください。

委任されたリクエストのためのサービスアカウントE メールをスペース区切りで指定します。

解説

サービスアカウントE メールは、スペース区切りのリストで指定する必要があります。

各サービスアカウントは、チェーン内の次のサービスアカウントのroles/iam.serviceAccountTokenCreator ロールを付与されている必要があります。

チェーンの最後のサービスアカウントは、リクエストするサービスアカウントのroles/iam.serviceAccountTokenCreator ロールが付与されている必要があります。 リクエストするサービスアカウントはRequestingServiceAccount プロパティで指定されたものです。

委任されたリクエストの場合、リクエストするサービスアカウントは、iam.serviceAccounts.getAccessToken 権限を持つ必要があることに注意してください。これは、serviceAccountTokenCreator ロールを介して付与することもできます。

委任されたリクエストを行うためのサービスアカウントのE メールを指定します。

解説

委任されたリクエストで認証情報が要求されたアカウントのサービスアカウントのE メール。DelegatedServiceAccounts の委任されたサービスアカウントのリストを用いて、このプロパティは、委任されたリクエストを行うために使用されます。

このサービスアカウントには、IAM 権限iam.serviceAccounts.getAccessToken が必要です。

Specifies the scopes to request when obtaining an OAuth token from the OIDC token endpoint.

解説

スコープは、認証ユーザーがどのようなアクセス権を持つかを定義するために設定されます。例えば、読み取り、読み取りと書き込み、機密情報への制限付きアクセスなどです。システム管理者は、スコープを使用して機能またはセキュリティクリアランスによるアクセスを選択的に有効化できます。

InitiateOAuth がGETANDREFRESH に設定されている場合、要求するスコープを変更したい場合はこのプロパティを使用する必要があります。

InitiateOAuth がREFRESH またはOFF のいずれかに設定されている場合、このプロパティまたはScope 入力を使用して、要求するスコープを変更できます。

When set to a value, this property is included in the OAuth authorization request sent to your identity provider. Scopes determine the level of access granted in the issued token.

The default server-side Apache Kafka OAuth validator does not require scopes, but your identity provider may enforce them. Set this property to whatever scope string your provider requires for client credential OIDC authentication.

OAuth アクセストークンを取得するURL。

解説

OAuth 1.0 では、このURL で認可されたリクエストトークンがアクセストークンと交換されます。

このセクションでは、本プロバイダーの接続文字列で設定可能なJWT OAuth プロパティの全リストを提供します。

---

プロパティ	説明
OAuthJWTCert	クライアント証明書のJWT 証明書ストアの名前を指定します。
OAuthJWTCertType	JWT 証明書を格納しているキーストアの種類を指定します。
OAuthJWTCertPassword	パスワードで保護された証明書ストアにアクセスするために使用されるOAuth JWT 証明書のパスワードを指定します。証明書ストアがパスワードを必要としない場合は、このプロパティを空白のままにします。
OAuthJWTCertSubject	ストアで一致する証明書を検索するために使用される、OAuth JWT 証明書のサブジェクトを指定します。部分一致と、先頭の証明書を選択するためのワイルドカード '*' をサポートします。

クライアント証明書のJWT 証明書ストアの名前を指定します。

解説

OAuthJWTCertType フィールドは、OAuthJWTCert により指定された証明書ストアの種類を指定します。 ストアがパスワードで保護されている場合は、OAuthJWTCertPassword を使用してパスワードを指定します。

OAuthJWTCert は、OAuthJWTCertSubject フィールドとともにクライアント証明書を指定するために使われます。 OAuthJWTCert に値が設定され、かつOAuthJWTCertSubject が設定されている場合、CData Sync App は証明書の検索を開始します。 詳しくは、OAuthJWTCertSubject を参照してください。

証明書ストアの指定はプラットフォームに依存します。

注記

• Windows の共通のユーザーとシステム証明書ストアは以下のとおりです。
  • MY：個人証明書と関連付けられた秘密キーを 格納している証明書ストア。
  • CA：証明機関の証明書。
  • ROOT：ルート証明書。
  • SPC：ソフトウェア発行元証明書。
• Javaでは、証明書ストアは通常、証明書および 任意の秘密キーを含むファイルです。
• 証明書ストアの種類がPFXFile の場合は、 このプロパティにファイル名を設定します。
• PFXBlob の場合は、このプロパティをPFX ファイルのバイナリコンテンツ（例えば、PKCS12証明書ストア）に設定する必要があります。

JWT 証明書を格納しているキーストアの種類を指定します。

解説

値	説明	注記
USER	現在のユーザーが所有する証明書ストア。	Windows のみ使用可能です。
MACHINE	マシンストア。	Java やその他の非Windows 環境では使用できません。
PFXFILE	証明書を含むPFX（PKCS12）ファイル。
PFXBLOB	PFX（PKCS12）形式の証明書ストアをbase-64 でエンコードした文字列。
JKSFILE	証明書を含むJava キーストア（JKS）ファイル。	Java 専用。
JKSBLOB	Java キーストア（JKS）形式の証明書ストアをbase-64 でエンコードした文字列。	Java 専用。
PEMKEY_FILE	秘密鍵とオプションの証明書を含むPEM でエンコードされたファイル。
PEMKEY_BLOB	秘密鍵とオプションの証明書をbase-64 でエンコードした文字列。
PUBLIC_KEY_FILE	PEM またはDER でエンコードされた公開鍵証明書を含むファイル。
PUBLIC_KEY_BLOB	PEM またはDER でエンコードされた公開鍵証明書をbase-64 でエンコードした文字列。
SSHPUBLIC_KEY_FILE	SSH 形式の公開鍵を含むファイル。
SSHPUBLIC_KEY_BLOB	SSH 形式の公開鍵ををbase-64 でエンコードした文字列。
P7BFILE	証明書を含むPKCS7 ファイル。
PPKFILE	PuTTY 秘密キー（PPK）を含むファイル。
XMLFILE	XML 形式の証明書を含むファイル。
XMLBLOB	XML 形式の証明書を含む文字列。
BCFKSFILE	Bouncy Castle キーストアを含むファイル。
BCFKSBLOB	Bouncy Castle キーストアを含む文字列（base-64エンコード）。
GOOGLEJSON	サービスアカウント情報を含むJSON ファイル。	Google サービスに接続する場合にのみ有効。
GOOGLEJSONBLOB	サービスアカウントのJSON を含む文字列。	Google サービスに接続する場合にのみ有効。

パスワードで保護された証明書ストアにアクセスするために使用されるOAuth JWT 証明書のパスワードを指定します。証明書ストアがパスワードを必要としない場合は、このプロパティを空白のままにします。

解説

このプロパティは、パスワードで保護された証明書ストアを開くために必要なパスワードを指定します。 パスワードが必要かどうかを判断するには、ご利用の証明書ストアのドキュメントまたは設定を参照してください。

GOOGLEJSON OAuthJWTCertType を使用する場合は必要ありません。Google JSON キーは暗号化されていません。

ストアで一致する証明書を検索するために使用される、OAuth JWT 証明書のサブジェクトを指定します。部分一致と、先頭の証明書を選択するためのワイルドカード '*' をサポートします。

解説

このプロパティの値は、ストアで一致する証明書を検索するために使用されます。検索プロセスは以下のように動作します。

• サブジェクトに完全に一致する証明書が見つかれば、該当する証明書が選択されます。
• 完全に一致するものがない場合、ストアは、サブジェクトがプロパティ値を含む証明書を検索します。
• 一致する証明書がない場合、証明書は選択されません。

値を '*' に設定すると、ストアの先頭の証明書が自動的に選択されます。 証明書のサブジェクトは識別名フィールドおよび値のカンマ区切りのリストです。 例：CN=www.server.com, OU=test, C=US, [email protected]。

一般的なフィールドには以下のものが含まれます。

フィールド	説明
CN	共通名。一般的には、www.server.com のようなホスト名です。
O	法人名
OU	法人の部署名
L	法人の住所（市町村名）
S	法人の住所（都道府県）
C	国名
E	E メールアドレス

フィールド値にカンマが含まれる場合は、引用符で囲んでください。例："O=ACME, Inc."。

このセクションでは、本プロバイダーの接続文字列で設定可能なKerberos プロパティの全リストを提供します。

---

プロパティ	説明
KerberosKeytabFile	Specifies the path to the keytab file that contains the Kerberos principals and encrypted keys used for authentication.
KerberosSPN	Specifies the full Kerberos service principal name (SPN) of the Kafka broker.
KerberosServiceName	Specifies the Kerberos service name used when authenticating to the Kafka broker.
UseKerberosTicketCache	Specifies whether the provider uses the Kerberos ticket cache for authentication instead of a keytab file.

Specifies the path to the keytab file that contains the Kerberos principals and encrypted keys used for authentication.

解説

Set this property to the location of a valid keytab file when using Kerberos authentication. The keytab must contain the principal entries required for the Kerberos login configured for the Sync App.

Specifies the full Kerberos service principal name (SPN) of the Kafka broker.

解説

Set this property to the service principal name that identifies the Kafka broker in Kerberos. The SPN typically includes the service name and hostname, such as kafka/host.example.com@REALM. The Sync App uses this value when requesting a service ticket during Kerberos authentication.

Specifies the Kerberos service name used when authenticating to the Kafka broker.

解説

Set this property to the service name portion of the Kerberos principal used by the Kafka broker.

Specifies whether the provider uses the Kerberos ticket cache for authentication instead of a keytab file.

解説

When set to true, the Sync App uses the Kerberos tickets already obtained by the logged-in user. In this mode, KerberosKeytabFile is not required.

When set to false, the Sync App uses the keytab file specified in KerberosKeytabFile to obtain Kerberos credentials.

This option is useful when users authenticate interactively and already have valid Kerberos tickets on the system.

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。

---

プロパティ	説明
SSLServerCert	Specifies the SSL server certificate or certificate store used to verify the identity of the Apache Kafka broker.
SSLServerCertType	Specifies the format of the SSL server certificate used to verify the Apache Kafka broker.
SSLClientCert	Specifies the SSL client certificate used to authenticate with the Apache Kafka broker.
SSLClientCertType	Specifies the format of the SSL client certificate used to connect to the Apache Kafka broker.
SSLClientCertPassword	Specifies the password used to decrypt the certificate provided in SSLClientCert .
SSLIdentificationAlgorithm	Specifies the endpoint identification algorithm used to validate the server host name during SSL/TLS connections.

Specifies the SSL server certificate or certificate store used to verify the identity of the Apache Kafka broker.

解説

The value for this property must match the format described by SSLServerCertType. This determines whether the certificate is supplied as a file path, a base64-encoded blob, or a reference to a system certificate store.

The server certificate is used to confirm that the broker’s SSL certificate is signed by a trusted Certificate Authority (CA). If the provided certificate does not match the server’s certificate chain, the SSL connection will be rejected.

Specifies the format of the SSL server certificate used to verify the Apache Kafka broker.

解説

This property is used to determine what format the SSLServerCert property expects. This property can take one of the following values:

Store Type	Description
PEMKEY_FILE	The certificate store is the name of a PEM-encoded file that contains a the server certificate.
PEMKEY_BLOB	The certificate store is a string that contains the server certificate.

Specifies the SSL client certificate used to authenticate with the Apache Kafka broker.

解説

This property provides the certificate or certificate store that the Sync App uses for SSL client authentication. The expected format depends on the value of SSLClientCertType, which determines whether the certificate is supplied as a file path, a base64-encoded string, or a reference to a system certificate store.

If the certificate store is password protected, set the password in SSLClientCertPassword.

See SSLClientCertType for details about supported certificate formats and how to supply them.

Specifies the format of the SSL client certificate used to connect to the Apache Kafka broker.

解説

This property is used to determine what format the SSLClientCert property expects. This property can take one of the following values:

Store Type	Description
PEMKEY_FILE	The certificate store is the name of a PEM-encoded file that contains a private key and certificate.
PEMKEY_BLOB	The certificate store is a string that contains a private key and certificate, optionally encoded in base64.

Specifies the password used to decrypt the certificate provided in SSLClientCert .

解説

Leave this property blank if the client certificate or keystore is not password protected.

Specifies the endpoint identification algorithm used to validate the server host name during SSL/TLS connections.

解説

By default, this property uses https, which enables host name verification. If you set this property to a blank value, host name verification is disabled.

Host name verification ensures that the certificate presented by the server matches the expected server host name. Disabling this verification can be useful in development or testing environments, but is not recommended for production.

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema Registry プロパティの全リストを提供します。

---

プロパティ	説明
RegistryURL	Specifies the endpoint of the schema registry. When this property is specified, the driver supports reading Avro and JSON schemas from the server.
RegistryService	Specifies the schema registry service that the provider uses to retrieve key and value schemas for Apache Kafka topics.
RegistryAuthScheme	Specifies the authentication scheme that the provider uses when connecting to the schema registry.
RegistryUser	Specifies the user name used when authenticating to the schema registry with the Basic authentication scheme.
RegistryPassword	Specifies the password used when authenticating to the schema registry with the Basic authentication scheme.
RegistryClientCert	The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.
RegistryClientCertType	Specifies the type of key store used by the TLS/SSL client certificate given in RegistryClientCert .
RegistryClientCertPassword	Specifies the password for the client certificate store defined in RegistryClientCert.
RegistryClientCertSubject	Specifies the subject of the client certificate to select from the certificate store defined in RegistryClientCert.
RegistryVersion	Specifies which version of a schema the provider retrieves from the schema registry when resolving topic columns.
RegistryServerCert	The certificate to be accepted from the schema registry when connecting using TLS/SSL.
SchemaMergeMode	Specifies how the provider exposes schemas with multiple versions.

Specifies the endpoint of the schema registry. When this property is specified, the driver supports reading Avro and JSON schemas from the server.

解説

Set this property to the URL or identifier of the schema registry service you are connecting to.

• If you are connecting to Confluent Cloud, this corresponds to the Schema Registry endpoint value in Schemas > Schema Registry > Instructions.
• If you are connecting to AWS Glue Schema Registry, set this property to the Amazon Resource Name (ARN) of the registry you want to use.

Specifies the schema registry service that the provider uses to retrieve key and value schemas for Apache Kafka topics.

解説

This property determines which registry implementation the Sync App connects to when using a registry-based TypeDetectionScheme. The supported services are:

Value	Description
Confluent	Use Confluent Schema Registry. Supports both key and value schemas and client certificate authentication.
AWSGlue	Use AWS Glue Schema Registry. Supports schema registration and discovery through AWS Glue.

Specifies the authentication scheme that the provider uses when connecting to the schema registry.

解説

The following authentication schemes are supported. Some schemes are available only for specific registry services, depending on the capabilities of the configured RegistryService.

Value	Description
None	No authentication is used when connecting to the schema registry.
Basic	The Sync App uses RegistryUser and RegistryPassword. For Confluent Schema Registry, these values correspond to the API key and secret. For AWS Glue Schema Registry, these are the IAM access key and secret key.
SSLCertificate	The Sync App authenticates using RegistryClientCert using SSL client authentication. This option is supported only when connecting to a Confluent registry.

Specifies the user name used when authenticating to the schema registry with the Basic authentication scheme.

解説

Set this property when RegistryAuthScheme is set to Basic, as Basic authentication requires both a user name and a password.

The meaning of this value depends on the registry service:

• For Confluent Schema Registry, this value corresponds to the Access Key shown under Schemas > Schema Registry > API access.
• For AWS Glue Schema Registry, this value corresponds to the IAM access key ID associated with your AWS credentials.

This property works together with RegistryPassword, which supplies the corresponding secret or key.

Specifies the password used when authenticating to the schema registry with the Basic authentication scheme.

解説

Set this property when RegistryAuthScheme is set to Basic. For Confluent Schema Registry, this value corresponds to the Secret Key shown under Schemas > Schema Registry > API access.

The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.

解説

Set this property to the certificate store that contains the client certificate and its associated private key. The type of the store is determined by RegistryClientCertType, and password-protected stores require a value in RegistryClientCertPassword.

If both RegistryClientCert and RegistryClientCertSubject are set, the Sync App searches the certificate store for a certificate whose subject matches the value of RegistryClientCertSubject.

Designations of certificate stores depend on the platform. On Windows, the following logical store names are commonly used:

Store Name	Description
MY	Personal certificates, including private keys.
CA	Intermediate and certifying authority certificates.
ROOT	Trusted root certificates.
SPC	Software publisher certificates.

On Java platforms, the certificate store is typically a file containing certificates and optional private keys.

When the certificate store type is PFXFile, set this property to the path to the PFX file. When the type is PFXBlob, set this property to the binary contents of the PFX (PKCS#12) file.

Specifies the type of key store used by the TLS/SSL client certificate given in RegistryClientCert .

解説

This property can take one of the following values:

Store Type	Description
USER - default	For Windows, this specifies that the certificate store is a certificate store owned by the current user. Note that this store type is not available in Java.
MACHINE	For Windows, this specifies that the certificate store is a machine store. Note that this store type is not available in Java.
PFXFILE	The certificate store is the name of a PFX (PKCS12) file containing certificates.
PFXBLOB	The certificate store is a string (base-64-encoded) representing a certificate store in PFX (PKCS12) format.
JKSFILE	The certificate store is the name of a Java key store (JKS) file containing certificates. Note that this store type is only available in Java.
JKSBLOB	The certificate store is a string (base-64-encoded) representing a certificate store in JKS format. Note that this store type is only available in Java.
PEMKEY_FILE	The certificate store is the name of a PEM-encoded file that contains a private key and an optional certificate.
PEMKEY_BLOB	The certificate store is a string (base64-encoded) that contains a private key and an optional certificate.
PUBLIC_KEY_FILE	The certificate store is the name of a file that contains a PEM- or DER-encoded public key certificate.
PUBLIC_KEY_BLOB	The certificate store is a string (base-64-encoded) that contains a PEM- or DER-encoded public key certificate.
SSHPUBLIC_KEY_FILE	The certificate store is the name of a file that contains an SSH-style public key.
SSHPUBLIC_KEY_BLOB	The certificate store is a string (base-64-encoded) that contains an SSH-style public key.
P7BFILE	The certificate store is the name of a PKCS7 file containing certificates.
PPKFILE	The certificate store is the name of a file that contains a PuTTY Private Key (PPK).
XMLFILE	The certificate store is the name of a file that contains a certificate in XML format.
XMLBLOB	The certificate store is a string that contains a certificate in XML format.

Specifies the password for the client certificate store defined in RegistryClientCert.

解説

Set this property when the certificate store requires a password to access the client certificate or its private key. This applies to password-protected store types such as PFXFile and PFXBlob.

Specifies the subject of the client certificate to select from the certificate store defined in RegistryClientCert.

解説

The Sync App uses this value to locate a certificate within the specified store. If an exact subject match is not found, the Sync App searches for certificates whose subjects contain the value of this property. If no match is found, no certificate is selected and the property is set to an empty string.

The special value * selects the first certificate in the certificate store.

Certificate subjects use distinguished name (DN) format, which consists of comma-separated field/value pairs. For example: CN=www.server.com, OU=Test, C=US. Common DN fields include:

Field	Meaning
CN	Common Name, typically a host name.
O	Organization.
OU	Organizational Unit.
L	Locality.
S	State or province.
C	Country.
E	Email address.

If a field value contains a comma, it must be quoted.

Specifies which version of a schema the provider retrieves from the schema registry when resolving topic columns.

解説

Set this property to latest to use the most recent version of each schema, or set it to a specific version number. When a version number is provided, that version must exist for every schema subject used by the topics being read.

If SchemaMergeMode is set to Simple, this property is ignored. In that mode, the Sync App merges all available schema versions for each topic to produce a combined set of columns.

The certificate to be accepted from the schema registry when connecting using TLS/SSL.

解説

TLS/SSL 接続を使用している場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。このプロパティに値を指定すると、マシンによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります：

説明	例
フルPEM 証明書（例では省略されています）	-----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE-----
証明書を保有するローカルファイルへのパス。	C:\cert.cer
公開鍵（例では省略されています）	-----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY-----
MD5 Thumbprint（hex 値はスペースまたはコロン区切り）	ecadbdda5a1529c58a1e9e09828d70e4
SHA1 Thumbprint（hex 値はスペースまたはコロン区切り）	34a929226ae0819f2ec14b4a3d904f801cbb150d

Note：'*' を使用してすべての証明書を受け入れるように指定することも可能ですが、セキュリティ上の懸念があるため推奨されません。

Specifies how the provider exposes schemas with multiple versions.

解説

By default the Sync App sets SchemaMergeMode to None.

None

This mode only supports one version for schemas in the registry. It is normally the latest version, but you can change RegistryVersion to use a specific version number. The Sync App ignores the content of any message that does not match the schema for its topic. Reading the topic returns the message, but all of its data fields (fields other than Partition, Offset, and Timestamp) are reported as NULL.

Limitations

This mode supports both SELECT and INSERT queries into each topic. An INSERT always uses the version of the schema specified by RegistryVersion.

This mode supports all options for RegistryService.

Schema Confusion

For compatibility with previous versions, the Sync App does not enforce the schema ID included on messages when RegistryService is set to Confluent. With SchemaMergeMode set to None this ID is always ignored, but even with SchemaMergeMode set to Simple the Sync App ignores the ID if it cannot find a matching schema. This may cause the Sync App to output field values under unexpected columns.

For example, consider the following two Avro schemas that store names and address details. The schemas are binary compatible: even though the field names differ, they have the same number of fields with the same types in the same order.

{
  "type": "record",
  "name": "personname",
  "fields": [
    { "name": "PersonID", "type": "int" },
    { "name": "LastName", "type": "string" },
    { "name": "FirstName", "type": "string" }
  ],
}
{
  "type": "record",
  "name": "personaddress",
  "fields": [
    { "name": "PersonID", "type": "int" },
    { "name": "Address", "type": "string" },
    { "name": "City", "type": "string" }
  ],
}

If you produce these messages to the topic using the personname schema, the Sync App may parse these messages using the personaddress schema. This happens if, for example, personname and personaddress are two versions of the same registry schema. The Sync App sees that personaddress is the latest version and uses it for this topic.

{"PersonID": 1, "LastName": "Smithers", "FirstName": "William"}
{"PersonID": 2, "LastName": "McAllister", "FirstName": "Amy"}

In that scenario, the Sync App outputs these results:

PersonID	Address	City
1	Smithers	William
2	McAllister	Amy

Simple

Setting SchemaMergeMode to Simple causes the Sync App to load all versions of each topic schema and merge them according to the following rules. These rules ensure that the Sync App produces NULL or a valid value for each column. If any rule fails, the Sync App fails the schema merge by logging an error and outputting a schema with no data fields.

Limitations

This mode supports only SELECT queries. The Sync App does not have a way to specify a specific version of a schema to use for INSERT queries. If you need to produce messages in this mode, use the ProduceMessage stored procedure.

This mode only supports RegistryService when set to Confluent. Messages produced with the Confluent libraries include the ID of the schema their data conforms to. The Sync App uses this to determine what schema to parse each message with.

If a message does not have an ID, or if the ID refers to a schema that does not match the topic name, the Sync App defaults to the latest schema. This may cause field values to appear in unexpected columns if the schemas are different but produce compatible output. See the Schema Confusion section above for a more detailed discussion of this issue.

Schema Validation Rules

If all versions of the schema are valid according to these rules, the Sync App includes every field from every version of the schema in the table.

• Each field must have the same type across all versions where they appear. Fields may appear in some versions and not others. Those fields are reported as NULL when they are not present.
• All versions must be Avro schemas.

During validation, the type of a field is the type that the Sync App uses to report the field, not its original Avro type. This means that two versions of a schema can have a field which in one version is an aggregate (array, map, ...) and another is a string. For example, the Sync App considers these two schemas compatible, but there is currently no way to tell whether the address field is JSON or just text.

{
    "type": "record"   
    "name": "person",
    "fields": [
        { "name": "address", "type": {"type": "array", "items": "string"}}
    ]
}

{
    "type": "record"   
    "name": "person",
    "fields": [
        { "name": "address", "type": "string" }
    ]
}

The rules apply transitively across all versions. This means that two versions of the schema may be valid in isolation, but not when considering all versions of the schema. For example, consider a schema where v1 contains an integer amount field, v2 removes it, and v3 adds a decimal amount field. v1 and v2 are valid together because removing fields is allowed, and v2 and v3 are valid together because adding fields is allowed. However, all three versions combined violate the rules because the amount field changed type between v1 and v3.

For best results, enable one of the transitive schema compatibility modes within the schema registry. The Sync App does not check the compatibility mode as part of its validation rules. However, setting a transitive schema compatibility mode prevents you from creating schemas that the Sync App cannot process.

このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。

---

プロパティ	説明
FirewallType	provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
FirewallServer	ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
FirewallPort	プロキシベースのファイアウォールで使用するTCP ポートを指定します。
FirewallUser	プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
FirewallPassword	プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Note：デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し、次のプロキシタイプのいずれかに接続するには、ProxyAutoDetect をfalse に設定します。

次の表は、サポートされている各プロトコルのポート番号情報です。

プロトコル	デフォルトポート	説明
TUNNEL	80	Sync App がApache Kafka への接続を開くポート。トラフィックはこの場所のプロキシを経由して行き来します。
SOCKS4	1080	Sync App がApache Kafka への接続を開くポート。SOCKS 4 は次にFirewallUser 値をプロキシに渡し、接続リクエストが許容されるかどうかを決定します。
SOCKS5	1080	Sync App がApache Kafka にデータを送信するポート。SOCKS 5 プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。

HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。

ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

プロキシベースのファイアウォールで使用するTCP ポートを指定します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

解説

プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。

---

プロパティ	説明
ProxyAutoDetect	provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
ProxyServer	HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレスを指定します。
ProxyPort	クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバーのTCP ポートを指定します。
ProxyAuthScheme	ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
ProxyUser	ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名を提供します。
ProxyPassword	ProxyUser 接続プロパティで指定されたユーザーのパスワードを指定します。
ProxySSLType	ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプを指定します。
ProxyExceptions	ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリストを指定します。

provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。

解説

この接続プロパティをTrue に設定すると、Sync App は既存のプロキシサーバー構成についてシステムプロキシ設定をチェックします（プロキシサーバーの詳細を手動で入力する必要はありません）。

この接続プロパティは他のプロキシ設定より優先されます。特定のプロキシサーバーに接続するためにSync App を構成する場合は、ProxyAutoDetect をFalse に設定します。

HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。

HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレスを指定します。

解説

ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたプロキシサーバーを通じてのみHTTP トラフィックをルーティングします。

ProxyAutoDetect がTrue（デフォルト）に設定されている場合、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーを介してHTTP トラフィックをルーティングします。

クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバーのTCP ポートを指定します。

解説

ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたProxyServer ポートを通じてのみHTTP トラフィックをルーティングします。

ProxyAutoDetect がTrue（デフォルト）に設定されている場合、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーポートを介してHTTP トラフィックをルーティングします。

その他のプロキシタイプについては、FirewallType を参照してください。

ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。

解説

サポートされる認証の種類：

• BASIC：Sync App はHTTP Basic 認証を行います。
• DIGEST：Sync App はHTTP ダイジェスト認証を行います。
• NTLM：Sync App はNTLM トークンを取得します。
• NEGOTIATE： Sync App は認証において有効なプロトコルに応じて、NTLM もしくはKerberos トークンを取得します。
• NONE：ProxyServer が認証を必要としないことを示します。

NONE 以外のすべての値については、ProxyUser およびProxyPassword 接続プロパティも設定する必要があります。

SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。

ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名を提供します。

解説

ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。

ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。

ProxyAuthScheme の値	ProxyUser に設定する値
BASIC	プロキシサーバーに登録されているユーザーのユーザー名。
DIGEST	プロキシサーバーに登録されているユーザーのユーザー名。
NEGOTIATE	プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。
NTLM	プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。
NONE	ProxyPassword 接続プロパティは設定しないでください。

Note：Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このユーザー名を使用します。 ProxyAutoDetect がTrue（デフォルト）に設定されている場合、Sync App は代わりにシステムのプロキシ設定で指定されているユーザー名を使用します。

ProxyUser 接続プロパティで指定されたユーザーのパスワードを指定します。

解説

ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。

ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。

ProxyAuthScheme の値	ProxyPassword に設定する値
BASIC	ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。
DIGEST	ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。
NEGOTIATE	ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。
NTLM	ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。
NONE	ProxyPassword 接続プロパティは設定しないでください。

SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。

Note：Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このパスワードを使用します。 ProxyAutoDetect がTrue（デフォルト）に設定されている場合、Sync App は代わりにシステムのプロキシ設定で指定されているパスワードを使用します。

ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプを指定します。

解説

このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この接続プロパティには、以下の値を設定できます。

AUTO	デフォルト設定。ProxyServer がHTTPS URL に設定されている場合、Sync App は、TUNNEL オプションを使用します。ProxyServer がHTTP URL に設定されている場合、コンポーネントはNEVER オプションを使用します。
ALWAYS	接続は、常にSSL 有効となります。
NEVER	接続は、SSL 有効になりません。
TUNNEL	接続はトンネリングプロキシ経由で行われます。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。

ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリストを指定します。

解説

ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。

Note：Sync App はデフォルトでシステムプロキシ設定を使用するため、それ以上の設定は必要ありません。 この接続にプロキシ例外を明示的に設定する場合は、ProxyAutoDetect をFalse に設定します。

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。

---

プロパティ	説明
LogModules	ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

解説

Sync App は、実行する各操作の詳細を Logfile 接続プロパティで指定されたログファイルに書き込みます。

ログに記録される各操作は、モジュールと呼ばれるカテゴリに分類されます。各モジュールには対応する短いコードがあり、個々の Sync App の操作がどのモジュールに属するかを示すラベルとして使用されます。

この接続プロパティにモジュールコードをセミコロン区切りのリストで設定すると、指定したモジュールに属する操作のみがログファイルに書き込まれます。この設定は今後のログ記録にのみ適用され、既存のログファイルの内容には影響しません。例: INFO;EXEC;SSL;META;

デフォルトでは、すべてのモジュールの操作がログに含まれます。

モジュールを明示的に除外するには、先頭に「-」を付けます。例: -HTTP

サブモジュールにフィルターを適用するには、<モジュール名>.<サブモジュール名> の構文で指定します。たとえば、次の値を設定すると、Sync App は HTTP モジュールに属するアクションのみをログに記録し、さらに HTTP モジュールの Res サブモジュールに属するアクションを除外します: HTTP;-HTTP.Res

Verbosity 接続プロパティによるログファイルのフィルタリングは、この接続プロパティによるフィルタリングよりも優先されます。そのため、Verbosity 接続プロパティで指定したレベルよりも高い詳細レベルの操作は、この接続プロパティで指定したモジュールに属していても、ログファイルには出力されません。

使用可能なモジュールとサブモジュールは次のとおりです。

モジュール名	モジュールの説明	サブモジュール
INFO	一般情報。接続文字列、製品バージョン（ビルド番号）、および初期接続メッセージが含まれます。	Connec — 接続の作成または破棄に関連する情報。 Messag — 接続、接続文字列、製品バージョンに関するメッセージの汎用ラベル。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。
EXEC	クエリ実行。ユーザーが記述した SQL クエリ、解析済み SQL クエリ、正規化済み SQL クエリの実行メッセージが含まれます。クエリおよびクエリページの成功/失敗メッセージもここに表示されます。	Messag — クエリ実行に関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。 Normlz — クエリの正規化ステップ。クエリの正規化とは、ユーザーが送信したクエリを、最適なパフォーマンスで同じ結果を得られるように書き換える処理です。 Origin — ユーザーの元のクエリ（ユーザーが実行した正確で未変更の非正規化クエリ）を記録するメッセージに適用されるラベル。 Page — クエリのページングに関連するメッセージ。 Parsed — クエリの解析ステップ。解析とは、ユーザーが送信したクエリを、処理しやすい標準化された形式に変換するプロセスです。
HTTP	HTTP プロトコルメッセージ。HTTP リクエスト/レスポンス（POST メッセージを含む）、および Kerberos 関連のメッセージが含まれます。	KERB — Kerberos に関連する HTTP リクエスト。 Messag — HTTP プロトコルに関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。 Unpack — サービス API から返された圧縮データを製品が解凍する際のメッセージに適用されるラベル。 Res — HTTP レスポンスを含むメッセージ。 Req — HTTP リクエストを含むメッセージ。
WSDL	WSDL/XSD ファイルの生成に関するメッセージ。	—
SSL	SSL 証明書メッセージ。	Certif — SSL 証明書に関するメッセージ。
AUTH	認証関連の失敗/成功メッセージ。	Messag — 認証に関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。 OAuth — OAuth 認証に関連するメッセージ。 Krbros — Kerberos 関連の認証メッセージ。
SQL	SQL トランザクション、SQL 一括転送メッセージ、および SQL 結果セットメッセージが含まれます。	Bulk — 一括クエリ実行に関するメッセージ。 Cache — パフォーマンス向上のため、製品のキャッシュへの行データの読み書きに関連するメッセージ。 Messag — SQL トランザクションに関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。 ResSet — クエリの結果セット。 Transc — 実行されたジョブ数やバックアップテーブルの処理に関する情報を含む、トランザクション処理に関連するメッセージ。
META	メタデータキャッシュとスキーマメッセージ。	Cache — パフォーマンス向上のため、製品のキャッシュ内のカラムおよびテーブル定義の読み取りと変更に関連するメッセージ。 Schema — サービススキーマからのメタデータの取得またはサービススキーマの変更に関連するメッセージ。 MemSto — インメモリメタデータキャッシュへの書き込みまたは読み取りに関連するメッセージ。 Storag — メモリ内ではなく、ディスクまたは外部データストアへのメタデータの保存に関連するメッセージ。
FUNC	SQL 関数の実行に関連する情報。	Errmsg — SQL 関数の実行に関連するエラーメッセージ。
TCP	TCP トランスポートレイヤーメッセージでの送受信生バイト。	Send — TCP プロトコル経由で送信された生データ。 Receiv — TCP プロトコル経由で受信した生データ。
FTP	File Transfer Protocol に関するメッセージ。	Info — FTP プロトコルでの通信に関連するステータスメッセージ。 Client — FTP 通信中に FTP クライアント（製品）が実行したアクションに関連するメッセージ。 Server — FTP 通信中に FTP サーバーが実行したアクションに関連するメッセージ。
SFTP	Secure File Transfer Protocol に関するメッセージ。	Info — SFTP プロトコルでの通信に関連するステータスメッセージ。 To_Server — SFTP 通信中に SFTP クライアント（製品）が実行したアクションに関連するメッセージ。 From_Server — SFTP 通信中に SFTP サーバーが実行したアクションに関連するメッセージ。
POP	Post Office Protocol 経由で転送されるデータに関するメッセージ。	Client — POP 通信中に POP クライアント（製品）が実行したアクションに関連するメッセージ。 Server — POP 通信中に POP サーバーが実行したアクションに関連するメッセージ。 Status — POP プロトコルでの通信に関連するステータスメッセージ。
SMTP	Simple Mail Transfer Protocol 経由で転送されるデータに関するメッセージ。	Client — SMTP 通信中に SMTP クライアント（製品）が実行したアクションに関連するメッセージ。 Server — SMTP 通信中に SMTP サーバーが実行したアクションに関連するメッセージ。 Status — SMTP プロトコルでの通信に関連するステータスメッセージ。
CORE	他のモジュールでカバーされていない、さまざまな製品内部操作に関連するメッセージ。	—
DEMN	SQL リモーティングに関連するメッセージ。	—
CLJB	一括データアップロード（クラウドジョブ）に関するメッセージ。	Commit — 一括データアップロードの送信。
SRCE	他のモジュールに属さない、製品が生成するその他のメッセージ。	—
TRANCE	低レベルの製品操作に関する高度なメッセージ。	—
KFKA	Applies to log messages generated from the Apache Kafka protocol.	—

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。

---

プロパティ	説明
Location	テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
BrowsableSchemas	レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tables	レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
Views	レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。

解説

Location プロパティは、定義をカスタマイズしたり（例えば、カラム名を変更する、カラムを無視するなど）、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。

指定しない場合、デフォルトの場所は%APPDATA%\\CData\\ApacheKafka Data Provider\\Schema となり、%APPDATA%はユーザーのコンフィギュレーションディレクトリに設定されます：

プラットフォーム	%APPDATA%
Windows	APPDATA 環境変数の値
Linux	~/.config

レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

解説

利用可能なデータベーススキーマをすべてリストすると余分な時間がかかり、パフォーマンスが低下します。 接続文字列にスキーマのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。

解説

データベースによっては、利用可能なすべてのテーブルをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にテーブルのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

利用可能なテーブルがたくさんあり、すでに作業したいテーブルが決まっている場合、このプロパティを使用して対象のテーブルのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。

Note：複数のスキーマまたはカタログを持つデータソースに接続する場合は、表示する各テーブルを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するテーブルが混同されることを防ぎます。

レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

解説

データベースによっては、利用可能なすべてのビューをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にビューのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

利用可能なビューがたくさんあり、すでに作業したいビューが決まっている場合、このプロパティを使用して対象のビューのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。

Note：複数のスキーマまたはカタログを持つデータソースに接続する場合は、確認する各ビューを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するビューが混同されることを防ぎます。

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。

---

プロパティ	説明
AllowKeyOnlyRegistryTopics	Specifies whether the provider exposes key-only Schema Registry topics as tables.
AWSWorkloadIdentityConfig	AWS 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。
AzureWorkloadIdentityConfig	Azure 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。
CompressionType	Specifies the compression algorithm that the provider uses when producing messages to Apache Kafka.
ConsumerProperties	Specifies additional Kafka consumer configuration options that the provider passes directly to the underlying Kafka client.
CreateTablePartitions	Specifies the number of partitions to assign to a topic created through a CREATE TABLE statement.
CreateTableReplicationFactor	Specifies the the number of replicas to assign to a topic created through a CREATE TABLE statement.
EnableIdempotence	Specifies whether the provider ensures that produced messages are delivered in order and without duplicates.
ExposeQueueMetadataColumns	Specifies whether the Partition, Offset, and Timestamp columns are exposed.
FlattenArrays	Specifies how many elements to return from nested arrays when TypeDetectionScheme is set to SchemaRegistry.
GenerateSchemaFiles	スキーマを生成して保存するユーザーの好みのタイミングを示します。
HideUnusedColumns	Determines whether to hide key or value colums when the topic has no associated schema information.
MaximumBatchSize	Specifies the maximum size, in bytes, of a batch of messages that the provider gathers before sending the batch to Apache Kafka.
MaxRows	集計やGROUP BY を含まないクエリで返される最大行数を指定します。
MessageKeyColumn	Specifies the name of the column where the provider stores the message key for each record.
MessageKeyType	The type of data stored in message keys.
NonRegistryTypeDetectionScheme	Specifies the TypeDetectionScheme to use for topics that do not have schemas in the schema registry.
OffsetResetStrategy	Specifies how the provider determines the starting offset when no committed offset exists for the consumer group.
Other	特定の問題に対処するため、特殊なシナリオ向けの高度な接続プロパティを指定します。このプロパティは、サポートチームの指示がある場合にのみ使用してください。
Pagesize	Specifies the maximum number of rows that the provider retrieves from Apache Kafka in a single read operation.
ProducerProperties	Specifies additional Apache Kafka producer configuration options that the provider passes directly to the client.
PseudoColumns	テーブルカラムとして公開する擬似カラムを、'TableName=ColumnName;TableName=ColumnName' の形式の文字列で指定します。
ReadDuration	Specifies how long, in seconds, the provider waits for additional messages after a read operation begins.
RowScanDepth	Specifies the maximum number of messages that the provider scans to determine the columns and data types for a topic.
SASLOAuthExtensions	Specifies the extension values to send with OAuth auth schemes.
SchemaRegistryOnly	Specifies whether the provider connects only to the schema registry.
SerializationFormat	Specifies how to serialize/deserialize message contents.
Timeout	provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。
TypeDetectionScheme	Specifies how the provider determines the available fields and data types for each topic.
UseConfluentAvroFormat	Specifies how Avro data should be formatted during an INSERT.
UserDefinedViews	カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
ValidateRegistryTopics	Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry
WorkloadPoolId	Workload Identity Federation プールのID。
WorkloadProjectId	Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。
WorkloadProviderId	Workload Identity Federation プールプロバイダーのID。

Specifies whether the provider exposes key-only Schema Registry topics as tables.

解説

This property applies only when TypeDetectionScheme is set to SchemaRegistry.

The Sync App supports two types of schemas in the Schema Registry: value schemas and key schemas. By default, the Sync App requires a value schema for a topic to be exposed as a table. Topics that contain only a key schema are not exposed unless this property is enabled. Key schemas are optional and are used only when MessageKeyColumn is set.

When set to true, the Sync App exposes topics that contain either a key schema, a value schema, or both. For topics without a value schema, the message value is returned as a base64 blob because no deserialization can be performed. This behavior is similar to scenarios where SerializationFormat is set to NONE or TypeDetectionScheme is set to MessageOnly.

When set to false, topics without a value schema are not exposed. This is the default behavior and ensures that only topics with complete value schemas are represented as tables.

This behavior is independent of the MessageKeyColumn setting. Even when this property is enabled, you must set MessageKeyColumn if you want the Sync App to return message key data.

Enable this property when you need to read topics defined only with key schemas or when working with registries where not all topics include value schemas. Enabling this property may increase the number of exposed tables and may require additional processing when handling base64-encoded message values.

AWS 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。

解説

このプロパティは、Key=Value プロパティのセミコロン区切りリストとしてフォーマットされ、値はオプションで引用符で囲むこともできます。 例えば、この設定はユーザーのルートキーを使用してAWS で認証します：

AWSWorkloadIdentityConfig="AuthScheme=AwsRootKeys;AccessKey='AKIAABCDEF123456';SecretKey=...;Region=us-east-1"

Azure 経由でWorkload Identity Federation を使用する場合に指定する設定プロパティ。

解説

このプロパティは、Key=Value プロパティのセミコロン区切りリストとしてフォーマットされ、値はオプションで引用符で囲むこともできます。 例えば、この設定はクライアント資格情報を使用してAzure で認証します：

AzureWorkloadIdentityConfig="AuthScheme=AzureServicePrincipal;AzureTenant=directory (tenant) id;OAuthClientID=application (client) id;OAuthClientSecret=client secret;AzureResource=application id uri;"

Specifies the compression algorithm that the provider uses when producing messages to Apache Kafka.

解説

Select a compression type to reduce the size of produced messages. Compression is applied to batches of messages rather than individual messages.

The following compression types are supported:

Type	Description
NONE	Messages are sent without compression.
GZIP	Messages are compressed using gzip.
SNAPPY	Messages are compressed using Snappy.
LZ4	Messages are compressed using LZ4.

Specifies additional Kafka consumer configuration options that the provider passes directly to the underlying Kafka client.

解説

The Sync App exposes several Kafka consumer settings as connection properties and maps them internally to the corresponding Kafka client configuration keys. If the Sync App does not provide a dedicated property for a particular consumer option, you can set it through ConsumerProperties.

This property accepts a semicolon-separated list of Kafka consumer configuration pairs. These options are passed directly to the Kafka client. For example, security.protocol=SASL_SSL;sasl.mechanism=SCRAM-SHA-512 sets the security.protocol and sasl.mechanism Kafka consumer properties.

Be careful what configuration options you set via this property. The Sync App does not consider ConsumerProperties a sensitive property and its value appears in logs. Use this property to configure advanced Kafka consumer settings that are not directly exposed as connection properties, such as fine-tuning fetch behavior, retry intervals, timeouts, and security configuration details.

Specifies the number of partitions to assign to a topic created through a CREATE TABLE statement.

解説

When you execute a CREATE TABLE statement, the Sync App creates a new empty Kafka topic. By default, this topic is created with one partition.

Increase this value to create topics with additional partitions. More partitions allow Kafka to distribute messages across multiple consumers within the same consumer group, enabling greater parallelism and higher throughput. Choose a partition count that aligns with your expected workload and consumer group size.

Specifies the the number of replicas to assign to a topic created through a CREATE TABLE statement.

解説

When you execute a CREATE TABLE statement, the Sync App creates a new empty Kafka topic. By default, the topic is created with a replication factor of 3.

You can adjust this value to create topics with more or fewer replicas. The replication factor must not exceed the number of brokers in your Kafka cluster. For example, a topic with a replication factor of 3 cannot be created on a cluster with only 2 brokers.

Kafka uses replicas to maintain availability and prevent data loss during broker failures. If all replicas for a partition become unavailable, the topic cannot be accessed. Increasing the number of replicas can improve resilience on larger clusters.

Specifies whether the provider ensures that produced messages are delivered in order and without duplicates.

解説

When set to true, the Sync App enables Kafka's idempotent producer mode. Kafka assigns a sequence number to each produced message, allowing the broker to detect and discard duplicates and to preserve message order during retries.

When set to false, the Sync App does not apply these delivery guarantees, and duplicate messages may be produced if retries occur during network interruptions or broker failures.

Specifies whether the Partition, Offset, and Timestamp columns are exposed.

解説

Apache Kafka messages include three pieces of metadata along with every message. These are the timestamp when the message was produced, what partition it was produced to, and the message's offset within that partition. The Sync App exposes these as the Timestamp, Partition, and Offset columns.

When set to true, these metadata columns are included in every table. When set to false, the Sync App hides these columns, but still receives the underlying metadata.

Consider the following points when deciding whether to disable this option:

• There is no performance benefit to hiding these columns. The Apache Kafka protocol sends them every time the Sync App consumes a message.
• The Sync App uses the Partition column to restrict SELECT statements to specific partitions. For example, to execute SELECT * FROM topic WHERE Partition IN (1, 2) the Sync App requests messages from only the first two partitions. Without the partition column the Sync App always consumes messages from all partitions, or whatever partitions are dictated by the current consumer group (if ConsumerGroupId is set).

Specifies how many elements to return from nested arrays when TypeDetectionScheme is set to SchemaRegistry.

解説

When TypeDetectionScheme is set to SchemaRegistry, nested arrays are not exposed by default.

Set this property to expose a specific number of elements from a nested array as individual columns. The Sync App creates one column per element, starting with index 0.

For example, consider the following array:

["FLOW-MATIC","LISP","COBOL"]

If this property is set to 1, the Sync App exposes only the element at index 0:

Column Name	Column Value
languages.0	FLOW-MATIC

If this property is set to 0, no elements of nested arrays are exposed as columns.

スキーマを生成して保存するユーザーの好みのタイミングを示します。

解説

このプロパティは、Location で指定されたパスの.rsd ファイルにスキーマをアウトプットします。

有効な設定は次のとおりです。

• Never：スキーマファイルは生成されません。
• OnUse：スキーマファイルがまだ存在していない場合に、初めてテーブルが参照されるときにスキーマファイルが生成されます。
• OnStart：現在スキーマファイルを持たないあらゆるテーブルに対して、接続時にスキーマファイルが生成されます。
• OnCreate：CREATE TABLE SQL クエリを実行すると、スキーマファイルが生成されます。

ファイルを再生成したい場合には、既存のファイルを削除する必要があることに注意してください。

SQL でスキーマを生成する

GenerateSchemaFiles をOnUse に設定すると、Sync App はSELECT クエリを実行したときにスキーマを生成します。スキーマはクエリのそれぞれの参照されたテーブルに対して生成されます。

GenerateSchemaFiles をOnCreate に設定すると、CREATE TABLE クエリが実行されたときにのみスキーマが生成されます。

接続時にスキーマを生成する

このプロパティのもう一つの使い方は、接続するときにデータベース内のすべてのテーブルのスキーマを取得することです。これには、GenerateSchemaFiles をOnStart に設定して接続します。

Determines whether to hide key or value colums when the topic has no associated schema information.

解説

In some situations the Sync App has no information on the type of data stored in the keys or values of a topic's messages. This can happen for several reasons:

• When TypeDetectionScheme=RowScan or TypeDetectionScheme=None, and none of the messages scanned have key/value content
• When TypeDetectionScheme=SchemaRegistry or TypeDetectionScheme=SchemaRegistryAggregate
  • If message keys are enabled (see MessageKeyType), and no key schema is available for a topic
  • If AllowKeyOnlyRegistryTopics=true, and no value schema is available for a topic
  • If either the key or value schema exisxts, but is in an unsupported format

This option determines whether the Sync App exposes fallback columns for parts of the message that have no schema information. In the following descriptions, value columns include both the Message column used for single values as well as columns flattened from the value. Similarly, key columns include both the top-level key column (named by MessageKeyColumn) and columns flattened from the key. Refer to トピックからのメタデータの抽出 for more information on column flattening.

By default the Sync App follows these legacy rules, which are compatible with versions of the Sync App before this option was introduced:

• For TypeDetectionScheme=RowScan and TypeDetectionScheme=None, no value columns are exposed if none of the scanned messages have values. The same applies for keys if they are enabled.
• For TypeDetectionScheme=SchemaRegistry or TypeDetectionScheme=SchemaRegistryAggregate, the behavior depends upon AllowKeyOnlyRegistryTopics. By default key-only topics are disabled and topics without value schemas are not exposed as tables. When key-only topics are enabled, topics without value schemas expose a fallback Message column that reports base64 values. In either case, topics without key schemas do not expose key columns.

The other options provide consistent behavior regardless of the TypeDetectionScheme:

• With HideUnusedColumns=Never, the Sync App pushes fallback columns for topic values, and keys if enabled. The fallback value column is called Message and the fallback key columns is named by MessageKeyColumn. Both fallback columns report base64 values.
• With HideUnusedColumns=Key, the Sync App does not push a fallback column for keys. It still pushes a fallback column for values. If key columns are not enabled, this option has the same behavior as Never.
• With HideUnusedColumns=Value, the Sync App does not push a fallback column for values. It still pushes a fallback column for keys if keys are enabled.
• With HideUnusedColumns=KeyAndMessage, the Sync App never pushes fallback columns.

Note that there are no cases where TypeDetectionScheme=MessageOnly and schema information is missing. In MessageOnly mode, the Sync App does not use any external information to determine the format of the topic's values. The Sync App always returns a single Message column that is decoded according to SerializationFormat. Key columns behave the same way but using MessageKeyType.

For the same reason, the Sync App does not consider a column unused if it uses a primitive value format. Setting SerializationFormat to Long, Integer, Float, Double, or String prevents the Sync App from accessing the broker or schema registry to determine value schemas. The same applies for MessageKeyType and key schemas.

Specifies the maximum size, in bytes, of a batch of messages that the provider gathers before sending the batch to Apache Kafka.

解説

A batch may contain one or more messages. The Sync App accumulates messages for a single partition until the total size of the batch reaches this value, at which point the batch is sent to Apache Kafka.

If a single message exceeds the batch size, the message is sent on its own. Apache Kafka uses batching to increase throughput, so larger batch sizes may reduce the number of requests sent to the broker, while smaller batch sizes may send messages more quickly, but with additional request overhead.

集計やGROUP BY を含まないクエリで返される最大行数を指定します。

解説

このプロパティのデフォルト値である-1 は、クエリに明示的にLIMIT 句が含まれていない限り、行の制限が適用されないことを意味します。 （クエリにLIMIT 句が含まれている場合、クエリで指定された値がMaxRows 設定よりも優先されます。）

MaxRows を0より大きい整数に設定することで、クエリがデフォルトで過度に大きな結果セットを返さないようにします。

このプロパティは、非常に大きなデータセットを返す可能性のあるクエリを実行する際に、パフォーマンスを最適化し、過剰なリソース消費を防ぐのに役立ちます。

Specifies the name of the column where the provider stores the message key for each record.

解説

Set this property to expose message key data as a column in the table schema. If this property is not set, message key data is not included in the result set. See MessageKeyType for details on how the Sync App interprets and formats message keys.

The type of data stored in message keys.

解説

By default the Sync App does not report message keys. To enable message keys, this property must be set to a value other than Null and MessageKeyColumn must be set to a valid column name.

See トピックからのメタデータの抽出 for a description of how this interacts with the TypeDetectionScheme property. SerializationFormat describes how each of these supported formats is encoded. There are three main differences between how that property and this property work:

• Complex key columns are always prefixed with MessageKeyColumn and a dot, while primitive key columns use MessageKeyColumn as their name. For example, if MessageKeyColumn is Key, an Avro key would expose columns like Key.field1. A string key would be expose a single column called Key.
• SerializationFormat uses NONE for binary fields while this property uses Binary.
• The Sync App only supports reading key schemas from the registry when connected to a Confluent RegistryService. Confluent registries use a naming convention that allows for both key and value schemas that cover the same topic.

Specifies the TypeDetectionScheme to use for topics that do not have schemas in the schema registry.

解説

When TypeDetectionScheme is set to a registry-type detection scheme, the Sync App exposes only topics that have schemas registered in the schema registry. Topics without registry entries are skipped and do not appear as tables.

Set this property to a value other than Disabled to expose both registry and non-registry topics. Topics with registry schemas continue to use the registry for column definitions, and topics without registry schemas use the detection scheme specified in this property.

The available values for this property are: Disabled, None, RowScan, and MessageOnly. These values have the same meaning as the corresponding options in TypeDetectionScheme.

See トピックからのメタデータの抽出 for details on how type detection works.

Specifies how the provider determines the starting offset when no committed offset exists for the consumer group.

解説

This property applies when the consumer group has no previously committed offset for a partition.

Select one of the following strategies:

Value	Description
Earliest	Start reading from the beginning of the partition.
Latest	Start reading from the end of the partition, consuming only messages produced after the consumer group begins reading.

Once a committed offset exists for a consumer group, Apache Kafka resumes reading from the committed offset regardless of this property's value.

特定の問題に対処するため、特殊なシナリオ向けの高度な接続プロパティを指定します。このプロパティは、サポートチームの指示がある場合にのみ使用してください。

解説

このプロパティにより、シニアユーザーはサポートチームのアドバイスに基づいて、特定の状況に対応する隠しプロパティを設定できます。 これらの設定は通常のユースケースには必要ありませんが、特定の要件に対応したり、追加の機能を提供したりすることができます。 複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。

Note：特定のシナリオや問題に対処するためにサポートチームから助言があった場合にのみ、これらのプロパティを設定することを強く推奨します。

統合およびフォーマット

プロパティ	説明
DefaultColumnSize	データソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。
ConvertDateTimeToGMT=True	日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換します。デフォルト値はFalse（ローカルタイムを使用）です。
RecordToFile=filename	基底のソケットデータ転送を指定のファイルに記録します。

Specifies the maximum number of rows that the provider retrieves from Apache Kafka in a single read operation.

解説

The Sync App reads messages from Apache Kafka in batches and stores them in memory before returning rows to the result set. Only the first row of each batch requires a network request while subsequent rows are returned directly from the in-memory buffer.

This property controls the maximum number of rows the Sync App holds in this buffer at one time. Higher values reduce how often the Sync App must request new data, while lower values reduce memory usage.

Specifies additional Apache Kafka producer configuration options that the provider passes directly to the client.

解説

Use this property to supply Apache Kafka producer settings that are not exposed as dedicated connection properties. This property accepts a semicolon-separated list of key–value pairs, and all options are passed directly to the underlying producer without validation by the Sync App.

For example, you can specify properties such as acks or compression.type by including them in this property.

Be careful what configuration options you set via this property. The Sync App does not consider ConsumerProperties a sensitive property and its value appears in logs.

See ConsumerProperties for a description of how custom client configuration properties are handled.

テーブルカラムとして公開する擬似カラムを、'TableName=ColumnName;TableName=ColumnName' の形式の文字列で指定します。

解説

このプロパティを使用すると、Sync App がテーブルカラムとして公開する擬似カラムを定義できます。

個々の擬似カラムを指定するには、以下の形式を使用します。

Table1=Column1;Table1=Column2;Table2=Column3

すべてのテーブルのすべての擬似カラムを含めるには、次を使用してください：

*=*

Specifies how long, in seconds, the provider waits for additional messages after a read operation begins.

解説

This property determines the amount of time the Sync App continues polling Apache Kafka for new messages once it has started reading from a topic. If new messages arrive before the duration expires, they are included in the result set. When the duration elapses with no new messages, the read operation completes.

Specifies the maximum number of messages that the provider scans to determine the columns and data types for a topic.

解説

The Sync App inspects message values to infer a topic’s schema when using a type detection scheme that requires scanning. This property limits how many messages are read during that process.

Higher values allow the Sync App to discover more fields and infer more accurate data types, but may increase startup time for the query. Lower values reduce scanning time, but may cause some fields or data types to be missed if they do not appear within the scanned messages.

Specifies the extension values to send with OAuth auth schemes.

解説

When authenticating using OAuth, the Sync App obtains an OAuth access token according to the chosen AuthScheme. The Sync App uses the Kafka native library to authenticates to the broker using SASL OAUTHBEARER. The OAUTHBEARER mechanism sends the access token along with an optional list of extension settings.

This property accepts a semicolon-separated list of key-value pairs. These options are mapped to extension settings during OAUTHBEARER authentication. For example, clusterId=1;computePool=primary sets the clusterId and computePool extension settings.

Extension settings are vendor-defined, you should refer to your provider's documentation since individual managed Kafka providers may allow (or even require) specific extensions. Providers typically document these settings as JAAS configurations since the Kafka client library is configured with this format. JAAS configurations with extension settings prefix them with extension_. To provide the following configuration to the Sync App, set SASLOAuthExtensions to logicalCluster=clust-123;identityPoolId=mypool.

sasl.jaas.config= \
  org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
    clientId='...'
    scope='...'
    clientSecret='...'
    extension_logicalCluster='clust-123';
    extension_identityPoolId='mypool';

This option only applies to the following AuthScheme configurations. Other authentication schemes ignore this property because they do not use OAUTHBEARER.

• KafkaOAuthClient
• AzureAD
• AzureMSI
• AzureServicePrincipal
• AzureServicePrincipalCert
• OAuthJWT
• GCPInstanceAccount
• AWSWorkloadIdentity

Specifies whether the provider connects only to the schema registry.

解説

When set to true, the Sync App disables all broker connections and operates only against the schema registry. In this mode, the Sync App does not perform any operations that requires access to the Apache Kafka broker. Attempting any of the following operations in registry-only mode results in an error:

• SELECT queries (excluding system tables)
• INSERT statements
• CREATE TABLE statements
• CommitOffset
• ProduceMessage

Registry-only mode requires the following configuration settings:

• TypeDetectionScheme must be set to SchemaRegistry. Any other value requires a broker connection to list tables.
• ValidateRegistryTopics must be set to false. When validation is enabled, the Sync App compares broker topics with registry subjects, which requires connecting to the Apache Kafka broker.

Specifies how to serialize/deserialize message contents.

解説

The Sync App uses this property differently based on the value of TypeDetectionScheme. See トピックからのメタデータの抽出 for details on how these properties interact.

Primitive and Complex Formats

This section applies only when TypeDetectionScheme is set to SchemaRegistry, None, or RowScan modes. MessageOnly always reports the message as a single column regardless of the format. The only difference is the column type.

The Sync App supports two different kinds of formats: primitive formats and complex formats. Primitive formats are reported in a single column called Message. The primitive formats use encodings that are compatible with the kafka-clients and Confluent.Kafka libraries.

Avro, CSV, CSV_WITH_HEADERS, XML, and JSON are all complex formats. The Sync App parses these formats into one or more columns, flattening nested Avro, XML, and JSON values as necessary.

Auto is also a complex format, but the exact data format is determined at runtime. The Sync App determines whether a value is Avro, CSV, XML, or JSON by looking for either a specific header (the Avro OBJ header) or specific characters. If none of these methods succeed the Sync App assumes the value is CSV.

Available formats:

Format	Description
NONE	Message is always BASE64 encoded on both the consume and produce operations.
AUTO	Attempts to automatically detect the current topic's serialization format. See トピックからのメタデータの抽出 for more information.
JSON	Message is serialized using the JSON format.
CSV	Message is serialized using the CSV format.
CSV_WITH_HEADERS	Message is serialized using the CSV format with a separate header line before the data. This option only applies to messages created using INSERT. In SELECT, it behaves the same as CSV.
XML	Message is serialized using the XML format.
AVRO	Message is serialized using the Avro format.
LONG	Message is serialized as a 64-bit big-endian integer.
INTEGER	Message is serialized as a 32-bit big-endian integer.
FLOAT	Message is serialized as a 32-bit floating-point number.
DOUBLE	Message is serialized as a 64-bit floating-point number.
STRING	Message is serialized as text. By default the Sync App uses UTF-8, but setting Charset overrides this.

provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。

解説

タイムアウトは、クエリや操作全体ではなくサーバーとの個々の通信に適用されます。 例えば、各ページング呼び出しがタイムアウト制限内に完了する場合、クエリは60秒を超えて実行を続けることができます。

タイムアウトはデフォルトで60秒に設定されています。タイムアウトを無効にするには、このプロパティを0に設定します。

タイムアウトを無効にすると、操作が成功するか、サーバー側のタイムアウト、ネットワークの中断、またはサーバーのリソース制限などの他の条件で失敗するまで無期限に実行されます。

Note： このプロパティは慎重に使用してください。長時間実行される操作がパフォーマンスを低下させたり、応答しなくなる可能性があるためです。

Specifies how the provider determines the available fields and data types for each topic.

解説

This property controls whether the Sync App reads message data, uses schema registry information, or combines multiple registry versions to detect columns. Different options may require access to the schema registry or may scan message data directly. See トピックからのメタデータの抽出 for more information on how this property interacts with different values of SerializationFormat, RegistryService, and MessageKeyType.

Specifies how Avro data should be formatted during an INSERT.

解説

When set to false, the Sync App writes Avro data using standard Avro file blocks as defined in the Avro specification. This format allows multiple rows to be written into a single Kafka message and is more compact, but it is not compatible with Confluent tools or Confluent schema validation.

When set to true, the Sync App writes each row as a separate message using the Confluent Avro format. Enable this option if you rely on Confluent schema validation or need compatibility with Confluent serialization libraries.

This option cannot be enabled unless RegistryURL is set and points to a Confluent schema registry. AWS Glue registries do not support schema IDs, which are required by the Confluent Avro format.

カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。

解説

UserDefinedViews を使用すると、UserDefinedViews.json というJSON 形式の構成ファイルを通じてカスタムビューを定義および管理できます。 これらのビューはSync App によって自動的に認識され、標準のデータベースビューのようにカスタムSQL クエリを実行できるようになります。 JSON ファイルは、各ビューをルート要素として定義し、その子要素として"query" を持ちます。この"query" にはビューのSQL クエリが含まれています。

次に例を示します。

{
	"MyView": {
		"query": "SELECT * FROM SampleTable_1 WHERE MyColumn = 'value'"
	},
	"MyView2": {
		"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
	}
}

このプロパティを使用して、1つのファイルに複数のビューを定義し、ファイルパスを指定できます。 次に例を示します。

UserDefinedViews=C:\Path\To\UserDefinedViews.json

UserDefinedViews でビューを指定すると、Sync App はそのビューだけを参照します。

詳しくは、ユーザー定義ビュー を参照してください。

Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry

解説

Schema registries can include metadata for topics that cannot be accessed in Kafka. This can happen because the topic doesn't exist on the broker. It is also possible that the principal the connection is authenticated to does not have access to the topic.

By default, the Sync App will get a list of schemas from the registry and then filter out any that the broker does not report. All the remaining valid topics are exposed as tables. You can disable this behavior by setting this option to false. This will report all schemas in the registry as tables regardless of whether they are accessible on the broker.

Workload Identity Federation プールのID。

解説

Workload Identity Federation プールのID。

Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。

解説

Workload Identity Federation プールをホストするGoogle Cloud プロジェクトのID。

Workload Identity Federation プールプロバイダーのID。

解説

Workload Identity Federation プールプロバイダーのID。

LZMA from 7Zip LZMA SDK

LZMA SDK is placed in the public domain.

Anyone is free to copy, modify, publish, use, compile, sell, or distribute the original LZMA SDK code, either in source code form or as a compiled binary, for any purpose, commercial or non-commercial, and by any means.

LZMA2 from XZ SDK

Version 1.9 and older are in the public domain.

Xamarin.Forms

Xamarin SDK

The MIT License (MIT)

Copyright (c) .NET Foundation Contributors

All rights reserved.

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

NSIS 3.10

Copyright (C) 1999-2025 Contributors THE ACCOMPANYING PROGRAM IS PROVIDED UNDER THE TERMS OF THIS COMMON PUBLIC LICENSE ("AGREEMENT"). ANY USE, REPRODUCTION OR DISTRIBUTION OF THE PROGRAM CONSTITUTES RECIPIENT'S ACCEPTANCE OF THIS AGREEMENT.

1. DEFINITIONS

"Contribution" means:

a) in the case of the initial Contributor, the initial code and documentation distributed under this Agreement, and b) in the case of each subsequent Contributor:

i) changes to the Program, and

ii) additions to the Program;

where such changes and/or additions to the Program originate from and are distributed by that particular Contributor. A Contribution 'originates' from a Contributor if it was added to the Program by such Contributor itself or anyone acting on such Contributor's behalf. Contributions do not include additions to the Program which: (i) are separate modules of software distributed in conjunction with the Program under their own license agreement, and (ii) are not derivative works of the Program.

"Contributor" means any person or entity that distributes the Program.

"Licensed Patents " mean patent claims licensable by a Contributor which are necessarily infringed by the use or sale of its Contribution alone or when combined with the Program.

"Program" means the Contributions distributed in accordance with this Agreement.

"Recipient" means anyone who receives the Program under this Agreement, including all Contributors.

2. GRANT OF RIGHTS

a) Subject to the terms of this Agreement, each Contributor hereby grants Recipient a non-exclusive, worldwide, royalty-free copyright license to reproduce, prepare derivative works of, publicly display, publicly perform, distribute and sublicense the Contribution of such Contributor, if any, and such derivative works, in source code and object code form.

b) Subject to the terms of this Agreement, each Contributor hereby grants Recipient a non-exclusive, worldwide, royalty-free patent license under Licensed Patents to make, use, sell, offer to sell, import and otherwise transfer the Contribution of such Contributor, if any, in source code and object code form. This patent license shall apply to the combination of the Contribution and the Program if, at the time the Contribution is added by the Contributor, such addition of the Contribution causes such combination to be covered by the Licensed Patents. The patent license shall not apply to any other combinations which include the Contribution. No hardware per se is licensed hereunder.

c) Recipient understands that although each Contributor grants the licenses to its Contributions set forth herein, no assurances are provided by any Contributor that the Program does not infringe the patent or other intellectual property rights of any other entity. Each Contributor disclaims any liability to Recipient for claims brought by any other entity based on infringement of intellectual property rights or otherwise. As a condition to exercising the rights and licenses granted hereunder, each Recipient hereby assumes sole responsibility to secure any other intellectual property rights needed, if any. For example, if a third party patent license is required to allow Recipient to distribute the Program, it is Recipient's responsibility to acquire that license before distributing the Program.

d) Each Contributor represents that to its knowledge it has sufficient copyright rights in its Contribution, if any, to grant the copyright license set forth in this Agreement.

3. REQUIREMENTS

A Contributor may choose to distribute the Program in object code form under its own license agreement, provided that:

a) it complies with the terms and conditions of this Agreement; and

b) its license agreement:

i) effectively disclaims on behalf of all Contributors all warranties and conditions, express and implied, including warranties or conditions of title and non-infringement, and implied warranties or conditions of merchantability and fitness for a particular purpose;

ii) effectively excludes on behalf of all Contributors all liability for damages, including direct, indirect, special, incidental and consequential damages, such as lost profits;

iii) states that any provisions which differ from this Agreement are offered by that Contributor alone and not by any other party; and

iv) states that source code for the Program is available from such Contributor, and informs licensees how to obtain it in a reasonable manner on or through a medium customarily used for software exchange.

When the Program is made available in source code form:

a) it must be made available under this Agreement; and

b) a copy of this Agreement must be included with each copy of the Program.

Contributors may not remove or alter any copyright notices contained within the Program.

Each Contributor must identify itself as the originator of its Contribution, if any, in a manner that reasonably allows subsequent Recipients to identify the originator of the Contribution.

4. COMMERCIAL DISTRIBUTION

Commercial distributors of software may accept certain responsibilities with respect to end users, business partners and the like. While this license is intended to facilitate the commercial use of the Program, the Contributor who includes the Program in a commercial product offering should do so in a manner which does not create potential liability for other Contributors. Therefore, if a Contributor includes the Program in a commercial product offering, such Contributor ("Commercial Contributor") hereby agrees to defend and indemnify every other Contributor ("Indemnified Contributor") against any losses, damages and costs (collectively "Losses") arising from claims, lawsuits and other legal actions brought by a third party against the Indemnified Contributor to the extent caused by the acts or omissions of such Commercial Contributor in connection with its distribution of the Program in a commercial product offering. The obligations in this section do not apply to any claims or Losses relating to any actual or alleged intellectual property infringement. In order to qualify, an Indemnified Contributor must: a) promptly notify the Commercial Contributor in writing of such claim, and b) allow the Commercial Contributor to control, and cooperate with the Commercial Contributor in, the defense and any related settlement negotiations. The Indemnified Contributor may participate in any such claim at its own expense.

For example, a Contributor might include the Program in a commercial product offering, Product X. That Contributor is then a Commercial Contributor. If that Commercial Contributor then makes performance claims, or offers warranties related to Product X, those performance claims and warranties are such Commercial Contributor's responsibility alone. Under this section, the Commercial Contributor would have to defend claims against the other Contributors related to those performance claims and warranties, and if a court requires any other Contributor to pay any damages as a result, the Commercial Contributor must pay those damages.

5. NO WARRANTY

EXCEPT AS EXPRESSLY SET FORTH IN THIS AGREEMENT, THE PROGRAM IS PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, EITHER EXPRESS OR IMPLIED INCLUDING, WITHOUT LIMITATION, ANY WARRANTIES OR CONDITIONS OF TITLE, NON-INFRINGEMENT, MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Each Recipient is solely responsible for determining the appropriateness of using and distributing the Program and assumes all risks associated with its exercise of rights under this Agreement, including but not limited to the risks and costs of program errors, compliance with applicable laws, damage to or loss of data, programs or equipment, and unavailability or interruption of operations.

6. DISCLAIMER OF LIABILITY

EXCEPT AS EXPRESSLY SET FORTH IN THIS AGREEMENT, NEITHER RECIPIENT NOR ANY CONTRIBUTORS SHALL HAVE ANY LIABILITY FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING WITHOUT LIMITATION LOST PROFITS), HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OR DISTRIBUTION OF THE PROGRAM OR THE EXERCISE OF ANY RIGHTS GRANTED HEREUNDER, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGES.

7. GENERAL

If any provision of this Agreement is invalid or unenforceable under applicable law, it shall not affect the validity or enforceability of the remainder of the terms of this Agreement, and without further action by the parties hereto, such provision shall be reformed to the minimum extent necessary to make such provision valid and enforceable.

If Recipient institutes patent litigation against a Contributor with respect to a patent applicable to software (including a cross-claim or counterclaim in a lawsuit), then any patent licenses granted by that Contributor to such Recipient under this Agreement shall terminate as of the date such litigation is filed. In addition, if Recipient institutes patent litigation against any entity (including a cross-claim or counterclaim in a lawsuit) alleging that the Program itself (excluding combinations of the Program with other software or hardware) infringes such Recipient's patent(s), then such Recipient's rights granted under Section 2(b) shall terminate as of the date such litigation is filed.

All Recipient's rights under this Agreement shall terminate if it fails to comply with any of the material terms or conditions of this Agreement and does not cure such failure in a reasonable period of time after becoming aware of such noncompliance. If all Recipient's rights under this Agreement terminate, Recipient agrees to cease use and distribution of the Program as soon as reasonably practicable. However, Recipient's obligations under this Agreement and any licenses granted by Recipient relating to the Program shall continue and survive.

Everyone is permitted to copy and distribute copies of this Agreement, but in order to avoid inconsistency the Agreement is copyrighted and may only be modified in the following manner. The Agreement Steward reserves the right to publish new versions (including revisions) of this Agreement from time to time. No one other than the Agreement Steward has the right to modify this Agreement. IBM is the initial Agreement Steward. IBM may assign the responsibility to serve as the Agreement Steward to a suitable separate entity. Each new version of the Agreement will be given a distinguishing version number. The Program (including Contributions) may always be distributed subject to the version of the Agreement under which it was received. In addition, after a new version of the Agreement is published, Contributor may elect to distribute the Program (including its Contributions) under the new version. Except as expressly stated in Sections 2(a) and 2(b) above, Recipient receives no rights or licenses to the intellectual property of any Contributor under this Agreement, whether expressly, by implication, estoppel or otherwise. All rights in the Program not expressly granted under this Agreement are reserved.

This Agreement is governed by the laws of the State of New York and the intellectual property laws of the United States of America. No party to this Agreement will bring a legal action under this Agreement more than one year after the cause of action arose. Each party waives its rights to a jury trial in any resulting litigation.