Sync App アプリケーションの接続 ページに移動し、接続の追加 パネルで対応するアイコンを選択して、Apache Kafka への接続を作成します。Apache Kafka アイコンが利用できない場合は、Add More アイコンをクリックしてCData サイトからApache Kafka コネクタをダウンロードおよびインストールします。

必須プロパティは［設定］タブにリストされています。［Advanced］タブには、通常は必要ない接続プロパティが表示されます。

Apache Kafka への接続

BootstrapServers およびTopic プロパティを設定し、それぞれApache Kafka サーバーのアドレス、対話したいトピックを指定します。

デフォルトでは、Sync App はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。通信を暗号化するには、Sync App がSSL 暗号化を使用するように設定する必要があります。 これを行うには、UseSSL をtrue に設定し、SSLServerCert およびSSLServerCertType をサーバー証明書を読み込むように設定します。

ProxyServer のようなプロキシ設定やFirewallServer のようなファイアウォール設定は、Apache Kafka ブローカーへの接続には影響しないことに注意してください。 内部的には、Sync App はプロキシをサポートしない公式ライブラリを使ってApache Kafka に接続します。 これらのオプションは、トピックからのメタデータの抽出 で説明したように、Sync App がスキーマレジストリに接続する場合にのみ使用されます。

Apache Kafka への認証

Apache Kafka データソースは、次の認証メソッドをサポートしています。

• Anonymous
• Plain
• Scram
• Kerberos

Anonymous

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティの設定なしでApache Kafka に接続できます。そのためには、AuthScheme をNone （デフォルト）に設定するだけで接続できるようになります。

SASL Plain

User およびPassword プロパティを指定する必要があります。AuthScheme はPlain に設定します。

SCRAM ログインモジュール

User およびPassword プロパティを指定する必要があります。AuthScheme は'SCRAM'（SCRAM-SHA-256 用）または'SCRAM-SHA-512' に設定します。

SSL クライアント証明書

SSLClientCert およびSSLClientCertType プロパティを指定し、AuthScheme はSSLCertificate に設定します。

Kerberos

• AuthScheme：KERBEROS に設定。
• KerberosServiceName：これはKafka ブローカーのプリンシパル名と一致させる必要があります。例えば、プリンシパルが"kafka/[email protected]" の場合、KerberosServiceName=kafka です。

このセクションでは、Apache Kafka Sync App の高度な機能を厳選して説明します。

ユーザー定義ビュー

Sync App を使用すると、事前設定されたクエリによって内容が決定されるユーザー定義ビューと呼ばれる仮想テーブルを定義できます。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。

SSL の設定

SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。 詳しくは、接続文字列オプションにあるSSLServerCert プロパティを参照してください。

ファイアウォールとプロキシ

Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。

クエリ処理

Sync App は、Apache Kafka にできるだけ多くのSELECT ステートメント処理をオフロードし、残りのクエリをクライアント側のインメモリで処理します。

詳しくはクエリ処理 を参照してください。

ログ

CData ログを調整するために使用可能な設定の概要については、ログ を参照してください。基本的なロギングでは、 次の2つの接続プロパティを設定するだけです。LogModules 接続プロパティを使用してログに記録する情報のサブセットを選択できる、 より洗練されたロギングをサポートする多数の機能があります。

SSL 設定のカスタマイズ

デフォルトでは、Sync App はサーバーの証明書をシステムの信頼できる証明書ストアと照合してSSL / TLS のネゴシエーションを試みます。

別の証明書を指定するには、利用可能なフォーマットについてSSLServerCert プロパティを参照してください。

クライアントSSL 証明書

Apache Kafka Sync App はクライアント証明書の設定もサポートしています。次を設定すれば、クライアント証明書を使って接続できます。

• SSLClientCert：クライアント証明書のための証明書ストア名。
• SSLClientCertType：TLS / SSL クライアント証明書を格納するキーストアの種類。
• SSLClientCertPassword：TLS / SSL クライアント証明書のパスワード。
• SSLClientCertSubject：TLS / SSL クライアント証明書のサブジェクト。

Firewall またはProxy 経由の接続

HTTP プロキシ

Windows のシステムプロキシ経由の接続では、接続プロパティを追加で設定する必要はありません。他のプロキシに接続するには、ProxyAutoDetect をfalse に設定します。

さらにHTTP プロキシへの認証には、ProxyServer とProxyPort に加えてProxyAuthScheme、ProxyUser、およびProxyPassword を設定します。

その他のプロキシ

次のプロパティを設定します。

• プロキシベースのファイヤーウォールを使用するには、FirewallType、FirewallServer、およびFirewallPort を設定します。
• 接続をトンネルするには、FirewallType をTUNNEL に設定します。
• 認証するには、FirewallUser とFirewallPassword を設定します。
• SOCKS プロキシへの認証には、さらにFirewallType をSOCKS5 に設定します。

The CData Sync App dynamically models Apache Kafka topics as tables. A complete list of discovered topics can be obtained from the sys_tables system table.

Connections to Apache Kafka become part of a consumer group. Any message delivered to a consumer group will only come back in a SELECT query to the topic once.

When a topic is queried for the first time, the OffsetResetStrategy property influences which messages are retrieved.

Select Earliest to retrieve old and live messages, and select Latest to select only live messages.

This means that, if Earliest was chosen as the OffsetResetStrategy, historical data is only read the first time the topic is queried.

Each Sync App connection is assigned a unique consumer group, and can therefore retrieve historical data again. Set ConsumerGroupId to persists the message offset across connections. If the ConsumerGroupId is persisted, queries will retrieve all messages since the last connection. Any consistent value will work, though GUIDs are recommended.

Tables

SELECTing from a topic returns old messages from the topic, as well as live messages posted before the number of seconds specified by the ReadDuration have elapsed.

Stored Procedures

ストアドプロシージャ are function-like interfaces to Apache Kafka. They can be used to create schema files, commit messages, and more.

Authentication

Connection

Kerberos

SSL

Schema Registry

Firewall

Proxy

Logging

Schema

Miscellaneous

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。

The scheme used for authentication with the Apache Kafka broker.

解説

The supported schemes are described as follows:

The user who is authenticating to Apache Kafka.

解説

If not specified, the driver will attempt unauthorized connection.

The password used to authenticate to Apache Kafka.

解説

If not specified, the driver will attempt an unauthorized connection.

The address of the Apache Kafka BootstrapServers to which you are connecting to.

解説

Specify both the server and port. The server may be either a hostname or IP address, for example: 10.1.2.3:9092. Multiple comma-separated addresses may be provided. As long as one of the bootstrap servers is in the list responses, the connection will be successful.

If you are connecting to Confluent Cloud, you can find this on the Cluster settings.

The topic used for read and write operations.

解説

By default the Sync App supports producing into and consuming from all topics in Kafka. You can limit it to just one topic by setting this option.

This field sets whether SSL is enabled. Automatically enabled if AuthScheme is set to SSL.

解説

This field sets whether the Sync App will attempt to negotiate TLS/SSL connections to the server. By default, the Sync App checks the server's certificate against the system's trusted certificate store. To specify another certificate, set SSLServerCert.

このセクションでは、本プロバイダーの接続文字列で設定可能なConnection プロパティの全リストを提供します。

Specifies which group the consumers created by the driver should belong to.

解説

If not specified, the driver will assign a random string.

Specifies if the Apache Kafka consumer should autocommit after each poll.

解説

If true, the consumer's offset will be periodically committed in the background.

このセクションでは、本プロバイダーの接続文字列で設定可能なKerberos プロパティの全リストを提供します。

The Keytab file containing your pairs of Kerberos principals and encrypted keys.

解説

The Keytab file containing your pairs of Kerberos principals and encrypted keys.

The service principal name (SPN) for the Kerberos Domain Controller.

解説

The service principal name (SPN) for the Kerberos Domain Controller.

The name of the Kerberos service you want to authenticate with.

解説

The name of the Kerberos service you want to authenticate with.

Set this to use a ticket cache with the logged in user instead of a keytab file.

解説

Set this to use a ticket cache with the logged in user instead of a keytab file

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。

The SSL server certificate used to validate to the Apache Kafka broker.

解説

The value of this property must be provided in the format described on the SSLServerCertType page. Please refer to it for more details.

The format of the SSL server certificate used to verify the Apache Kafka broker.

解説

This property is used to determine what format the SSLServerCert property expects. This property can take one of the following values:

The password used to decrypt the certificate in SSLServerCert .

解説

Leave this blank if the server certificate isn't password protected.

Corresponds to the ssl.truststore.password property.

The SSL client certificate used to connect to the Apache Kafka broker.

解説

The value of this property must be provided in the format described on the SSLClientCertType page. Please refer to it for more details.

The format of the SSL client certificate used to connect to the Apache Kafka broker.

解説

This property is used to determine what format the SSLClientCert property expects. This property can take one of the following values:

The password used to decrypt the certificate in SSLClientCert .

解説

Leave this blank if the client certificate isn't password protected.

The endpoint identification algorithm used by the Apache Kafka data provider client app to validate server host name.

解説

The default value is 'https' and the server host name validation is enabled. You can disable it by setting its value to a blank space.

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema Registry プロパティの全リストを提供します。

The server for the schema registry. When this property is specified, the driver will read Apache Avro schema from the server.

解説

Note this property provides no additional features when SerializationFormat is not set to Avro.

• If you are connecting to Confluent Cloud, this corresponds to the Schema Registry endpoint value in Schemas > Schema Registry > Instructions.
• If you are connecting to AWS Glue service, this corresponds to the ARN value of the AWS Registry you want to connect.

Type of the schema specified for the a specific topic.

解説

Currently we do not support Protobuf. If this value is set to Auto, then we driver will try to detect the valid Schema Registry Type for the selected Topic.

The Schema Registry service used for working with topic schemas.

解説

The Schema Registry service used for working with topic schemas.

The scheme used to authenticate to the schema registry.

解説

The schemes are as follows. Note that some schemes are only available when connecting to a specific RegistryService:

Username to authorize with the server specified in RegistryUrl .

解説

If you are connecting to Confluent Cloud, this corresponds to the Access Key value in Schemas > Schema Registry > API access.

Password to authorize with the server specified in RegistryUrl .

解説

If you are connecting to Confluent Cloud, this corresponds to the Secret Key value in Schemas > Schema Registry > API access.

The TLS/SSL client certificate store for SSL Client Authentication (2-way SSL) with the schema registry.

解説

The name of the certificate store for the client certificate.

The RegistryClientCertType field specifies the type of the certificate store specified by RegistryClientCert. If the store is password protected, specify the password in RegistryClientCertPassword.

RegistryClientCert is used in conjunction with the RegistryClientCertSubject field in order to specify client certificates. If RegistryClientCert has a value, and RegistryClientCertSubject is set, a search for a certificate is initiated. See RegistryClientCertSubject for more information.

Designations of certificate stores are platform-dependent.

The following are designations of the most common User and Machine certificate stores in Windows:

In Java, the certificate store normally is a file containing certificates and optional private keys.

When the certificate store type is PFXFile, this property must be set to the name of the file. When the type is PFXBlob, the property must be set to the binary contents of a PFX file (for example, PKCS12 certificate store).

The type of key store used by the TLS/SSL client certificate given in RegistryClientCert .

解説

This property can take one of the following values:

The password for the TLS/SSL client certificate given in RegistryClientCert .

解説

If the certificate store is of a type that requires a password, this property is used to specify that password to open the certificate store.

The subject of the TLS/SSL client certificate given in RegistryClientCert .

解説

When loading a certificate the subject is used to locate the certificate in the store.

If an exact match is not found, the store is searched for subjects containing the value of the property. If a match is still not found, the property is set to an empty string, and no certificate is selected.

The special value "*" picks the first certificate in the certificate store.

The certificate subject is a comma separated list of distinguished name fields and values. For example, "CN=www.server.com, OU=test, C=US, [email protected]". The common fields and their meanings are shown below.

If a field value contains a comma, it must be quoted.

Version of the schema read from RegistryUrl for the specified topic.

解説

Version of the schema read from RegistryUrl for the specified topic.

The certificate to be accepted from the schema registry when connecting using TLS/SSL.

解説

TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります：

これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。

すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。

このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。

プロキシベースのファイアウォールで使われるプロトコル。

解説

このプロパティは、Sync App がFirewallServer プロキシ経由でトンネルトラフィックを使うためのプロトコルを指定します。デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し次のプロキシタイプのどれかで接続するには、ProxyAutoDetect をfalse に設定します。

HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。

プロキシベースのファイアウォールの名前もしくはIP アドレス。

解説

ファイアウォールトラバーサルを許容するために設定するIP アドレス、DNS 名、もしくはプロキシホスト名を指定するプロパティです。プロトコルはFirewallType で指定されます。このプロパティとFirewallServer を使って、SOCKS 経由での接続、もしくはトンネリングが可能です。HTTP プロキシへの接続には、ProxyServer を使用します。

Sync App はデフォルトでシステムプロキシを使うので注意してください。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定してください。

プロキシベースのファイアウォールのTCP ポート。

解説

ファイアウォールトラバーサルを許容するために設定するプロキシベースのファイアウォールのTCP ポート。名前もしくはIP アドレスを指定するには、FirewallServer を使います。FirewallType でプロトコルを指定します。

プロキシベースのファイアウォールに認証するために使うユーザー名。

解説

FirewallUser およびFirewallPassword プロパティは、FirewallType により指定された認証方式に則り、FirewallServer、およびFirewallPort で指定されたプロキシに対しての認証に使われます。

プロキシベースのファイアウォールへの認証に使われるパスワード。

解説

このプロパティは、FirewallType により指定された認証メソッドに則り、FirewallServer およびFirewallPort で指定されたプロキシに渡されます。

このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。

これは、システムプロキシ設定を使用するかどうかを示します。これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。

解説

これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。

HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。

HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。

解説

HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。HTTP プロキシへの認証には、Sync App はHTTP、Windows(NTLM)、もしくはKerberos 認証タイプを使用することができます。

SOCKS プロキシを経由して接続する、もしくは接続をトンネルするには、FirewallType を参照してください。

デフォルトで、Sync App はsystem プロキシを使います。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定します。

ProxyServer プロキシが起動しているTCP ポート。

解説

HTTP トラフィックをリダイレクトするHTTP プロキシが実行されているポート。ProxyServer でHTTP プロキシを指定します。その他のプロキシタイプについては、FirewallType を参照してください。

ProxyServer プロキシへの認証で使われる認証タイプ。

解説

この値は、ProxyServer およびProxyPort で指定されるHTTP プロキシに認証するために使われる認証タイプを指定します。

Sync App は、デフォルトでsystem proxy settings を使い、追加での設定が不要です。他のプロキシへの接続をする場合には、ProxyServer およびProxyPort に加え、ProxyAutoDetect をfalse に設定します。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。

認証タイプは、次のどれかになります。

• BASIC： Sync App はHTTP BASIC 認証を行います。
• DIGEST： Sync App はHTTP DIGEST 認証を行います。
• NEGOTIATE： Sync App は認証において有効なプロトコルに応じて、NTLM もしくはKereros トークンを取得します。
• PROPRIETARY： Sync App はNTLM もしくはKerberos トークンを発行しません。このトークンを、HTTP リクエストのAuthorization ヘッダーに含める必要があります。

SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。

ProxyServer プロキシへの認証に使われるユーザー名。

解説

ProxyUser および ProxyPassword オプションは、ProxyServer で指定されたHTTP プロキシに対して接続および認証するために使用されます。

ProxyAuthScheme で使用可能な認証タイプを選択することができます。HTTP 認証を使う場合、これをHTTP プロキシで識別可能なユーザーのユーザー名に設定します。Windows もしくはKerberos 認証を使用する場合、このプロパティを次の形式のどれかでユーザー名に設定します。

user@domain
domain\user

ProxyServer プロキシへの認証に使われるパスワード。

解説

このプロパティは、NTLM(Windows)、Kerberos、もしくはHTTP 認証をサポートするHTTP プロキシサーバーに認証するために使われます。HTTP プロキシを指定するためには、ProxyServer およびProxyPort を設定します。認証タイプを指定するためにはProxyAuthScheme を設定します。

HTTP 認証を使う場合、さらにHTTP プロキシにProxyUser およびProxyPassword を設定します。

NTLM 認証を使う場合、Windows パスワードにProxyUser およびProxyPassword を設定します。Kerberos 認証には、これらを入力する必要があります。

SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。

デフォルトで、Sync App はsystem プロキシを使います。他のプロキシに接続する場合には、これをfalse に設定します。

ProxyServer プロキシへの接続時に使用するSSL タイプ。

解説

このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この値は、AUTO、ALWAYS、NEVER、TUNNEL のいずれかです。有効な値は次のとおりです。

ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

解説

ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。

Sync App は、追加設定なしにデフォルトでシステムのプロキシ設定を使います。この接続のプロキシ例外を明示的に構成するには、ProxyAutoDetect をfalse に設定して、ProxyServer およびProxyPort を設定する必要があります。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。

ログファイルに含めるコアモジュール。

解説

指定された（';' で区切られた）モジュールのみがログファイルに含まれます。デフォルトではすべてのモジュールが含まれます。

概要はログ ページを参照してください。

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。

テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。

解説

Sync App のスキーマファイル（テーブルとビューの場合は.rsd ファイル、ストアドプロシージャの場合は.rsb ファイル）を含むディレクトリへのパス。このフォルダの場所は、実行ファイルの場所からの相対パスにすることができます。Location プロパティは、定義をカスタマイズしたり（例えば、カラム名を変更する、カラムを無視するなど）、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。

指定しない場合、デフォルトの場所は"%APPDATA%\\CData\\ApacheKafka Data Provider\\Schema" となり、%APPDATA% はユーザーのコンフィギュレーションディレクトリに設定されます：

このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

解説

スキーマをデータベースからリストすると、負荷がかかる可能性があります。接続文字列でスキーマのリストを提供すると、 パフォーマンスが向上します。

このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。

解説

テーブルを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でテーブルのリストを提供すると、Sync App のパフォーマンスが向上します。

このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。

カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。

複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。

使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

解説

ビューを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でビューのリストを提供すると、Sync App のパフォーマンスが向上します。

このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。

カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。

複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。

Specifies whether or not to return the message as a whole string.

解説

When set to false, the result will be parsed and detected fields will appear in the resultset.

Data compression type. Batches of data will be compressed together.

解説

The following values are supported:

Additional options used to configure Kafka consumers.

解説

The Sync App exposes several Kafka consumer configuration values directly as connection properties. Internally, these are all mapped into properties that are passed to the Kafka client libraries.

If the Sync App does not expose an option for the consumer configuration, it can be set here. This option takes a connection string value and passes all its options directly to the consumer. For example, security.protocol=SASL_SSL;sasl.mechanism=SCRAM-SHA-512 sets the security.protocol and sasl.mechanism consumer properties.

The number of partitions assigned to a topic created with CREATE TABLE.

解説

When executing a CREATE TABLE statement, the Sync App creates a new empty topic. By default, the Sync App creates this new topic with 1 partition.

You can create topics with more partitions by changing this setting. This can be useful if you plan on having multiple consumers process the messages on this topic.

The number of replicas assigned to a topic created with CREATE TABLE.

解説

When executing a CREATE TABLE statement, the Sync App creates a new empty topic. By default, the Sync App creates this topic with a replication factor of 3.

You can create topics with a different number of replicas by changing this setting. There are two main cases where this is useful:

• When your cluster has fewer than 3 nodes. This setting should never be higher than the number of nodes in your cluster. For example, creating topics with a replication factor of 3 on a cluster with 2 nodes will fail.
• When your cluster has more than 3 nodes and you want more safety in case of failover. Apache Kafka uses replicas to prevent data loss when a node fails, and if all the replicas fail then the topic is unavailable.

If set to true, the Apache Kafka will ensure messages are delivered in the correct order, and without duplicates.

解説

Gives each message a sequence number when enabled. Specifies how to serialize/deserialize the incoming or outgoing message.

By default, nested arrays won't show up if TypeDetectionScheme is set to SchemaRegistry. The FlattenArrays property can be used to flatten the elements of nested arrays into columns of their own. Set FlattenArrays to the number of elements you want to return from nested arrays.

解説

Set FlattenArrays to the number of elements you want to return from nested arrays. The specified elements are returned as columns.

For example, you can return an arbitrary number of elements from an array of strings:

["FLOW-MATIC","LISP","COBOL"]

スキーマを生成して保存するユーザーの好みのタイミングを示します。

解説

このプロパティは、Location で指定されたパスの.rsd ファイルにスキーマをアウトプットします。

有効な設定は次のとおりです。

• Never：スキーマファイルは生成されません。
• OnUse：スキーマファイルがまだ存在していない場合に、初めてテーブルが参照されるときにスキーマファイルが生成されます。
• OnStart：現在スキーマファイルを持たないあらゆるテーブルに対して、接続時にスキーマファイルが生成されます。
• OnCreate：CREATE TABLE SQL クエリを実行すると、スキーマファイルが生成されます。

SQL でスキーマを生成する

GenerateSchemaFiles をOnUse に設定すると、Sync App はSELECT クエリを実行したときにスキーマを生成します。スキーマはクエリのそれぞれの参照されたテーブルに対して生成されます。

GenerateSchemaFiles をOnCreate に設定すると、CREATE TABLE クエリが実行されたときにのみスキーマが生成されます。

接続時にスキーマを生成する

このプロパティのもう一つの使い方は、接続するときにデータベース内のすべてのテーブルのスキーマを取得することです。これには、GenerateSchemaFiles をOnStart に設定して接続します。

Specifies maximum batch size to gather before sending a request.

解説

A batch can be formed by one or more messages. The size is specified in bytes.

クエリで集計またはグループ化を使用しない場合に返される行数を制限します。これにより、設計時にパフォーマンスの問題を回避できます。

解説

クエリで集計またはグループ化を使用しない場合に返される行数を制限します。これにより、設計時にパフォーマンスの問題を回避できます。

If specified, the message key sent to Apache Kafka will be read from this column.

解説

If specified, the message key sent to Apache Kafka will be read from this column.

If MessageKeyColumn is specified, this property must be set to the expected type for the pertinent column.

解説

Be advised that, when this value is set to null, MessageKeyColumn will be ignored.

The available types are as follows:

Specifies an offset for the consumer group.

解説

Select one of the following strategies:

これらの隠しプロパティは特定のユースケースでのみ使用されます。

解説

以下にリストされているプロパティは、特定のユースケースで使用可能です。通常のドライバーのユースケースおよび機能では、これらのプロパティは必要ありません。

複数のプロパティをセミコロン区切りリストで指定します。

統合およびフォーマット

Specifies whether or not to send a meta message while producing the outgoing message.

解説

This option is only used if SerializationFormat is set to CSV.

Additional options used to configure Kafka producers.

解説

This option is like ConsumerProperties but applies to producers instead. Please refer to that property for more information.

このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。

解説

Entity Framework ではテーブルカラムでない疑似カラムに値を設定できないため、この設定はEntity Framework で特に便利です。この接続設定の値は、"Table1=Column1, Table1=Column2, Table2=Column3" の形式です。"*=*" のように"*" 文字を使用して、すべてのテーブルとすべてのカラムを含めることができます。

The duration which additional messages are allowed.

解説

A timeout for the Sync App to stop waiting for additional messages to come.

The maximum number of messages to scan for the columns available in the topic.

解説

Setting a high value may decrease performance. Setting a low value may prevent the data type from being determined properly.

Specifies how to serialize/deserialize the incoming or outgoing message.

解説

Available formats:

タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。

解説

Timeout が0に設定されている場合は、操作がタイムアウトしません。処理が正常に完了するか、エラー状態になるまで実行されます。

Timeout の有効期限が切れても処理が完了していない場合は、Sync App は例外をスローします。

Comma-separated list of options specifying how the provider will scan the data to determine the fields and datatypes for the bucket.

解説

The type dection schemes are:

Specifies how Avro data should be formatted during an INSERT.

解説

By default the Sync App writes out Avro data as a series of file blocks (as defined in the Avro specification). Confluent tools and libraries cannot decode this format and it cannot be used with Confluent schema validation. However, it is more compact because it allows multiple rows of Avro data to be stored in a single message.

Enable this option if you use Confluent schema validation, or otherwise require compatibility with Confluent tools and libraries. Each row inserted into an Avro topic will be a separate message and contain a reference to an schema stored in the registry.

Note that this cannot be enabled if there is no RegistryUrl set or RegistryUrl points to an AWS Glue schema registry. AWS Glue schemas do not support schema IDs which are a key part of how Confluent handles Avro data.

カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。

解説

ユーザー定義ビューは、UserDefinedViews.json というJSON 形式のコンフィギュレーションファイルで定義されています。Sync App は、このファイルで指定されたビューを自動的に検出します。

また、複数のビュー定義を持ち、UserDefinedViews 接続プロパティを使用して制御することも可能です。このプロパティを使用すると、指定されたビューのみがSync App によって検知されます。

このユーザー定義ビューのコンフィギュレーションファイルは、次のようにフォーマットされています。

• 各ルートエレメントはビューの名前を定義します。
• 各ルートエレメントには、query と呼ばれる子エレメントが含まれており、この子エレメントにはビューのカスタムSQL クエリが含まれています。

次に例を示します。

{
	"MyView": {
		"query": "SELECT * FROM SampleTable_1 WHERE MyColumn = 'value'"
	},
	"MyView2": {
		"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
	}
}

"UserDefinedViews", "C:\\Users\\yourusername\\Desktop\\tmp\\UserDefinedViews.json"

Specifies whether or not to validate schema registry topics against the Apache Kafka broker. Only has an effect when TypeDetectionScheme =SchemaRegistry

解説

Schema registries can include metadata for topics that cannot be accessed in Kafka. This can happen because the topic doesn't exist on the broker. It is also possible that the principal the connection is authenticated to does not have access to the topic.

By default, the Sync App will get a list of schemas from the registry and then filter out any that the broker does not report. All the remaining valid topics are exposed as tables. You can disable this behavior by setting this option to false. This will report all schemas in the registry as tables regardless of whether they are accessible on the broker.