Spark SQL への接続を追加

Spark SQL への接続を追加するには：

1. アプリケーションコンソールで、接続ページに移動します。
2. 接続の追加パネルで、追加したい接続のアイコンを選択します。
3. Spark SQL アイコンが利用できない場合は、Add More アイコンをクリックしてCData サイトからSpark SQL コネクタをダウンロードおよびインストールします。

必須プロパティについては、設定タブを参照してください。

通常必須ではない接続プロパティについては、高度な設定タブを参照してください。

Spark SQL への接続

Spark SQL への接続を確立するには以下を指定します。

• Server：SparkSQL をホストしているサーバーのホスト名、またはIP アドレス。
• Port：SparkSQL インスタンスへの接続用のポート。
• TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。

セキュアなSpark SQL への接続

Sync App においてTLS/SSL を有効化するには、UseSSL をTrue に設定します。

Spark SQL への認証

サービスは、PLAIN、LDAP、NOSASL、KERBEROS 認証スキームを使用して認証できます。

PLAIN

PLAIN で認証するには、次の接続プロパティを設定します。

• AuthScheme：PLAIN。
• User：ログインするユーザー。
• Password：ユーザーのパスワード。

認証するには、User およびPassword を設定します。

LDAP

LDAP で認証するには、次の接続プロパティを設定します。

• AuthScheme：LDAP。
• User：ログインするユーザー。
• Password：ユーザーのパスワード。

認証するには、User、Password、およびAuthScheme を設定します。

NOSASL

NOSASL を使用する場合、認証は行われません。次の接続プロパティを設定します。

• AuthScheme：NOSASL。

Kerberos

Kerberos で認証する方法についての詳細は、Kerberos の使用 を参照してください。

Kerberos

Kerberos でSpark SQL への認証を行うには、AuthScheme をKERBEROS に設定します。

Kerberos 経由でSpark SQL への認証を行うには、認証プロパティを定義し、Kerberos が認証チケットを取得する方法を選択する必要があります。

Kerberos チケットの取得

Kerberos チケットは、依頼者のID を認証するために使用されます。正式なログイン / パスワードの代わりにチケットを使用することで、パスワードをローカルに保存したり、ネットワーク経由で送信したりする必要がなくなります。 ユーザーは、ローカルコンピュータでログインするか、 コマンドプロンプトでkinit USER と入力するたびに、再認証されます（チケットはリフレッシュされます）。

Sync App は、 KRB5CCNAME および / またはKerberosKeytabFile 変数が存在するかどうかに応じて、必要なKerberos チケットを取得する3 つの方法を提供します。

MIT Kerberos 資格情報キャッシュファイル

このオプションを使用すると、MIT Kerberos チケットマネージャーまたはkinit コマンドを使ってチケットを取得できます。このオプションでは、User またはPassword 接続プロパティを設定する必要はありません。

このオプションは、KRB5CCNAME がシステムに作成されている必要があります。

MIT Kerberos 資格情報キャッシュファイル経由でチケット検索を有効にするには：

1. お使いの環境にKRB5CCNAME 変数が存在することを確認します。
2. KRB5CCNAME を資格情報キャッシュファイルを指すパスに設定します。（例えば、C:\krb_cache\krb5cc_0 または/tmp/krb5cc_0 です。）資格情報キャッシュファイルは、MIT Kerberos チケットマネージャーを使用してチケットを生成するときに作成されます。
3. チケットを取得するには：
   1. MIT Kerberos チケットマネージャーアプリケーションを開きます。
   2. Get Ticket をクリックします。
   3. プリンシパル名とパスワードを入力します。
   4. OK をクリックします。

   チケットの取得に成功すると、チケット情報がKerberos チケットマネージャーに表示され、クレデンシャルキャッシュファイルに保存されます。

Sync App はキャッシュファイルを使用してSpark SQL に接続するためのKerberos チケットを取得します。

Note： KRB5CCNAME を編集したくない場合は、KerberosTicketCache プロパティを使用してファイルパスを手動で設定することができます。この設定後に、Sync App は指定されたキャッシュファイルを使用してSpark SQL に接続するためのKerberos チケットを取得します。

Keytab ファイル

お使いの環境にKRB5CCNAME 環境変数がない場合、Keytab ファイルを使用してKerberos チケットを取得できます。

この方法を使用するには、User プロパティを目的のユーザー名に設定し、KerberosKeytabFile プロパティをユーザーに関連付けられたキータブファイルを指すファイルパスに設定します。

User およびPassword

お使いの環境にKRB5CCNAME 環境変数およびKerberosKeytabFile プロパティが設定されていない場合、ユーザーとパスワードの組み合わせを使用してチケットを取得できます。

この方法を使用するには、User およびPassword プロパティを、Spark SQL での認証に使用するユーザー / パスワードの組み合わせに設定します。

クロスレルム認証の有効化

より複雑なKerberos 環境では、複数のレルムおよびKDC サーバーが使用されるクロスレルム認証が必要になる場合があります。例えば、1つのレルム / KDC がユーザー認証に使用され、別のレルム / KDC がサービスチケットの取得に使用される場合です。

このようなクロスレルム認証を有効にするには、KerberosRealm およびKerberosKDC プロパティをユーザー認証に必要な値に設定します。また、KerberosServiceRealm およびKerberosServiceKDC プロパティを、 サービスチケットの取得に必要な値に設定します。

このセクションでは、Spark SQL Sync App の高度な機能を厳選して説明します。

ユーザー定義ビュー

Sync App を使用すると、事前設定されたクエリによって内容が決定されるユーザー定義ビューと呼ばれる仮想テーブルを定義できます。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。

SSL の設定

SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。 詳しくは、接続文字列オプションにあるSSLServerCert プロパティを参照してください。

ファイアウォールとプロキシ

Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。

クエリ処理

Sync App は、Spark SQL にできるだけ多くのSELECT ステートメント処理をオフロードし、残りのクエリをクライアント側のインメモリで処理します。

詳しくはクエリ処理 を参照してください。

ログ

CData ログを調整するために使用可能な設定の概要については、ログ を参照してください。基本的なロギングでは、 次の2つの接続プロパティを設定するだけです。LogModules 接続プロパティを使用してログに記録する情報のサブセットを選択できる、 より洗練されたロギングをサポートする多数の機能があります。

SSL 設定のカスタマイズ

デフォルトでは、Sync App はサーバーの証明書をシステムの信頼できる証明書ストアと照合してSSL / TLS のネゴシエーションを試みます。

別の証明書を指定するには、利用可能なフォーマットについてSSLServerCert プロパティを参照してください。

Firewall またはProxy 経由の接続

HTTP プロキシ

Windows のシステムプロキシ経由の接続では、接続プロパティを追加で設定する必要はありません。他のプロキシに接続するには、ProxyAutoDetect をfalse に設定します。

さらにHTTP プロキシへの認証には、ProxyServer とProxyPort に加えてProxyAuthScheme、ProxyUser、およびProxyPassword を設定します。

その他のプロキシ

次のプロパティを設定します。

• プロキシベースのファイヤーウォールを使用するには、FirewallType、FirewallServer、およびFirewallPort を設定します。
• 接続をトンネルするには、FirewallType をTUNNEL に設定します。
• 認証するには、FirewallUser とFirewallPassword を設定します。
• SOCKS プロキシへの認証には、さらにFirewallType をSOCKS5 に設定します。

Sync App は、Spark Thrift を利用してSpark SQL データへのSQL 双方向アクセスを可能にします。Spark SQL バージョン1.6 以降をサポートしています。

Discovering Schemas

The CData Sync App dynamically obtains the Spark SQL schemas; reconnect to pick up any metadata changes, such as added or removed columns or changes in data type.

接続文字列プロパティは、接続を確立するために使用できるさまざまなオプションです。このセクションでは、本プロバイダーの接続文字列で設定できるオプションの一覧を示します。詳細については各リンクをクリックしてください。

接続を確立する方法について詳しくは、接続の確立を参照してください。

Authentication

---

プロパティ	説明
AuthScheme	The authentication scheme used. Accepted entries are Plain, LDAP, NOSASL, and Kerberos.
Server	The host name or IP address of the server hosting the SparkSQL database.
Port	The port for the SparkSQL database.
User	The username used to authenticate with SparkSQL.
Password	The password used to authenticate with SparkSQL.
Database	The name of the SparkSQL database.
ProtocolVersion	The Protocol Version used to authenticate with SparkSQL.
ImpersonationProxyUser	The proxy user of the Hive user impersonation.
SaslQop	Quality of protection for the SASL framework. The level of quality is negotiated between the client and server during authentication. Used by Kerberos authentication with TCP transport.
TransportMode	The transport mode to use to communicate with the Hive server. Accepted entries are BINARY and HTTP.

Kerberos

---

プロパティ	説明
KerberosKDC	ユーザーの認証で使用されるKerberos キー配布センター（KDC）サービス。
KerberosRealm	ユーザー認証に使用されるKerberos 領域。
KerberosSPN	Kerberos ドメインコントローラーのサービスプリンシパル名（SPN）。
KerberosKeytabFile	Kerberos プリンシパルと暗号化されたキーのペアを含むKeytab ファイル。
KerberosServiceRealm	サービスのKerberos レルム。
KerberosServiceKDC	サービスのKerberos KDC。
KerberosTicketCache	MIT Kerberos 資格情報キャッシュファイルへのフルパス。

SSL

---

プロパティ	説明
SSLClientCert	SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストア。
SSLClientCertType	TLS/SSL クライアント証明書を格納するキーストアの種類。
SSLClientCertPassword	TLS/SSL クライアント証明書のパスワード。
SSLClientCertSubject	TLS/SSL クライアント証明書のサブジェクト。
SSLServerCert	TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

Firewall

---

プロパティ	説明
FirewallType	プロキシベースのファイアウォールで使われるプロトコル。
FirewallServer	プロキシベースのファイアウォールの名前もしくはIP アドレス。
FirewallPort	プロキシベースのファイアウォールのTCP ポート。
FirewallUser	プロキシベースのファイアウォールに認証するために使うユーザー名。
FirewallPassword	プロキシベースのファイアウォールへの認証に使われるパスワード。

Proxy

---

プロパティ	説明
ProxyAutoDetect	これは、システムプロキシ設定を使用するかどうかを示します。
ProxyServer	HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。
ProxyPort	ProxyServer プロキシが起動しているTCP ポート。
ProxyAuthScheme	ProxyServer プロキシへの認証で使われる認証タイプ。
ProxyUser	ProxyServer プロキシへの認証に使われるユーザー名。
ProxyPassword	ProxyServer プロキシへの認証に使われるパスワード。
ProxySSLType	ProxyServer プロキシへの接続時に使用するSSL タイプ。
ProxyExceptions	ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

Logging

---

プロパティ	説明
LogModules	ログファイルに含めるコアモジュール。

Schema

---

プロパティ	説明
Location	テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。
BrowsableSchemas	このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tables	このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。
Views	使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

Miscellaneous

---

プロパティ	説明
AsyncQueryTimeout	The timeout for asynchronous requests issued by the provider to download large result sets.
DescribeCommand	The describe command to determine which describe command will use to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
DetectView	Specifies whether to use DECRIBE FORMATTED ... to detect the specified table is view or not.
HTTPPath	The path component of the URL endpoint when using HTTP TransportMode.
MaxRows	クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。
Other	これらの隠しプロパティは特定のユースケースでのみ使用されます。
PseudoColumns	このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。
QueryPassthrough	このオプションは、クエリをSpark SQL サーバーにas-is で渡します。
ServerConfigurations	A name-value list of server configuration variables to override the server defaults.
Timeout	タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。
UseDatabricksUploadApi	This option specifies whether the Databricks Upload API will be use when executing batch insert.
UseDescTableQuery	This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the SparkSQL 3.0.0 or later.
UseInsertSelectSyntax	Specifies whether to use an INSERT INTO SELECT statement.
UserDefinedViews	カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。
UseSSL	Specifies whether to use SSL Encryption when connecting to Hive.

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。

---

プロパティ	説明
AuthScheme	The authentication scheme used. Accepted entries are Plain, LDAP, NOSASL, and Kerberos.
Server	The host name or IP address of the server hosting the SparkSQL database.
Port	The port for the SparkSQL database.
User	The username used to authenticate with SparkSQL.
Password	The password used to authenticate with SparkSQL.
Database	The name of the SparkSQL database.
ProtocolVersion	The Protocol Version used to authenticate with SparkSQL.
ImpersonationProxyUser	The proxy user of the Hive user impersonation.
SaslQop	Quality of protection for the SASL framework. The level of quality is negotiated between the client and server during authentication. Used by Kerberos authentication with TCP transport.
TransportMode	The transport mode to use to communicate with the Hive server. Accepted entries are BINARY and HTTP.

The authentication scheme used. Accepted entries are Plain, LDAP, NOSASL, and Kerberos.

解説

The AuthScheme used to authenticate with SparkSQL.

The host name or IP address of the server hosting the SparkSQL database.

解説

The host name or IP address of the server hosting the SparkSQL database.

The port for the SparkSQL database.

解説

The port for the SparkSQL database.

The username used to authenticate with SparkSQL.

解説

The username used to authenticate with SparkSQL.

The password used to authenticate with SparkSQL.

解説

The password used to authenticate with SparkSQL.

The name of the SparkSQL database.

解説

The name of the SparkSQL database.

The Protocol Version used to authenticate with SparkSQL.

解説

The Protocol Version used to authenticate with SparkSQL.

The proxy user of the Hive user impersonation.

解説

The proxy user of the Hive user impersonation.

Quality of protection for the SASL framework. The level of quality is negotiated between the client and server during authentication. Used by Kerberos authentication with TCP transport.

解説

This property should be set to the 'hive.server2.thrift.sasl.qop' value specified in your Hive configuration file (hive-site.xml).

auth	Authentication only
auth-int	Authentication plus integrity protection
auth-conf	Authentication plus integrity and confidentiality protection

The transport mode to use to communicate with the Hive server. Accepted entries are BINARY and HTTP.

解説

The transport mode used to communicate with Hive server.

This property should be set to the 'hive.server2.transport.mode' value specified in your Hive configuration file (hive-site.xml).

このセクションでは、本プロバイダーの接続文字列で設定可能なKerberos プロパティの全リストを提供します。

---

プロパティ	説明
KerberosKDC	ユーザーの認証で使用されるKerberos キー配布センター（KDC）サービス。
KerberosRealm	ユーザー認証に使用されるKerberos 領域。
KerberosSPN	Kerberos ドメインコントローラーのサービスプリンシパル名（SPN）。
KerberosKeytabFile	Kerberos プリンシパルと暗号化されたキーのペアを含むKeytab ファイル。
KerberosServiceRealm	サービスのKerberos レルム。
KerberosServiceKDC	サービスのKerberos KDC。
KerberosTicketCache	MIT Kerberos 資格情報キャッシュファイルへのフルパス。

ユーザーの認証で使用されるKerberos キー配布センター（KDC）サービス。

解説

Kerberos のプロパティは、SPNEGO またはWindows 認証を使用する場合に使用されます。Sync App は、Kerberos KDC サービスにセッションチケットと一時セッションキーを要求します。Kerberos KDC サービスは、通常、ドメインコントローラーと同じコンピュータに置かれています。

Kerberos KDC が指定されていない場合、Sync App は、これらのプロパティを自動的に次の場所から検出しようとします。

• KRB5 Config File (krb5.ini/krb5.conf)： KRB5_CONFIG 環境変数が設定され、ファイルが存在する場合、Sync App は指定されたファイルからKDC を取得します。それ以外の場合は、OS に基づいてデフォルトのMIT ロケーションからの読み取りを試みます：C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) または/etc/krb5.conf (Linux)。
• ドメイン名およびホスト： Kerberos 領域およびKerberos KDC が別の場所から推測できなかった場合、Sync App は設定されているドメイン名およびホストからそれらを推測します。

ユーザー認証に使用されるKerberos 領域。

解説

Kerberos のプロパティは、SPNEGO またはWindows 認証を使用する場合に使用されます。Kerberos 領域は、Kerberos キー配布センター（KDC）サービスを使用してユーザーを認証するために使用されます。Kerberos 領域は、管理者が任意の文字列に設定できますが、通常はドメイン名に基づいて設定されます。

Kerberos 領域が指定されていない場合、Sync App は、これらのプロパティを自動的に次の場所から検出しようとします。

• KRB5 Config File (krb5.ini/krb5.conf)： KRB5_CONFIG 環境変数が設定され、ファイルが存在する場合、Sync App は指定されたファイルからデフォルトレルムを取得します。それ以外の場合は、OS に基づいてデフォルトのMIT ロケーションからの読み取りを試みます：C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) または/etc/krb5.conf (Linux)
• ドメイン名およびホスト： Kerberos 領域およびKerberos KDC が別の場所から推測できなかった場合、Sync App はユーザー設定されているドメイン名およびホストからそれらを推測します。これは、一部のWindows 環境で機能します。

Kerberos ドメインコントローラーのサービスプリンシパル名（SPN）。

解説

Kerberos ドメインコントローラーのSPN が認証先のURL と異なる場合は、このプロパティを使用してSPN を設定します。

Kerberos プリンシパルと暗号化されたキーのペアを含むKeytab ファイル。

解説

Kerberos のプリンシパルと暗号化されたキーのペアを含むKeytab ファイル。

サービスのKerberos レルム。

解説

KerberosServiceRealm は、クロスレルムKerberos 認証を使用するときにサービスKerberos レルムを指定するために使われます。

ほとんどの場合、単一のレルムとKDC マシンがKerberos 認証を実行するために使用され、このプロパティは必要ありません。

このプロパティは、異なるレルムとKDC マシンを使用して認証チケット（AS リクエスト）およびサービスチケット（TGS リクエスト）を取得する、より複雑な設定で使用できます。

サービスのKerberos KDC。

解説

KerberosServiceKDC は、クロスレルムKerberos 認証を使用するときにサービスKerberos KDC を指定するために使われます。

ほとんどの場合、単一のレルムとKDC マシンがKerberos 認証を実行するために使用され、このプロパティは必要ありません。

このプロパティは、異なるレルムとKDC マシンを使用して認証チケット（AS リクエスト）およびサービスチケット（TGS リクエスト）を取得する、より複雑な設定で使用できます。

MIT Kerberos 資格情報キャッシュファイルへのフルパス。

解説

このプロパティは、MIT Kerberos チケットマネージャーまたはkinit コマンドを使用して作成された資格情報キャッシュファイルを使用する場合に設定できます。

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。

---

プロパティ	説明
SSLClientCert	SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストア。
SSLClientCertType	TLS/SSL クライアント証明書を格納するキーストアの種類。
SSLClientCertPassword	TLS/SSL クライアント証明書のパスワード。
SSLClientCertSubject	TLS/SSL クライアント証明書のサブジェクト。
SSLServerCert	TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストア。

解説

クライアント証明書のための証明書ストア名。

SSLClientCertType フィールドは、SSLClientCert により指定された証明書ストアの種類を指定します。ストアがパスワードで保護されている場合は、SSLClientCertPassword でパスワードを指定します。

SSLClientCert は、SSLClientCertSubject フィールドとともにクライアント証明書を指定するために使われます。SSLClientCert に値がある場合で、SSLClientCertSubject が設定されている場合は、証明書の検索が始まります。詳しくは、SSLClientCertSubject を参照してください。

証明書ストアの指定はプラットフォームに依存します。

Windows の共通のユーザとシステム証明書ストアの指定は以下のとおりです。

MY	個人証明書と関連付けられた秘密キーを格納している証明書ストア。
CA	証明機関の証明書。
ROOT	ルート証明書。
SPC	ソフトウェア発行元証明書。

Javaでは、証明書ストアは通常、証明書および任意の秘密キーを含むファイルです。

証明書ストアの種類がPFXFile の場合は、このプロパティにファイル名を設定します。PFXBlob の場合は、このプロパティをPFX ファイルのバイナリコンテンツ（例えば、PKCS12証明書ストア）に設定する必要があります。

TLS/SSL クライアント証明書を格納するキーストアの種類。

解説

このプロパティには次の値の一つを設定できます。

USER - デフォルト	Windows の場合、現在のユーザーにより所有された証明書ストアであることを指定します。この種類はJava では利用できませんので注意してください。
MACHINE	Windows の場合、この証明書ストアがシステムストアであることを指定します。この種類はJava では利用できませんので注意してください。
PFXFILE	この証明書ストアは、証明書を含むPFX（PKCS12）ファイルの名前です。
PFXBLOB	この証明書ストアは、PFX（PKCS12）形式の証明書ストアを表すBase-64でエンコードされた文字列です。
JKSFILE	この証明書ストアは、証明書を含むJava key store（JKS）ファイルの名前です。この種類はJava でのみ利用できますので注意してください。
JKSBLOB	この証明書ストアは、Java key store（JKS）形式の証明書ストアを表すBase-64でエンコードされた文字列です。この種類はJava でのみ利用できますので注意してください。
PEMKEY_FILE	この証明書ストアは、秘密キーと任意の証明書を含むPEM でエンコードされたファイルの名前です。
PEMKEY_BLOB	この証明書ストアは、秘密キーと任意の証明書を含むBase-64でエンコードされた文字列です。
PUBLIC_KEY_FILE	この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むファイルの名前です。
PUBLIC_KEY_BLOB	この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むBase-64でエンコードされた文字列です。
SSHPUBLIC_KEY_FILE	この証明書ストアは、SSH 公開キーを含むファイルの名前です。
SSHPUBLIC_KEY_BLOB	この証明書ストアは、SSH 公開キーを含むBase-64でエンコードされた文字列です。
P7BFILE	この証明書ストアは、証明書を含むPKCS7 ファイルの名前です。
PPKFILE	この証明書ストアは、PuTTY 秘密キー（PPK）を含むファイルの名前です。
XMLFILE	この証明書ストアは、XML 形式の証明書を含むファイルの名前です。
XMLBLOB	この証明書ストアは、XML 形式の証明書を含む文字列の名前です。

TLS/SSL クライアント証明書のパスワード。

解説

証明書ストアでパスワードが必要である場合、このプロパティを使用してパスワードを指定し、証明書ストアにアクセスできます。

TLS/SSL クライアント証明書のサブジェクト。

解説

証明書のサブジェクトは、証明書をロードするときにストア内の証明書を検索するために使用されます。

完全に一致するものが見つからない場合、ストアはプロパティの値を含むサブジェクトを検索します。それでも一致するものが見つからない場合、プロパティは空白で設定され、証明書は選択されません。

"*" に設定すると、証明書ストアの1番目の証明書が選択されます。

証明書のサブジェクトは識別の名前フィールドおよび値のカンマ区切りのリストです。例えば、"CN=www.server.com, OU=test, C=US, [email protected]" です。共通のフィールドとその説明は以下のとおりです。

フィールド	説明
CN	共通名。一般的には、www.server.com のようなホスト名です。
O	法人名
OU	法人の部署名
L	法人の住所（市町村名）
S	法人の住所（都道府県）
C	国名
E	Eメールアドレス

フィールド値にカンマが含まれている場合は、それを引用符で囲む必要があります。

TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

解説

TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります：

説明	例
フルPEM 証明書（例では省略されています）	-----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE-----
証明書を保有するローカルファイルへのパス。	C:\cert.cer
公開鍵（例では省略されています）	-----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY-----
MD5 Thumbprint （hex 値はスペースおよびコロン区切り）	ecadbdda5a1529c58a1e9e09828d70e4
SHA1 Thumbprint （hex 値はスペースおよびコロン区切り）	34a929226ae0819f2ec14b4a3d904f801cbb150d

これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。

すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。

このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。

---

プロパティ	説明
FirewallType	プロキシベースのファイアウォールで使われるプロトコル。
FirewallServer	プロキシベースのファイアウォールの名前もしくはIP アドレス。
FirewallPort	プロキシベースのファイアウォールのTCP ポート。
FirewallUser	プロキシベースのファイアウォールに認証するために使うユーザー名。
FirewallPassword	プロキシベースのファイアウォールへの認証に使われるパスワード。

プロキシベースのファイアウォールで使われるプロトコル。

解説

このプロパティは、Sync App がFirewallServer プロキシ経由でトンネルトラフィックを使うためのプロトコルを指定します。デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し次のプロキシタイプのどれかで接続するには、ProxyAutoDetect をfalse に設定します。

タイプ	デフォルトポート	説明
TUNNEL	80	これが設定されている場合、Sync App はSpark SQL への接続を開き、プロキシを経由して通信が行われます。
SOCKS4	1080	これが設定されている場合、Sync App はデータをFirewallServer およびFirewallPort で指定されたSOCS 4 プロキシ経由で送信し、接続リクエストが許容されるかどうかを決定します。
SOCKS5	1080	これが設定されている場合、Sync App はデータをFirewallServer およびFirewallPort で指定されたSOCS 5 プロキシ経由で送信します。プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。

HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。

プロキシベースのファイアウォールの名前もしくはIP アドレス。

解説

ファイアウォールトラバーサルを許容するために設定するIP アドレス、DNS 名、もしくはプロキシホスト名を指定するプロパティです。プロトコルはFirewallType で指定されます。このプロパティとFirewallServer を使って、SOCKS 経由での接続、もしくはトンネリングが可能です。HTTP プロキシへの接続には、ProxyServer を使用します。

Sync App はデフォルトでシステムプロキシを使うので注意してください。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定してください。

プロキシベースのファイアウォールのTCP ポート。

解説

ファイアウォールトラバーサルを許容するために設定するプロキシベースのファイアウォールのTCP ポート。名前もしくはIP アドレスを指定するには、FirewallServer を使います。FirewallType でプロトコルを指定します。

プロキシベースのファイアウォールに認証するために使うユーザー名。

解説

FirewallUser およびFirewallPassword プロパティは、FirewallType により指定された認証方式に則り、FirewallServer、およびFirewallPort で指定されたプロキシに対しての認証に使われます。

プロキシベースのファイアウォールへの認証に使われるパスワード。

解説

このプロパティは、FirewallType により指定された認証メソッドに則り、FirewallServer およびFirewallPort で指定されたプロキシに渡されます。

このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。

---

プロパティ	説明
ProxyAutoDetect	これは、システムプロキシ設定を使用するかどうかを示します。
ProxyServer	HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。
ProxyPort	ProxyServer プロキシが起動しているTCP ポート。
ProxyAuthScheme	ProxyServer プロキシへの認証で使われる認証タイプ。
ProxyUser	ProxyServer プロキシへの認証に使われるユーザー名。
ProxyPassword	ProxyServer プロキシへの認証に使われるパスワード。
ProxySSLType	ProxyServer プロキシへの接続時に使用するSSL タイプ。
ProxyExceptions	ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

これは、システムプロキシ設定を使用するかどうかを示します。

解説

これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。

HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。

HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。

解説

HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。HTTP プロキシへの認証には、Sync App はHTTP、Windows(NTLM)、もしくはKerberos 認証タイプを使用することができます。

SOCKS プロキシを経由して接続する、もしくは接続をトンネルするには、FirewallType を参照してください。

デフォルトで、Sync App はsystem プロキシを使います。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定します。

ProxyServer プロキシが起動しているTCP ポート。

解説

HTTP トラフィックをリダイレクトするHTTP プロキシが実行されているポート。ProxyServer でHTTP プロキシを指定します。その他のプロキシタイプについては、FirewallType を参照してください。

ProxyServer プロキシへの認証で使われる認証タイプ。

解説

この値は、ProxyServer およびProxyPort で指定されるHTTP プロキシに認証するために使われる認証タイプを指定します。

Sync App は、デフォルトでsystem proxy settings を使い、追加での設定が不要です。他のプロキシへの接続をする場合には、ProxyServer およびProxyPort に加え、ProxyAutoDetect をfalse に設定します。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。

認証タイプは、次のどれかになります。

• BASIC： Sync App はHTTP BASIC 認証を行います。
• DIGEST： Sync App はHTTP DIGEST 認証を行います。
• NEGOTIATE： Sync App は認証において有効なプロトコルに応じて、NTLM もしくはKerberos トークンを取得します。
• PROPRIETARY： Sync App はNTLM もしくはKerberos トークンを発行しません。このトークンを、HTTP リクエストのAuthorization ヘッダーに含める必要があります。

SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。

ProxyServer プロキシへの認証に使われるユーザー名。

解説

ProxyUser および ProxyPassword オプションは、ProxyServer で指定されたHTTP プロキシに対して接続および認証するために使用されます。

ProxyAuthScheme で使用可能な認証タイプを選択することができます。HTTP 認証を使う場合、これをHTTP プロキシで識別可能なユーザーのユーザー名に設定します。Windows もしくはKerberos 認証を使用する場合、このプロパティを次の形式のどれかでユーザー名に設定します。

user@domain
domain\user

ProxyServer プロキシへの認証に使われるパスワード。

解説

このプロパティは、NTLM(Windows)、Kerberos、もしくはHTTP 認証をサポートするHTTP プロキシサーバーに認証するために使われます。HTTP プロキシを指定するためには、ProxyServer およびProxyPort を設定します。認証タイプを指定するためにはProxyAuthScheme を設定します。

HTTP 認証を使う場合、さらにHTTP プロキシにProxyUser およびProxyPassword を設定します。

NTLM 認証を使う場合、Windows パスワードにProxyUser およびProxyPassword を設定します。Kerberos 認証には、これらを入力する必要があります。

SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。

デフォルトで、Sync App はsystem プロキシを使います。他のプロキシに接続する場合には、これをfalse に設定します。

ProxyServer プロキシへの接続時に使用するSSL タイプ。

解説

このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この値は、AUTO、ALWAYS、NEVER、TUNNEL のいずれかです。有効な値は次のとおりです。

AUTO	デフォルト設定。URL がHTTPS URL の場合、Sync App は、TUNNEL オプションを使います。URL がHTTP URL の場合、コンポーネントはNEVER オプションを使います。
ALWAYS	接続は、常にSSL 有効となります。
NEVER	接続は、SSL 有効になりません。
TUNNEL	接続は、トンネリングプロキシを経由します。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。

ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

解説

ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。

Sync App は、追加設定なしにデフォルトでシステムのプロキシ設定を使います。この接続のプロキシ例外を明示的に構成するには、ProxyAutoDetect をfalse に設定して、ProxyServer およびProxyPort を設定する必要があります。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。

---

プロパティ	説明
LogModules	ログファイルに含めるコアモジュール。

ログファイルに含めるコアモジュール。

解説

指定された（';' で区切られた）モジュールのみがログファイルに含まれます。デフォルトではすべてのモジュールが含まれます。

概要はログ ページを参照してください。

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。

---

プロパティ	説明
Location	テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。
BrowsableSchemas	このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tables	このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。
Views	使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。

解説

Sync App のスキーマファイル（テーブルとビューの場合は.rsd ファイル、ストアドプロシージャの場合は.rsb ファイル）を含むディレクトリへのパス。このフォルダの場所は、実行ファイルの場所からの相対パスにすることができます。Location プロパティは、定義をカスタマイズしたり（例えば、カラム名を変更する、カラムを無視するなど）、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。

指定しない場合、デフォルトの場所は"%APPDATA%\\CData\\SparkSQL Data Provider\\Schema" となり、%APPDATA% はユーザーのコンフィギュレーションディレクトリに設定されます：

Platform	%APPDATA%
Windows	APPDATA 環境変数の値
Linux	~/.config

このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

解説

スキーマをデータベースからリストすると、負荷がかかる可能性があります。接続文字列でスキーマのリストを提供すると、 パフォーマンスが向上します。

このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。

解説

テーブルを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でテーブルのリストを提供すると、Sync App のパフォーマンスが向上します。

このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。

カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。

複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。

使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

解説

ビューを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でビューのリストを提供すると、Sync App のパフォーマンスが向上します。

このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。

カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。

複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。

---

プロパティ	説明
AsyncQueryTimeout	The timeout for asynchronous requests issued by the provider to download large result sets.
DescribeCommand	The describe command to determine which describe command will use to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
DetectView	Specifies whether to use DECRIBE FORMATTED ... to detect the specified table is view or not.
HTTPPath	The path component of the URL endpoint when using HTTP TransportMode.
MaxRows	クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。
Other	これらの隠しプロパティは特定のユースケースでのみ使用されます。
PseudoColumns	このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。
QueryPassthrough	このオプションは、クエリをSpark SQL サーバーにas-is で渡します。
ServerConfigurations	A name-value list of server configuration variables to override the server defaults.
Timeout	タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。
UseDatabricksUploadApi	This option specifies whether the Databricks Upload API will be use when executing batch insert.
UseDescTableQuery	This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the SparkSQL 3.0.0 or later.
UseInsertSelectSyntax	Specifies whether to use an INSERT INTO SELECT statement.
UserDefinedViews	カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。
UseSSL	Specifies whether to use SSL Encryption when connecting to Hive.

The timeout for asynchronous requests issued by the provider to download large result sets.

解説

If the AsyncQueryTimeout property is set to 0, asynchronous operations will not time out; instead, they will run until they complete successfully or encounter an error condition. This property is distinct from Timeout which applies to individual operations while AsyncQueryTimeout applies to execution time of the operation as a whole.

If AsyncQueryTimeout expires and the asynchronous request has not finished being processed, the Sync App raises an error condition.

The describe command to determine which describe command will use to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.

解説

Specifies whether to use DECRIBE FORMATTED ... to detect the specified table is view or not.

解説

Specifies whether to use DECRIBE FORMATTED ... to detect the specified table is view or not.

The path component of the URL endpoint when using HTTP TransportMode.

解説

This property is used to specify the path component of the URL endpoint when using HTTP TransportMode.

This property should be set to the value specified in the 'hive.server2.thrift.http.path' property of you Hive configuration file (hive-site.xml).

クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。

解説

クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。

これらの隠しプロパティは特定のユースケースでのみ使用されます。

解説

以下にリストされているプロパティは、特定のユースケースで使用可能です。通常のドライバーのユースケースおよび機能では、これらのプロパティは必要ありません。

複数のプロパティをセミコロン区切りリストで指定します。

統合およびフォーマット

DefaultColumnSize	データソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。
ConvertDateTimeToGMT	日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換するかどうかを決定します。
RecordToFile=filename	基底のソケットデータ転送を指定のファイルに記録します。

このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。

解説

Entity Framework ではテーブルカラムでない疑似カラムに値を設定できないため、この設定はEntity Framework で特に便利です。この接続設定の値は、"Table1=Column1, Table1=Column2, Table2=Column3" の形式です。"*=*" のように"*" 文字を使用して、すべてのテーブルとすべてのカラムを含めることができます。

このオプションは、クエリをSpark SQL サーバーにas-is で渡します。

解説

これが設定されていると、クエリはSpark SQL に直接渡されます。

A name-value list of server configuration variables to override the server defaults.

解説

This property takes a comma separated list of configuration variables specified as name-value pairs. Any values specified here will be sent to the Hive server to override the default values.

Example: hive.enforce.bucketing=true,hive.enforce.sorting=true

タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。

解説

Timeout が0に設定されている場合は、操作がタイムアウトしません。処理が正常に完了するか、エラー状態になるまで実行されます。

Timeout の有効期限が切れても処理が完了していない場合は、Sync App は例外をスローします。

This option specifies whether the Databricks Upload API will be use when executing batch insert.

解説

When set to true, the Databricks Upload API will be use when executing batch insert.

This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the SparkSQL 3.0.0 or later.

解説

When set to true, a DESC TABLE query will be issued to retrieve the columns for the table.

Specifies whether to use an INSERT INTO SELECT statement.

解説

When set to true, an INSERT INTO SELECT statement will be used when executing insert statements. When set to false, an INSERT INTO VALUES statement will be used.

Unless explicitly specified, this option will be configured accordingly based on the Spark version.

カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。

解説

ユーザー定義ビューは、UserDefinedViews.json というJSON 形式のコンフィギュレーションファイルで定義されています。Sync App は、このファイルで指定されたビューを自動的に検出します。

また、複数のビュー定義を持ち、UserDefinedViews 接続プロパティを使用して制御することも可能です。このプロパティを使用すると、指定されたビューのみがSync App によって検知されます。

このユーザー定義ビューのコンフィギュレーションファイルは、次のようにフォーマットされています。

• 各ルートエレメントはビューの名前を定義します。
• 各ルートエレメントには、query と呼ばれる子エレメントが含まれており、この子エレメントにはビューのカスタムSQL クエリが含まれています。

次に例を示します。

{
	"MyView": {
		"query": "SELECT * FROM Customers WHERE MyColumn = 'value'"
	},
	"MyView2": {
		"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
	}
}

UserDefinedViews 接続プロパティを使用して、JSON コンフィギュレーションファイルの場所を指定します。次に例を示します。

"UserDefinedViews", C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json

指定されたパスは引用符で囲まれていないことに注意してください。

Specifies whether to use SSL Encryption when connecting to Hive.

解説

Set this property to the value specified in the 'hive.server2.use.SLL' property of your Hive configuration file (hive-site.xml).

Apache Thrift Client

The Apache License Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.

Apache Zookeeper Client

The Apache License Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.