Cmdlets for Spark SQL

Build 24.0.9062

Parameters (Connect-SparkSQL Cmdlet)

The following is the full list of the parameters of the cmdlet with short descriptions. Click the links for further details.

Authentication


PropertyDescription
AuthSchemeThe authentication scheme used. Accepted entries are Plain, LDAP, NOSASL, and Kerberos.
ServerThe host name or IP address of the server hosting the SparkSQL database.
PortThe port for the SparkSQL database.
UserThe username used to authenticate with SparkSQL.
PasswordThe password used to authenticate with SparkSQL.
DatabaseThe name of the SparkSQL database.
ProtocolVersionThe Protocol Version used to authenticate with SparkSQL.
ImpersonationProxyUserThe proxy user of the Hive user impersonation.
SaslQopQuality of protection for the SASL framework. The level of quality is negotiated between the client and server during authentication. Used by Kerberos authentication with TCP transport.
TransportModeThe transport mode to use to communicate with the Hive server. Accepted entries are BINARY and HTTP.

Kerberos


PropertyDescription
KerberosKDCユーザーの認証で使用されるKerberos キー配布センター(KDC)サービス。
KerberosRealmユーザー認証に使用されるKerberos 領域。
KerberosSPNKerberos ドメインコントローラーのサービスプリンシパル名(SPN)。
KerberosUserThe principal name for the Kerberos Domain Controller. Used in the format host/user@realm
KerberosKeytabFileKerberos プリンシパルと暗号化されたキーのペアを含むKeytab ファイル。
KerberosServiceRealmサービスのKerberos レルム。
KerberosServiceKDCサービスのKerberos KDC。
KerberosTicketCacheMIT Kerberos 資格情報キャッシュファイルへのフルパス。

SSL


PropertyDescription
SSLClientCertSSL クライアント認証(2-way SSL)のためのTLS/SSL クライアント証明書ストア。
SSLClientCertTypeTLS/SSL クライアント証明書を格納するキーストアの種類。
SSLClientCertPasswordTLS/SSL クライアント証明書のパスワード。
SSLClientCertSubjectTLS/SSL クライアント証明書のサブジェクト。
SSLServerCertTLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

Firewall


PropertyDescription
FirewallTypeプロキシベースのファイアウォールで使われるプロトコル。
FirewallServerプロキシベースのファイアウォールの名前もしくはIP アドレス。
FirewallPortプロキシベースのファイアウォールのTCP ポート。
FirewallUserプロキシベースのファイアウォールに認証するために使うユーザー名。
FirewallPasswordプロキシベースのファイアウォールへの認証に使われるパスワード。

Proxy


PropertyDescription
ProxyAutoDetectこの接続プロパティをTrue に設定すると、provider は既存のプロキシサーバー構成についてシステムプロキシ設定をチェックします(プロキシサーバーの詳細を手動で入力する必要はありません)。特定のプロキシサーバーに接続するためにprovider を手動で構成する場合は、False に設定します。
ProxyServerHTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
ProxyPortプロキシサーバー( ProxyServer 接続プロパティで指定)が起動しているTCP ポート。
ProxyAuthSchemeProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法。
ProxyUserProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。
ProxyPasswordProxyUser 接続プロパティで指定されたユーザに紐付けられたパスワード。
ProxySSLTypeProxyServer プロキシへの接続時に使用するSSL タイプ。
ProxyExceptionsProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

Logging


PropertyDescription
Logfileログファイルの名前と場所を指定するファイルパス。
Verbosityログファイルの記述をどの程度の詳細さで記載するかを決定するverbosity レベル。
LogModulesログファイルに含めるコアモジュール。
MaxLogFileSizeログファイルの最大バイトサイズ(例えば、10MB)を指定する文字列。
MaxLogFileCountログファイルの最大ファイル数を指定する文字列。

Schema


PropertyDescription
Locationテーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。
BrowsableSchemasこのプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tablesこのプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。
Views使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

Caching


PropertyDescription
AutoCacheSELECT クエリの結果を、 CacheLocation 、または CacheConnection と CacheProvider の両方で指定されたキャッシュデータベースに自動的にキャッシュします。
CacheLocationキャッシュデータベースへのパスとファイル名を指定します。
CacheToleranceAutoCache 使用時のキャッシュ内の失効データに対する許容範囲の秒数。
Offlineオフラインモードを使用して、ライブソースではなくキャッシュからデータを取得します。
CacheMetadataこのプロパティは、テーブルメタデータをファイルストアにキャッシュするかどうかを決定します。

Miscellaneous


PropertyDescription
AsyncQueryTimeoutThe timeout for asynchronous requests issued by the provider to download large result sets.
DescribeCommandThe describe command to determine which describe command will use to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
DetectViewSpecifies whether to use DECRIBE FORMATTED ... to detect the specified table is view or not.
HTTPPathThe path component of the URL endpoint when using HTTP TransportMode.
MaxRowsクエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。
Otherこれらの隠しプロパティは特定のユースケースでのみ使用されます。
PseudoColumnsカラムとして公開する擬似カラムのセットを指定します。
QueryPassthroughこのオプションは、クエリをSpark SQL サーバーにas-is で渡します。
Readonlyこのプロパティを使用して、provider からSpark SQL へのアクセスを読み取り専用に設定できます。
RTKライセンス供与で使用されるランタイムキー。
ServerConfigurationsA name-value list of server configuration variables to override the server defaults.
Timeoutタイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。
UseDatabricksUploadApiThis option specifies whether the Databricks Upload API will be use when executing batch insert.
UseDescTableQueryThis option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the SparkSQL 3.0.0 or later.
UseInsertSelectSyntaxSpecifies whether to use an INSERT INTO SELECT statement.
UserDefinedViewsカスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。
UseSSLSpecifies whether to use SSL Encryption when connecting to Hive.

Copyright (c) 2024 CData Software, Inc. - All rights reserved.
Build 24.0.9062