CData Sync App は、Databricks データをデータベース、データレイク、またはデータウェアハウスに継続的にパイプライン化する簡単な方法を提供し、分析、レポート、AI、および機械学習で簡単に利用できるようにします。
Databricks コネクタはCData Sync アプリケーションから使用可能で、Databricks からデータを取得して、サポートされている任意の同期先に移動できます。
Sync App はDatabricks Thrift を使用して、SQL でDatabricks データへの双方向連携を実現します。Databricks Runtime Version 9.1 - 13.X、 およびPro またはClassic Databricks SQL バージョンが稼動しているDatabricks データベースをサポートします。
必須プロパティについては、設定タブを参照してください。
通常必須ではない接続プロパティについては、高度な設定タブを参照してください。
Databricks クラスターに接続するには、以下のプロパティを設定します。
Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、 Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。
Sync App は、CSV ファイルのアップロードにDBFS、Azure Blob Storage、およびAWS S3 をサポートしています。
クラウドストレージにDBFS を使用するには、CloudStorageType をDBFS に設定します。
次のプロパティを設定します。
次のプロパティを設定します。
認証するには、次を設定します。
接続文字列の例は次のとおりです。
"Server=https://adb-8439982502599436.16.azuredatabricks.net;HTTPPath=sql/protocolv1/o/8439982502599436/0810-011933-odsz4s3r;database=default; AuthScheme=AzureAD;InitiateOAuth=GETANDREFRESH;AzureTenant=94be69e7-edb4-4fda-ab12-95bfc22b232f;OAuthClientId=f544a825-9b69-43d9-bec2-3e99727a1669;CallbackURL=http://localhost;"
OAuthU2M がどのように機能するかは、次のとおりです。
ユーザーがサインインしてOAuthU2M 認証リクエストに同意すると、ツールまたはSDK はOAuth トークンを受け取ります。このトークンにより、ツールまたはSDK はユーザーに代わって認証を行うことができます。
必要な設定は以下のとおりです。
OAuthM2M がどのように機能するかは、次のとおりです。
アプリケーションを認可サーバーに登録し、クライアントID およびシークレットを取得します。保護されたリソースにアクセスする際、お使いのマシンはこれらの認証情報と希望するスコープを含むリクエストを送信します。サーバーは提供された情報を検証し、有効であればアクセストークンを返します。このトークンは、リソースにアクセスするAPI コールのリクエストヘッダーに含まれます。
必要な設定は以下のとおりです。
このセクションでは、Databricks Sync App の高度な機能を厳選して説明します。
Sync App はユーザー定義ビューの使用をサポートします。これは事前設定されたユーザー定義クエリによって内容が決定される仮想テーブルです。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。
SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。詳しくは、「接続文字列オプション」にあるSSLServerCert プロパティを参照してください。
Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。
詳しくは、クエリ処理 を参照してください。
デフォルトでは、Sync App はサーバーとのTLS のネゴシエーションを試みます。サーバー証明書は、デフォルトのシステム信頼済み証明書ストアで検証されます。SSLServerCert 接続プロパティを使用して、証明書の検証方法をオーバーライドできます。
別の証明書を指定するには、SSLServerCert 接続プロパティを参照してください。
Databricks Sync App はクライアント証明書の設定もサポートしています。次を設定すれば、クライアント証明書を使って接続できます。
HTTP プロキシへの認証には、以下のように設定します。
次のプロパティを設定します。
Sync App はDatabricks Thrift を使用して、SQL でDatabricks データへの双方向連携を実現します。Databricks Runtime Version 9.1 - 13.X、 およびPro またはClassic Databricks SQL バージョンが稼動しているDatabricks データベースをサポートします。
| プロパティ | 説明 |
| AuthScheme | The authentication scheme used. Accepted entries are PersonalAccessToken, Basic, OAuthU2M, AzureServicePrincipal and AzureAD. |
| Server | The host name or IP address of the server hosting the Databricks database. |
| User | The username used to authenticate with Databricks. |
| ProtocolVersion | The Protocol Version used to authenticate with Databricks. |
| Database | The name of the Databricks database. |
| HTTPPath | The path component of the URL endpoint. |
| Token | The token used to access the Databricks server. |
| プロパティ | 説明 |
| AWSAccessKey | AWS アカウントのアクセスキーを指定します。この値には、AWS セキュリティ認証情報ページからアクセスできます。 |
| AWSSecretKey | AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。 |
| AWSRegion | Amazon Web サービスのホスティングリージョン。 |
| AWSS3Bucket | The name of your AWS S3 bucket. |
| プロパティ | 説明 |
| AzureStorageAccount | Azure ストレージアカウント名。 |
| AzureAccessKey | Azure アカウントに関連付けられているストレージキー。 |
| AzureTenant | データにアクセスするために使用されるDatabricks テナントを、名前（例えば、contoso.omnicrosoft.com）またはID で識別します。（条件付き） |
| AzureBlobContainer | The name of your Azure Blob storage container. |
AzureServicePrincipal Authentication
| プロパティ | 説明 |
| AzureTenantId | The Tenant id of your Microsoft Azure Active Directory. |
| AzureClientId | The application(client) id of your Microsoft Azure Active Directory application. |
| AzureClientSecret | The application(client) secret of your Microsoft Azure Active Directory application. |
| プロパティ | 説明 |
| OAuthClientId | カスタムOAuth アプリケーションの作成時に割り当てられたクライアントId を指定します。（コンシューマーキーとも呼ばれます。）このID は、カスタムアプリケーションをOAuth 認可サーバーに登録します。 |
| OAuthClientSecret | カスタムOAuth アプリケーションの作成時に割り当てられたクライアントシークレットを指定します。（ コンシューマーシークレット とも呼ばれます。）このシークレットは、カスタムアプリケーションをOAuth 認可サーバーに登録します。 |
| OAuthLevel | You can generate an access token at either the Databricks account level or workspace level. |
| DatabricksAccountId | The Databricks account ID. |
| プロパティ | 説明 |
| SSLClientCert | SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストアを指定します。このプロパティは、他のSSL 関連プロパティと連動して、セキュアな接続を確立します。 |
| SSLClientCertType | SSL クライアント認証用のTLS/SSL クライアント証明書を格納するキーストアの種類を指定します。プラットフォームや証明書のソースに応じて、さまざまなキーストア形式から選択できます。 |
| SSLClientCertPassword | TLS/SSL クライアント証明書ストアにアクセスするために必要なパスワードを指定します。選択した証明書ストアの種類がアクセスにパスワードを必要とする場合、このプロパティを使用します。 |
| SSLClientCertSubject | TLS/SSL クライアント証明書のサブジェクトを指定し、証明書ストアで場所を検索します。 CN=www.server.com, C=US のように、識別名フィールドのカンマ区切りのリストを使用します。ワイルドカード * は、ストアの先頭の証明書を選択します。 |
| SSLServerCert | TLS/SSL を使用して接続する際に、サーバーが受け入れ可能な証明書を指定します。 |
| プロパティ | 説明 |
| FirewallType | provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。 |
| FirewallServer | ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。 |
| FirewallPort | プロキシベースのファイアウォールで使用するTCP ポートを指定します。 |
| FirewallUser | プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。 |
| FirewallPassword | プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。 |
| プロパティ | 説明 |
| ProxyAutoDetect | provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。 |
| ProxyServer | HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。 |
| ProxyPort | クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバー（ProxyServer 接続プロパティで設定）のTCP ポート。 |
| ProxyAuthScheme | ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。 |
| ProxyUser | ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。 |
| ProxyPassword | ProxyUser 接続プロパティで指定されたユーザーに紐付けられたパスワード。 |
| ProxySSLType | ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプ。 |
| ProxyExceptions | ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。 |
| プロパティ | 説明 |
| LogModules | ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。 |
| プロパティ | 説明 |
| Location | テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。 |
| BrowsableSchemas | レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。 |
| Tables | レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。 |
| Views | レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。 |
| Catalog | The default catalog name. |
| PrimaryKeyIdentifiers | Set this property to define primary keys. |
| プロパティ | 説明 |
| CloudStorageType | Determine which cloud storage service will be used. |
| StoreTableInCloud | This option specifies whether Databricks server will create and save tables in cloud storage. |
| QueryTableDetails | Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time. |
| UseUploadApi | This option specifies whether the Databricks Upload API will be used when executing Bulk INSERT operations. |
| UseCloudFetch | This option specifies whether to use CloudFetch to improve query efficiency when the data volume of the table is large. |
| UseLegacyDataModel | This option specifies whether to support Unity Catalog. |
| QueryAllMetadata | This option controls whether to query all catalogs and schemas/databases or only specified ones. The default catalog is specified by the property Catalog . The default schema/database is specified by the property Database . |
| CheckSQLWarehouseAvailability | This option specifies whether to check if the Databricks SQL Warehouse is up. |
| プロパティ | 説明 |
| AllowPreparedStatement | Prepare a query statement before its execution. |
| ConnectRetryWaitTime | This property specifies the number of seconds to wait prior to retrying a connection request. |
| ApplicationName | The application name connection string property expresses the HTTP User-Agent. |
| AsyncQueryTimeout | The timeout for asynchronous requests issued by the provider to download large result sets. |
| DefaultColumnSize | Sets the default length of a string field for a provider. |
| DescribeCommand | The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC. |
| DetectView | Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not. |
| MaxRows | 集計やGROUP BY を使用しないクエリで返される最大行数を指定します。 |
| Other | 特定のユースケースに対して追加の隠しプロパティを指定します。これらは通常のprovider の機能では必要ありません。複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。 |
| PseudoColumns | テーブルカラムとして公開する擬似カラムを指定します。'TableName=ColumnName;TableName=ColumnName' という形式を使用します。デフォルトは空の文字列で、このプロパティを無効にします。 |
| QueryPassthrough | このオプションは、クエリをDatabricks サーバーにas-is で渡します。 |
| ServerConfigurations | A name-value list of server configuration variables to override the server defaults. |
| ServerTimeZone | Determine how to interpret datetime values from the server. |
| Timeout | provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。デフォルトは60秒です。タイムアウトを無効にするには0を設定します。 |
| UseDescTableQuery | This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the Apache Spark 3.0.0 or later. |
| UseInsertSelectSyntax | DEPRECATED. This property is no longer supported, and should not be used. It will be removed in a future release. |
| UserDefinedViews | カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。 |
このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AuthScheme | The authentication scheme used. Accepted entries are PersonalAccessToken, Basic, OAuthU2M, AzureServicePrincipal and AzureAD. |
| Server | The host name or IP address of the server hosting the Databricks database. |
| User | The username used to authenticate with Databricks. |
| ProtocolVersion | The Protocol Version used to authenticate with Databricks. |
| Database | The name of the Databricks database. |
| HTTPPath | The path component of the URL endpoint. |
| Token | The token used to access the Databricks server. |
The authentication scheme used. Accepted entries are PersonalAccessToken, Basic, OAuthU2M, AzureServicePrincipal and AzureAD.
The Sync App supports the following authentication mechanisms. See the Getting Started chapter for authentication guides.
The host name or IP address of the server hosting the Databricks database.
The host name or IP address of the server hosting the Databricks database.
The username used to authenticate with Databricks.
The username used to authenticate with Databricks.
The Protocol Version used to authenticate with Databricks.
The Protocol Version used to authenticate with Databricks.
The name of the Databricks database.
The name of the Databricks database.
The path component of the URL endpoint.
This property is used to specify the path component of the URL endpoint.
This property can be found by following the path: Databricks main page -> Compute(in left panel) -> {your Cluster} -> Advanced options(in Configuration tab) -> JDBC/ODBC - HTTP Path
The token used to access the Databricks server.
The token can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab.
このセクションでは、本プロバイダーの接続文字列で設定可能なAWS Authentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AWSAccessKey | AWS アカウントのアクセスキーを指定します。この値には、AWS セキュリティ認証情報ページからアクセスできます。 |
| AWSSecretKey | AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。 |
| AWSRegion | Amazon Web サービスのホスティングリージョン。 |
| AWSS3Bucket | The name of your AWS S3 bucket. |
AWS アカウントのアクセスキーを指定します。この値には、AWS セキュリティ認証情報ページからアクセスできます。
AWS アカウントのアクセスキーを見つけるには、次の手順に従います。
AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。
AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。
Amazon Web サービスのホスティングリージョン。
Amazon Web サービスのホスティングリージョン。利用可能な値は、OHIO、NORTHERNVIRGINIA、NORTHERNCALIFORNIA、OREGON、CAPETOWN、HONGKONG、HYDERABAD、JAKARTA、MALAYSIA、MELBOURNE、MUMBAI、OSAKA、SEOUL、SINGAPORE、SYDNEY、TOKYO、CENTRAL、CALGARY、BEIJING、NINGXIA、FRANKFURT、IRELAND、LONDON、MILAN、PARIS、SPAIN、STOCKHOLM、ZURICH、TELAVIV、BAHRAIN、UAE、SAOPAULO、GOVCLOUDEAST、GOVCLOUDWEST、ISOLATEDUSEAST、ISOLATEDUSEASTB、ISOLATEDUSWEST、およびISOLATEDEUWEST です。
The name of your AWS S3 bucket.
The name of your AWS S3 bucket.
このセクションでは、本プロバイダーの接続文字列で設定可能なAzure Authentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AzureStorageAccount | Azure ストレージアカウント名。 |
| AzureAccessKey | Azure アカウントに関連付けられているストレージキー。 |
| AzureTenant | データにアクセスするために使用されるDatabricks テナントを、名前（例えば、contoso.omnicrosoft.com）またはID で識別します。（条件付き） |
| AzureBlobContainer | The name of your Azure Blob storage container. |
Azure ストレージアカウント名。
Azure ストレージアカウントの名前。
Azure アカウントに関連付けられているストレージキー。
Databricks アカウントに関連付けられているストレージキー。以下のように取得できます：
データにアクセスするために使用されるDatabricks テナントを、名前（例えば、contoso.omnicrosoft.com）またはID で識別します。（条件付き）
テナントは、主にドメイン（例えば、microsoft.com）に関連付けられた、組織のデジタル表現です。 テナントは、Tenant ID（ディレクトリID とも呼ばれる）によって管理されます。これは、Azure リソースへのアクセスや管理権限をユーザーに割り当てる際に指定します。
Azure ポータルでディレクトリID を見つけるには、Azure Active Directory -> プロパティに移動します。
AuthScheme = AzureServicePrincipal またはAzureServicePrincipalCert のいずれかである場合、またはAzureTenant = AzureAD であり、ユーザーが複数のテナントに属している場合は、AzureTenant を指定する必要があります。
The name of your Azure Blob storage container.
The name of your Azure Blob storage container.
このセクションでは、本プロバイダーの接続文字列で設定可能なAzureServicePrincipal Authentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AzureTenantId | The Tenant id of your Microsoft Azure Active Directory. |
| AzureClientId | The application(client) id of your Microsoft Azure Active Directory application. |
| AzureClientSecret | The application(client) secret of your Microsoft Azure Active Directory application. |
The Tenant id of your Microsoft Azure Active Directory.
The Tenant id of your Microsoft Azure Active Directory.
The application(client) id of your Microsoft Azure Active Directory application.
The application(client) can be registered following the AuthScheme -> AzureServicePrincipal.
The application(client) secret of your Microsoft Azure Active Directory application.
The application(client) can be registered following the AuthScheme -> AzureServicePrincipal.
このセクションでは、本プロバイダーの接続文字列で設定可能なOAuth プロパティの全リストを提供します。
| プロパティ | 説明 |
| OAuthClientId | カスタムOAuth アプリケーションの作成時に割り当てられたクライアントId を指定します。（コンシューマーキーとも呼ばれます。）このID は、カスタムアプリケーションをOAuth 認可サーバーに登録します。 |
| OAuthClientSecret | カスタムOAuth アプリケーションの作成時に割り当てられたクライアントシークレットを指定します。（ コンシューマーシークレット とも呼ばれます。）このシークレットは、カスタムアプリケーションをOAuth 認可サーバーに登録します。 |
| OAuthLevel | You can generate an access token at either the Databricks account level or workspace level. |
| DatabricksAccountId | The Databricks account ID. |
カスタムOAuth アプリケーションの作成時に割り当てられたクライアントId を指定します。（コンシューマーキーとも呼ばれます。）このID は、カスタムアプリケーションをOAuth 認可サーバーに登録します。
OAuthClientId は、ユーザーがOAuth 経由で認証を行う前に設定する必要があるいくつかの接続パラメータの1つです。詳細は接続の確立を参照してください。
カスタムOAuth アプリケーションの作成時に割り当てられたクライアントシークレットを指定します。（ コンシューマーシークレット とも呼ばれます。）このシークレットは、カスタムアプリケーションをOAuth 認可サーバーに登録します。
OAuthClientSecret は、ユーザーがOAuth 経由で認証を行う前に設定する必要があるいくつかの接続パラメータの1つです。詳細は接続の確立を参照してください。
You can generate an access token at either the Databricks account level or workspace level.
Accepted entries are WorkspaceLevel and AccountLevel.
The Databricks account ID.
To retrieve your account ID, go to the account console and click the down arrow next to your username in the upper right corner. In the drop-down menu you can view and copy your Account ID.
You must be in the account console to retrieve the account ID, the ID will not display inside a workspace.
このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。
| プロパティ | 説明 |
| SSLClientCert | SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストアを指定します。このプロパティは、他のSSL 関連プロパティと連動して、セキュアな接続を確立します。 |
| SSLClientCertType | SSL クライアント認証用のTLS/SSL クライアント証明書を格納するキーストアの種類を指定します。プラットフォームや証明書のソースに応じて、さまざまなキーストア形式から選択できます。 |
| SSLClientCertPassword | TLS/SSL クライアント証明書ストアにアクセスするために必要なパスワードを指定します。選択した証明書ストアの種類がアクセスにパスワードを必要とする場合、このプロパティを使用します。 |
| SSLClientCertSubject | TLS/SSL クライアント証明書のサブジェクトを指定し、証明書ストアで場所を検索します。 CN=www.server.com, C=US のように、識別名フィールドのカンマ区切りのリストを使用します。ワイルドカード * は、ストアの先頭の証明書を選択します。 |
| SSLServerCert | TLS/SSL を使用して接続する際に、サーバーが受け入れ可能な証明書を指定します。 |
SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストアを指定します。このプロパティは、他のSSL 関連プロパティと連動して、セキュアな接続を確立します。
このプロパティは、SSL クライアント認証のためのクライアント証明書ストアを指定します。 このプロパティは、証明書ストアの種類を定義するSSLClientCertType、およびパスワードで保護されたストア用のパスワードを指定するSSLClientCertPassword と一緒に使用します。 SSLClientCert が設定され、SSLClientCertSubject が設定されている場合、ドライバーは指定されたサブジェクトに一致する証明書を検索します。
証明書ストアの指定はプラットフォームによって異なります。 Windowsでは、証明書ストアはMY（個人証明書）などの名前で識別されますが、Java では、証明書ストアは通常、証明書とオプションの秘密キーを含むファイルです。
Windows の共通のユーザとシステム証明書ストアの指定は以下のとおりです。
| MY | 個人証明書と関連付けられた秘密キーを格納している証明書ストア。 |
| CA | 証明機関の証明書。 |
| ROOT | ルート証明書。 |
| SPC | ソフトウェア発行元証明書。 |
PFXFile タイプの場合、このプロパティをファイル名に設定します。PFXBlob タイプの場合は、このプロパティをPKCS12 形式のファイルのバイナリコンテンツに設定します。
SSL クライアント認証用のTLS/SSL クライアント証明書を格納するキーストアの種類を指定します。プラットフォームや証明書のソースに応じて、さまざまなキーストア形式から選択できます。
このプロパティは、クライアント証明書を指定するために使用されるキーストアの形式と場所を決定します。 サポートされている値には、プラットフォーム固有およびユニバーサルなキーストア形式があります。 有効な値と使用方法は以下のとおりです。
| USER - デフォルト | Windows の場合、現在のユーザーにより所有された証明書ストアであることを指定します。この種類はJava では利用できませんので注意してください。 |
| MACHINE | Windows の場合、この証明書ストアがシステムストアであることを指定します。この種類はJava では利用できませんので注意してください。 |
| PFXFILE | この証明書ストアは、証明書を含むPFX（PKCS12）ファイルの名前です。 |
| PFXBLOB | この証明書ストアは、PFX（PKCS12）形式の証明書ストアを表すBase-64でエンコードされた文字列です。 |
| JKSFILE | この証明書ストアは、証明書を含むJava key store（JKS）ファイルの名前です。この種類はJava でのみ利用できますので注意してください。 |
| JKSBLOB | この証明書ストアは、Java key store（JKS）形式の証明書ストアを表すBase-64でエンコードされた文字列です。この種類はJava でのみ利用できますので注意してください。 |
| PEMKEY_FILE | この証明書ストアは、秘密キーと任意の証明書を含むPEM でエンコードされたファイルの名前です。 |
| PEMKEY_BLOB | この証明書ストアは、秘密キーと任意の証明書を含むBase-64でエンコードされた文字列です。 |
| PUBLIC_KEY_FILE | この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むファイルの名前です。 |
| PUBLIC_KEY_BLOB | この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むBase-64でエンコードされた文字列です。 |
| SSHPUBLIC_KEY_FILE | この証明書ストアは、SSH 公開キーを含むファイルの名前です。 |
| SSHPUBLIC_KEY_BLOB | この証明書ストアは、SSH 公開キーを含むBase-64でエンコードされた文字列です。 |
| P7BFILE | この証明書ストアは、証明書を含むPKCS7 ファイルの名前です。 |
| PPKFILE | この証明書ストアは、PuTTY 秘密キー（PPK）を含むファイルの名前です。 |
| XMLFILE | この証明書ストアは、XML 形式の証明書を含むファイルの名前です。 |
| XMLBLOB | この証明書ストアは、XML 形式の証明書を含む文字列の名前です。 |
| BCFKSFILE | この証明書ストアは、Bouncy Castle キーストアを含むファイルの名前です。 |
| BCFKSBLOB | この証明書ストアは、Bouncy Castle キーストアを含む文字列（Base-64エンコード）です。 |
TLS/SSL クライアント証明書ストアにアクセスするために必要なパスワードを指定します。選択した証明書ストアの種類がアクセスにパスワードを必要とする場合、このプロパティを使用します。
このプロパティは、パスワードで保護された証明書ストアを開くために必要なパスワードを指定します。 このプロパティは、PFX やJKS タイプのストアによく推奨されるように、復号化のためにパスワードを必要とする証明書ストアを使用する場合に必要です。
証明書ストアの種類がパスワードを必要としない場合（Windows のUSER やMACHINE など）、このプロパティは空白のままにできます。 認証エラーを回避するため、パスワードが指定された証明書ストアに関連付けられたものと一致していることを確認してください。
TLS/SSL クライアント証明書のサブジェクトを指定し、証明書ストアで場所を検索します。 CN=www.server.com, C=US のように、識別名フィールドのカンマ区切りのリストを使用します。ワイルドカード * は、ストアの先頭の証明書を選択します。
このプロパティは、サブジェクトに基づいてロードするクライアント証明書を決定します。Sync App は、指定されたサブジェクトに完全に一致する証明書を検索します。 完全に一致するものが見つからない場合、Sync App はサブジェクトの値を含む証明書を検索します。 一致する証明書がない場合、証明書は選択されません。
サブジェクトは、識別名フィールドと値のカンマ区切りリストという標準の形式に従うべきです。 例えば、CN=www.server.com, OU=Test, C=US です。一般的なフィールドには以下のものが含まれます。
| フィールド | 説明 |
| CN | 共通名。一般的には、www.server.com のようなホスト名です。 |
| O | 法人名 |
| OU | 法人の部署名 |
| L | 法人の住所（市町村名） |
| S | 法人の住所（都道府県） |
| C | 国名 |
| E | E メールアドレス |
Note： フィールドにカンマなどの特殊文字が含まれている場合は、値を引用符で囲む必要があります。例：CN="Example, Inc.", C=US。
TLS/SSL を使用して接続する際に、サーバーが受け入れ可能な証明書を指定します。
TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。
このプロパティは、次のフォームを取ります：
| 説明 | 例 |
| フルPEM 証明書（例では省略されています） | -----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE----- |
| 証明書を保有するローカルファイルへのパス。 | C:\cert.cer |
| 公開鍵（例では省略されています） | -----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY----- |
| MD5 Thumbprint （hex 値はスペースおよびコロン区切り） | ecadbdda5a1529c58a1e9e09828d70e4 |
| SHA1 Thumbprint （hex 値はスペースおよびコロン区切り） | 34a929226ae0819f2ec14b4a3d904f801cbb150d |
これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。
すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。
このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。
| プロパティ | 説明 |
| FirewallType | provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。 |
| FirewallServer | ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。 |
| FirewallPort | プロキシベースのファイアウォールで使用するTCP ポートを指定します。 |
| FirewallUser | プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。 |
| FirewallPassword | プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。 |
provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。
プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。
Note：デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し、次のプロキシタイプのいずれかに接続するには、ProxyAutoDetect をfalse に設定します。
次の表は、サポートされている各プロトコルのポート番号情報です。
| プロトコル | デフォルトポート | 説明 |
| TUNNEL | 80 | Sync App がDatabricks への接続を開くポート。トラフィックはこの場所のプロキシを経由して行き来します。 |
| SOCKS4 | 1080 | Sync App がDatabricks への接続を開くポート。SOCKS 4 は次にFirewallUser 値をプロキシに渡し、接続リクエストが許容されるかどうかを決定します。 |
| SOCKS5 | 1080 | Sync App がDatabricks にデータを送信するポート。SOCKS 5 プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。 |
HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。
ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。
プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。
プロキシベースのファイアウォールで使用するTCP ポートを指定します。
プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。
プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。
プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。
プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。
プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。
プロキシベースのファイアウォール（またはプロキシファイアウォール）は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。
プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。
このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。
| プロパティ | 説明 |
| ProxyAutoDetect | provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。 |
| ProxyServer | HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。 |
| ProxyPort | クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバー（ProxyServer 接続プロパティで設定）のTCP ポート。 |
| ProxyAuthScheme | ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。 |
| ProxyUser | ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。 |
| ProxyPassword | ProxyUser 接続プロパティで指定されたユーザーに紐付けられたパスワード。 |
| ProxySSLType | ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプ。 |
| ProxyExceptions | ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。 |
provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
この接続プロパティをTrue に設定すると、Sync App は既存のプロキシサーバー構成についてシステムプロキシ設定をチェックします（プロキシサーバーの詳細を手動で入力する必要はありません）。
この接続プロパティは他のプロキシ設定より優先されます。特定のプロキシサーバーに接続するためにSync App を手動で構成する場合は、False に設定します。
HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。
HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたプロキシサーバーを通じてのみHTTP トラフィックをルーティングします。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーを介してHTTP トラフィックをルーティングします。
クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバー（ProxyServer 接続プロパティで設定）のTCP ポート。
ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたプロキシサーバーポートを通じてのみHTTP トラフィックをルーティングします。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーポートを介してHTTP トラフィックをルーティングします。
その他のプロキシタイプについては、FirewallType を参照してください。
ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
認証タイプは次のいずれかです。
"NONE" 以外のすべての値については、ProxyUser およびProxyPassword 接続プロパティも設定する必要があります。
SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。
ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名。
ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。
ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。
| ProxyAuthScheme の値 | ProxyUser に設定する値 |
| BASIC | プロキシサーバーに登録されているユーザーのユーザー名。 |
| DIGEST | プロキシサーバーに登録されているユーザーのユーザー名。 |
| NEGOTIATE | プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。 |
| NTLM | プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。 |
| NONE | ProxyPassword 接続プロパティは設定しないでください。 |
Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このユーザー名を使用します。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムのプロキシ設定で指定されているユーザー名を使用します。
ProxyUser 接続プロパティで指定されたユーザーに紐付けられたパスワード。
ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。
ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。
| ProxyAuthScheme の値 | ProxyPassword に設定する値 |
| BASIC | ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。 |
| DIGEST | ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。 |
| NEGOTIATE | ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。 |
| NTLM | ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。 |
| NONE | ProxyPassword 接続プロパティは設定しないでください。 |
SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。
Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このパスワードを使用します。ProxyAutoDetect がTrue に設定されている場合（デフォルト）、Sync App は代わりにシステムのプロキシ設定で指定されているパスワードを使用します。
ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプ。
このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この接続プロパティには、以下の値を設定できます。
| AUTO | デフォルト設定。ProxyServer がHTTPS URL に設定されている場合、Sync App は、TUNNEL オプションを使用します。ProxyServer がHTTP URL に設定されている場合、コンポーネントはNEVER オプションを使用します。 |
| ALWAYS | 接続は、常にSSL 有効となります。 |
| NEVER | 接続は、SSL 有効になりません。 |
| TUNNEL | 接続はトンネリングプロキシ経由で行われます。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。 |
ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。
ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。
Sync App はデフォルトでシステムプロキシ設定を使用するため、それ以上の設定は必要ありません。この接続にプロキシ例外を明示的に設定する場合は、ProxyAutoDetect をFalse に設定します。
このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。
| プロパティ | 説明 |
| LogModules | ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。 |
ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。
このプロパティは、含めるログモジュールを指定することでログファイルの内容をカスタマイズすることができます。 ログモジュールは、クエリ実行、メタデータ、SSL 通信などの異なる領域にログ情報を分類します。 各モジュールは4文字のコードで表され、文字の名前の場合は末尾にスペースが必要なものもあります。
例えば、EXEC はクエリ実行をログに記録し、INFO は一般的なプロバイダーメッセージをログに記録します。 複数のモジュールを含めるには、次のように名前をセミコロンで区切ります：INFO;EXEC;SSL。
Verbosity 接続プロパティは、このプロパティで指定されたモジュールベースのフィルタリングよりも優先されます。 Verbosity レベルを満たし、指定されたモジュールに属するログエントリのみが記録されます。 利用可能なすべてのモジュールをログファイルに含めるには、このプロパティを空白のままにします。
利用可能なモジュールの完全なリストとログの設定に関する詳細な手引きについては、ログ の「高度なログの記録」セクションを参照してください。
このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。
| プロパティ | 説明 |
| Location | テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。 |
| BrowsableSchemas | レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。 |
| Tables | レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。 |
| Views | レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。 |
| Catalog | The default catalog name. |
| PrimaryKeyIdentifiers | Set this property to define primary keys. |
テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
Location プロパティは、定義をカスタマイズしたり（例えば、カラム名を変更する、カラムを無視するなど）、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。
指定しない場合、デフォルトの場所は%APPDATA%\\CData\\Databricks Data Provider\\Schema となり、%APPDATA%はユーザーのコンフィギュレーションディレクトリに設定されます：
| プラットフォーム | %APPDATA% |
| Windows | APPDATA 環境変数の値 |
| Linux | ~/.config |
レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
利用可能なデータベーススキーマをすべてリストすると余分な時間がかかり、パフォーマンスが低下します。 接続文字列にスキーマのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。
レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
データベースによっては、利用可能なすべてのテーブルをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にテーブルのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。
利用可能なテーブルがたくさんあり、すでに作業したいテーブルが決まっている場合、このプロパティを使用して対象のテーブルのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。
Note：複数のスキーマまたはカタログを持つデータソースに接続する場合は、表示する各テーブルを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するテーブルが混同されることを防ぎます。
レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。
データベースによっては、利用可能なすべてのビューをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にビューのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。
利用可能なビューがたくさんあり、すでに作業したいビューが決まっている場合、このプロパティを使用して対象のビューのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。
Note：複数のスキーマまたはカタログを持つデータソースに接続する場合は、確認する各ビューを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するビューが混同されることを防ぎます。
The default catalog name.
When the property UseLegacyDataModel is set to True, this property also needs to be set to specify a default catalog. In most cases this should be "hive_metastore".
Set this property to define primary keys.
Databricks does not natively support primary keys, but for certain DML operations or database tools you may need to define them. By default this option is disabled so that no tables have primary keys.
Primary keys are defined using a list of rules that match tables and provide a list of key columns. For example, PrimaryKeyIdentifiers="*=my_key;my_table=my_key2,my_key3;my_nokeys_table=;" has three rules separated by semicolons:
Note that the table names can include
/* Rules with just table names use the default connection Catalog and Schema. All these rules refer to the same table with a connection where Catalog=someCatalog;Schema=someSchema */ someTable=a,b,c someSchema.someTable=a,b,c someCatalog.someSchema.someTable=a,b,c /* Any table or column name may be quoted */ `someCatalog`."someSchema".[someTable]=`a`,[b],"c"
このセクションでは、本プロバイダーの接続文字列で設定可能なDatabricks プロパティの全リストを提供します。
| プロパティ | 説明 |
| CloudStorageType | Determine which cloud storage service will be used. |
| StoreTableInCloud | This option specifies whether Databricks server will create and save tables in cloud storage. |
| QueryTableDetails | Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time. |
| UseUploadApi | This option specifies whether the Databricks Upload API will be used when executing Bulk INSERT operations. |
| UseCloudFetch | This option specifies whether to use CloudFetch to improve query efficiency when the data volume of the table is large. |
| UseLegacyDataModel | This option specifies whether to support Unity Catalog. |
| QueryAllMetadata | This option controls whether to query all catalogs and schemas/databases or only specified ones. The default catalog is specified by the property Catalog . The default schema/database is specified by the property Database . |
| CheckSQLWarehouseAvailability | This option specifies whether to check if the Databricks SQL Warehouse is up. |
Determine which cloud storage service will be used.
By default, the "DBFS" provided by Databricks is used. If set to "Azure Blob storage", these properties are required: AzureStorageAccount AzureAccessKey AzureBlobContainer If set to "AWS S3", these properties are required: AWSAccessKey AWSSecretKey AWSS3Bucket AWSRegion
This option specifies whether Databricks server will create and save tables in cloud storage.
Setting this property to "True" will create and save tables in cloud storage, in this case the CloudStorageType property cannot be "DBFS".
Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time.
Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time.
This option specifies whether the Databricks Upload API will be used when executing Bulk INSERT operations.
Setting this property to true will improve performance if there is a large amount of data in a Bulk INSERT operation.
This option specifies whether to use CloudFetch to improve query efficiency when the data volume of the table is large.
This option specifies whether to use CloudFetch to improve query efficiency when the table contains over one million entries.
This option specifies whether to support Unity Catalog.
True by default. This enables multi-catalog support for both the Unity Catalog and the single-catalog case. A single catalog is usually named "hive_metastore".
Setting this property to False disables multi-catalog support, in which case there is only one catalog, named "CData".
This option controls whether to query all catalogs and schemas/databases or only specified ones. The default catalog is specified by the property Catalog . The default schema/database is specified by the property Database .
True by default. The driver queries metadata from all catalogs and schemas/databases.
When set to False:
This option specifies whether to check if the Databricks SQL Warehouse is up.
This option specifies whether to check if the Databricks SQL Warehouse is up.
このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。
| プロパティ | 説明 |
| AllowPreparedStatement | Prepare a query statement before its execution. |
| ConnectRetryWaitTime | This property specifies the number of seconds to wait prior to retrying a connection request. |
| ApplicationName | The application name connection string property expresses the HTTP User-Agent. |
| AsyncQueryTimeout | The timeout for asynchronous requests issued by the provider to download large result sets. |
| DefaultColumnSize | Sets the default length of a string field for a provider. |
| DescribeCommand | The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC. |
| DetectView | Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not. |
| MaxRows | 集計やGROUP BY を使用しないクエリで返される最大行数を指定します。 |
| Other | 特定のユースケースに対して追加の隠しプロパティを指定します。これらは通常のprovider の機能では必要ありません。複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。 |
| PseudoColumns | テーブルカラムとして公開する擬似カラムを指定します。'TableName=ColumnName;TableName=ColumnName' という形式を使用します。デフォルトは空の文字列で、このプロパティを無効にします。 |
| QueryPassthrough | このオプションは、クエリをDatabricks サーバーにas-is で渡します。 |
| ServerConfigurations | A name-value list of server configuration variables to override the server defaults. |
| ServerTimeZone | Determine how to interpret datetime values from the server. |
| Timeout | provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。デフォルトは60秒です。タイムアウトを無効にするには0を設定します。 |
| UseDescTableQuery | This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the Apache Spark 3.0.0 or later. |
| UseInsertSelectSyntax | DEPRECATED. This property is no longer supported, and should not be used. It will be removed in a future release. |
| UserDefinedViews | カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。 |
Prepare a query statement before its execution.
If the AllowPreparedStatement property is set to false, statements are parsed each time they are executed. Setting this property to false can be useful if you are executing many different queries only once.
If you are executing the same query repeatedly, you will generally see better performance by leaving this property at the default, true. Preparing the query avoids recompiling the same query over and over. However, prepared statements also require the Sync App to keep the connection active and open while the statement is prepared.
This property specifies the number of seconds to wait prior to retrying a connection request.
This property only applies to the following case: when attempting to establish a connection to the Databricks cluster, you receive the response 'HTTP response with error code 503: The Cluster is starting'.
Specify a reasonable positive integer value to enable this feature, generally 30-60 (seconds).
The default value of '-1' disables this feature.
Specify the maximum number of retries with MaximumRequestRetries.
The application name connection string property expresses the HTTP User-Agent.
The format is
[isv-name+product-name]/[product-version] [comment]>where
The timeout for asynchronous requests issued by the provider to download large result sets.
If the AsyncQueryTimeout property is set to 0, asynchronous operations will not time out; instead, they will run until they complete successfully or encounter an error condition. This property is distinct from Timeout which applies to individual operations while AsyncQueryTimeout applies to execution time of the operation as a whole.
If AsyncQueryTimeout expires and the asynchronous request has not finished being processed, the Sync App raises an error condition.
Sets the default length of a string field for a provider.
プロバイダーの文字列フィールドのデフォルトの長さを設定します。プロバイダーによって設定されていない場合、この値は2000になります。
Sets the default length of a string field for a provider. If not set by the provider, the value will be 1048576.
The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not.
Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not.
集計やGROUP BY を使用しないクエリで返される最大行数を指定します。
このプロパティは、集計やGROUP BY 句を含まないクエリに対してSync App が返す行数の上限を設定します。 この制限により、クエリがデフォルトで過度に大きな結果セットを返さないようにします。
クエリにLIMIT 句が含まれている場合、クエリで指定された値がMaxRows 設定よりも優先されます。 MaxRows が"-1" に設定されている場合、LIMIT 句が明示的にクエリに含まれていない限り、行の制限は行われません。
このプロパティは、非常に大きなデータセットを返す可能性のあるクエリを実行する際に、パフォーマンスを最適化し過剰なリソース消費を防ぐのに役立ちます。
特定のユースケースに対して追加の隠しプロパティを指定します。これらは通常のprovider の機能では必要ありません。複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。
このプロパティは、シニアユーザーが特定のシナリオに対して隠しプロパティを設定できるようにします。 これらの設定は通常のユースケースには必要ありませんが、特定の要件に対応したり、追加の機能を提供したりすることができます。 複数のプロパティをセミコロン区切りのリストで定義できます。
Note： 特定のシナリオや問題に対処するためにサポートチームから助言があった場合にのみ、これらのプロパティを設定することを強く推奨します。
複数のプロパティをセミコロン区切りリストで指定します。
| DefaultColumnSize | データソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。 |
| ConvertDateTimeToGMT | 日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換するかどうかを決定します。 |
| RecordToFile=filename | 基底のソケットデータ転送を指定のファイルに記録します。 |
テーブルカラムとして公開する擬似カラムを指定します。'TableName=ColumnName;TableName=ColumnName' という形式を使用します。デフォルトは空の文字列で、このプロパティを無効にします。
このプロパティを使用すると、Sync App がテーブルカラムとして公開する擬似カラムを定義できます。
個々の擬似カラムを指定するには、以下の形式を使用します。"Table1=Column1;Table1=Column2;Table2=Column3"
すべてのテーブルのすべての擬似カラムを含めるには、次のようにします："*=*"
このオプションは、クエリをDatabricks サーバーにas-is で渡します。
これが設定されていると、クエリはDatabricks に直接渡されます。
A name-value list of server configuration variables to override the server defaults.
This property takes a comma separated list of configuration variables specified as name-value pairs. Any values specified here will be sent to the Hive server to override the default values.
Example: hive.enforce.bucketing=true,hive.enforce.sorting=true
Determine how to interpret datetime values from the server.
Databricks uses the UTC time zone by default. The server returns datetime values in UTC, which the driver converts to the local time zone.
If the datetime value is set to LOCAL, the server's time zone is considered the local time zone without any time zone conversion.
provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。デフォルトは60秒です。タイムアウトを無効にするには0を設定します。
このプロパティは、Sync App が操作をキャンセルする前に操作の完了を待機する最大時間を秒単位で制御します。 操作の完了前にタイムアウト時間が経過すると、Sync App は操作をキャンセルして例外をスローします。
タイムアウトは、クエリや操作全体ではなくサーバーとの個々の通信に適用されます。 例えば、各ページング呼び出しがタイムアウト制限内に完了する場合、クエリは60秒を超えて実行を続けることができます。
このプロパティを0に設定するとタイムアウトが無効になり、操作が成功するか、サーバー側のタイムアウト、ネットワークの中断、またはサーバーのリソース制限などの他の条件で失敗するまで無期限に実行されます。 このプロパティは慎重に使用してください。長時間実行される操作がパフォーマンスを低下させたり、応答しなくなる可能性があるためです。
This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the Apache Spark 3.0.0 or later.
When set to true, a DESC TABLE query will be issued to retrieve the columns for the table.
DEPRECATED. This property is no longer supported, and should not be used. It will be removed in a future release.
When set to true, an INSERT INTO SELECT statement will be used when executing insert statements. When set to false, an INSERT INTO VALUES statement will be used.
Unless explicitly specified, this option will be configured accordingly based on the Databricks version.
カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
このプロパティを使用すると、UserDefinedViews.json というJSON 形式の構成ファイルを通じてカスタムビューを定義および管理できます。 これらのビューはSync App によって自動的に認識され、標準のデータベースビューのようにカスタムSQL クエリを実行できるようになります。 JSON ファイルは、各ビューをルート要素として定義し、その子要素として"query" を持ちます。この"query" にはビューのSQL クエリが含まれています。次に例を示します。
{
"MyView": {
"query": "SELECT * FROM [CData].[Sample].Customers WHERE MyColumn = 'value'"
},
"MyView2": {
"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
}
}
このプロパティを使用して、1つのファイルに複数のビューを定義し、ファイルパスを指定できます。 例：UserDefinedViews=C:\Path\To\UserDefinedViews.json。 このプロパティを使用すると、指定されたビューのみがSync App によって検知されます。
詳しくは、ユーザー定義ビュー を参照してください。