CData Sync App は、Databricks データをデータベース、データレイク、またはデータウェアハウスに継続的にパイプライン化する簡単な方法を提供し、分析、レポート、AI、および機械学習で簡単に利用できるようにします。
Databricks コネクタはCData Sync アプリケーションから使用可能で、Databricks からデータを取得して、サポートされている任意の同期先に移動できます。
Sync App はDatabricks Thrift を使用して、SQL でDatabricks データへの双方向連携を実現します。Databricks Runtime Version 9.1 - 13.X、 およびPro またはClassic Databricks SQL バージョンが稼動しているDatabricks データベースをサポートします。
必須プロパティについては、設定タブを参照してください。
通常必須ではない接続プロパティについては、高度な設定タブを参照してください。
Databricks クラスターに接続するには、以下のプロパティを設定します。
Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、 Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。
Sync App は、CSV ファイルのアップロードにDBFS、Azure Blob Storage、およびAWS S3 をサポートしています。
クラウドストレージにDBFS を使用するには、CloudStorageType をDBFS に設定します。
次のプロパティを設定します。
次のプロパティを設定します。
認証するには、次を設定します。
接続文字列の例は次のとおりです。
"Server=https://adb-8439982502599436.16.azuredatabricks.net;HTTPPath=sql/protocolv1/o/8439982502599436/0810-011933-odsz4s3r;database=default; AuthScheme=AzureAD;InitiateOAuth=GETANDREFRESH;AzureTenant=94be69e7-edb4-4fda-ab12-95bfc22b232f;OAuthClientId=f544a825-9b69-43d9-bec2-3e99727a1669;CallbackURL=http://localhost;"
このセクションでは、Databricks Sync App の高度な機能を厳選して説明します。
Sync App を使用すると、事前設定されたクエリによって内容が決定されるユーザー定義ビューと呼ばれる仮想テーブルを定義できます。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。
SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。 詳しくは、接続文字列オプションにあるSSLServerCert プロパティを参照してください。
Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。
Sync App は、Databricks にできるだけ多くのSELECT ステートメント処理をオフロードし、残りのクエリをクライアント側のインメモリで処理します。
詳しくはクエリ処理 を参照してください。
CData ログを調整するために使用可能な設定の概要については、ログ を参照してください。基本的なロギングでは、 次の2つの接続プロパティを設定するだけです。LogModules 接続プロパティを使用してログに記録する情報のサブセットを選択できる、 より洗練されたロギングをサポートする多数の機能があります。
デフォルトでは、Sync App はサーバーの証明書をシステムの信頼できる証明書ストアと照合してSSL / TLS のネゴシエーションを試みます。
別の証明書を指定するには、利用可能なフォーマットについてSSLServerCert プロパティを参照してください。
Databricks Sync App はクライアント証明書の設定もサポートしています。次を設定すれば、クライアント証明書を使って接続できます。
Windows のシステムプロキシ経由の接続では、接続プロパティを追加で設定する必要はありません。他のプロキシに接続するには、ProxyAutoDetect をfalse に設定します。
さらにHTTP プロキシへの認証には、ProxyServer とProxyPort に加えてProxyAuthScheme、ProxyUser、およびProxyPassword を設定します。
次のプロパティを設定します。
Sync App はDatabricks Thrift を使用して、SQL でDatabricks データへの双方向連携を実現します。Databricks Runtime Version 9.1 - 13.X、 およびPro またはClassic Databricks SQL バージョンが稼動しているDatabricks データベースをサポートします。
| プロパティ | 説明 |
| AuthScheme | The authentication scheme used. Accepted entries are PersonalAccessToken, AzureServicePrincipal. |
| Server | The host name or IP address of the server hosting the Databricks database. |
| User | The username used to authenticate with Databricks. |
| ProtocolVersion | The Protocol Version used to authenticate with Databricks. |
| Database | The name of the Databricks database. |
| HTTPPath | The path component of the URL endpoint. |
| Token | The token used to access the Databricks server. |
| プロパティ | 説明 |
| AWSAccessKey | AWS アカウントのアクセスキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。 |
| AWSSecretKey | AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。 |
| AWSRegion | Amazon Web サービスのホスティングリージョン。 |
| AWSS3Bucket | The name of your AWS S3 bucket. |
| プロパティ | 説明 |
| AzureStorageAccount | Azure ストレージアカウント名。 |
| AzureAccessKey | Azure アカウントに関連付けられているストレージキー。 |
| AzureTenant | データにアクセスするために使用されるMicrosoft Online テナント。指定しない場合は、デフォルトのテナントが使用されます。 |
| AzureBlobContainer | The name of your Azure Blob storage container. |
AzureServicePrincipal Authentication
| プロパティ | 説明 |
| AzureTenantId | The Tenant id of your Microsoft Azure Active Directory. |
| AzureClientId | The application(client) id of your Microsoft Azure Active Directory application. |
| AzureClientSecret | The application(client) secret of your Microsoft Azure Active Directory application. |
| AzureSubscriptionId | The Subscription id of your Azure Databricks Service Workspace. |
| AzureResourceGroup | The Resource Group name of your Azure Databricks Service Workspace. |
| AzureWorkspace | The name of your Azure Databricks Service Workspace. |
| プロパティ | 説明 |
| OAuthClientId | OAuth 認証サーバーを使用してアプリケーションを登録する場合に割り当てられたクライアントId。 |
| プロパティ | 説明 |
| SSLClientCert | SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストア。 |
| SSLClientCertType | TLS/SSL クライアント証明書を格納するキーストアの種類。 |
| SSLClientCertPassword | TLS/SSL クライアント証明書のパスワード。 |
| SSLClientCertSubject | TLS/SSL クライアント証明書のサブジェクト。 |
| SSLServerCert | TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。 |
| プロパティ | 説明 |
| FirewallType | プロキシベースのファイアウォールで使われるプロトコル。 |
| FirewallServer | プロキシベースのファイアウォールの名前もしくはIP アドレス。 |
| FirewallPort | プロキシベースのファイアウォールのTCP ポート。 |
| FirewallUser | プロキシベースのファイアウォールに認証するために使うユーザー名。 |
| FirewallPassword | プロキシベースのファイアウォールへの認証に使われるパスワード。 |
| プロパティ | 説明 |
| ProxyAutoDetect | これは、システムプロキシ設定を使用するかどうかを示します。 |
| ProxyServer | HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。 |
| ProxyPort | ProxyServer プロキシが起動しているTCP ポート。 |
| ProxyAuthScheme | ProxyServer プロキシへの認証で使われる認証タイプ。 |
| ProxyUser | ProxyServer プロキシへの認証に使われるユーザー名。 |
| ProxyPassword | ProxyServer プロキシへの認証に使われるパスワード。 |
| ProxySSLType | ProxyServer プロキシへの接続時に使用するSSL タイプ。 |
| ProxyExceptions | ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。 |
| プロパティ | 説明 |
| LogModules | ログファイルに含めるコアモジュール。 |
| プロパティ | 説明 |
| Location | テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。 |
| BrowsableSchemas | このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。 |
| Tables | このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。 |
| Views | 使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。 |
| Catalog | The default catalog name. |
| PrimaryKeyIdentifiers | Set this property to define primary keys. |
| プロパティ | 説明 |
| CloudStorageType | Determine which cloud storage service will be used. |
| StoreTableInCloud | This option specifies whether Databricks server will create and save tables in cloud storage. |
| QueryTableDetails | Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time. |
| UseUploadApi | This option specifies whether the Databricks Upload API will be used when executing Bulk INSERT operations. |
| UseCloudFetch | This option specifies whether to use CloudWatch to improve query efficiency when the data volume of the table is large. |
| UseLegacyDataModel | This option specifies whether to support Unity Catalog. |
| QueryAllMetadata | This option specifies whether to query all catalogs and schemas/databases or only the default catalog and schema/database if catalog and schema parameters are not specified when querying metadata. The default catalog is specified by the property Catalog . The default schema/database is specified by the property Database . |
| プロパティ | 説明 |
| AllowPreparedStatement | Prepare a query statement before its execution. |
| ConnectRetryWaitTime | This property specifies the number of seconds to wait prior to retrying a connection request. It only applies to the following case: when attempting to establish a connection to the Databricks cluster, you receive the response 'HTTP response with error code 503: The Cluster is starting'. |
| ApplicationName | The application name connection string property expresses the HTTP User-Agent. |
| AsyncQueryTimeout | The timeout for asynchronous requests issued by the provider to download large result sets. |
| DescribeCommand | The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC. |
| DetectView | Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not. |
| MaxRows | クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。 |
| Other | これらの隠しプロパティは特定のユースケースでのみ使用されます。 |
| PseudoColumns | このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。 |
| QueryPassthrough | このオプションは、クエリをDatabricks サーバーにas-is で渡します。 |
| ServerConfigurations | A name-value list of server configuration variables to override the server defaults. |
| Timeout | タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。 |
| UseDescTableQuery | This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the Apache Spark 3.0.0 or later. |
| UseInsertSelectSyntax | Specifies whether to use an INSERT INTO SELECT statement. |
| UserDefinedViews | カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。 |
このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AuthScheme | The authentication scheme used. Accepted entries are PersonalAccessToken, AzureServicePrincipal. |
| Server | The host name or IP address of the server hosting the Databricks database. |
| User | The username used to authenticate with Databricks. |
| ProtocolVersion | The Protocol Version used to authenticate with Databricks. |
| Database | The name of the Databricks database. |
| HTTPPath | The path component of the URL endpoint. |
| Token | The token used to access the Databricks server. |
The authentication scheme used. Accepted entries are PersonalAccessToken, AzureServicePrincipal.
The Sync App supports the following authentication mechanisms. See the Getting Started chapter for authentication guides.
The host name or IP address of the server hosting the Databricks database.
The host name or IP address of the server hosting the Databricks database.
The username used to authenticate with Databricks.
The username used to authenticate with Databricks.
The Protocol Version used to authenticate with Databricks.
The Protocol Version used to authenticate with Databricks.
The name of the Databricks database.
The name of the Databricks database.
The path component of the URL endpoint.
This property is used to specify the path component of the URL endpoint.
This property can be found by following the path: Databricks main page -> Compute(in left panel) -> {your Cluster} -> Advanced options(in Configuration tab) -> JDBC/ODBC - HTTP Path
The token used to access the Databricks server.
The token can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab.
このセクションでは、本プロバイダーの接続文字列で設定可能なAWS Authentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AWSAccessKey | AWS アカウントのアクセスキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。 |
| AWSSecretKey | AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。 |
| AWSRegion | Amazon Web サービスのホスティングリージョン。 |
| AWSS3Bucket | The name of your AWS S3 bucket. |
AWS アカウントのアクセスキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。
AWS アカウントのアクセスキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。
AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。
AWS アカウントのシークレットキー。この値には、［AWS セキュリティ認証情報］ページからアクセスできます。
Amazon Web サービスのホスティングリージョン。
Amazon Web サービスのホスティングリージョン。利用可能な値はOHIO、NORTHERNVIRGINIA、NORTHERNCALIFORNIA、OREGON、CAPETOWN、HONGKONG、JAKARTA、MUMBAI、OSAKA、SEOUL、SINGAPORE、SYDNEY、TOKYO、CENTRAL、BEIJING、NINGXIA、FRANKFURT、IRELAND、LONDON、MILAN、PARIS、STOCKHOLM、ZURICH、BAHRAIN、UAE、SAOPAULO、GOVCLOUDEAST、GOVCLOUDWEST です。
The name of your AWS S3 bucket.
The name of your AWS S3 bucket.
このセクションでは、本プロバイダーの接続文字列で設定可能なAzure Authentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AzureStorageAccount | Azure ストレージアカウント名。 |
| AzureAccessKey | Azure アカウントに関連付けられているストレージキー。 |
| AzureTenant | データにアクセスするために使用されるMicrosoft Online テナント。指定しない場合は、デフォルトのテナントが使用されます。 |
| AzureBlobContainer | The name of your Azure Blob storage container. |
Azure ストレージアカウント名。
Azure ストレージアカウントの名前。
Azure アカウントに関連付けられているストレージキー。
Databricks アカウントに関連付けられているストレージキー。以下のように取得できます：
データにアクセスするために使用されるMicrosoft Online テナント。指定しない場合は、デフォルトのテナントが使用されます。
データにアクセスするために使用されるMicrosoft Online テナント。例えば、contoso.onmicrosoft.com です。あるいは、 テナントId を指定します。この値は［Azure ポータル］->［Azure Active Directory］->［プロパティ］のディレクトリId です。
通常、Tenant を指定する必要はありません。OAuthGrantType をCODE（デフォルト）に設定している場合は、Microsoft が自動的に決定します。 ただし、ユーザーがマルチテナントに所属している場合は失敗する可能性があります。 例えば、ドメインA の管理者がドメインB のユーザーをゲストユーザーとして招待した場合。ユーザーは両方のテナントに属していることになります。 Tenant を指定するのはグッドプラクティスですが、一般的には指定しなくてもうまく動作するはずです。
OAuthGrantType をCLIENT に設定する場合は、AzureTenant が必須です。クライアント資格情報を使用する場合、ユーザーコンテキストはありません。 資格情報は、アプリ自体のコンテキストから取得されます。Microsoft ではTenant を指定せずにクライアント資格情報を取得することを許容していますが、使用する特定のテナントを選択する可能性ははるかに低くなっています。 このため、接続するドメインに適用される資格情報を確実に取得するために、すべてのクライアント資格情報接続に対してAzureTenant を明示的に指定する必要があります。
The name of your Azure Blob storage container.
The name of your Azure Blob storage container.
このセクションでは、本プロバイダーの接続文字列で設定可能なAzureServicePrincipal Authentication プロパティの全リストを提供します。
| プロパティ | 説明 |
| AzureTenantId | The Tenant id of your Microsoft Azure Active Directory. |
| AzureClientId | The application(client) id of your Microsoft Azure Active Directory application. |
| AzureClientSecret | The application(client) secret of your Microsoft Azure Active Directory application. |
| AzureSubscriptionId | The Subscription id of your Azure Databricks Service Workspace. |
| AzureResourceGroup | The Resource Group name of your Azure Databricks Service Workspace. |
| AzureWorkspace | The name of your Azure Databricks Service Workspace. |
The Tenant id of your Microsoft Azure Active Directory.
The Tenant id of your Microsoft Azure Active Directory.
The application(client) id of your Microsoft Azure Active Directory application.
The application(client) can be registered following the AuthScheme -> AzureServicePrincipal.
The application(client) secret of your Microsoft Azure Active Directory application.
The application(client) can be registered following the AuthScheme -> AzureServicePrincipal.
The Subscription id of your Azure Databricks Service Workspace.
The Subscription id of your Azure Databricks Service Workspace.
The Resource Group name of your Azure Databricks Service Workspace.
The Resource Group name of your Azure Databricks Service Workspace.
The name of your Azure Databricks Service Workspace.
The name of your Azure Databricks Service Workspace.
このセクションでは、本プロバイダーの接続文字列で設定可能なOAuth プロパティの全リストを提供します。
| プロパティ | 説明 |
| OAuthClientId | OAuth 認証サーバーを使用してアプリケーションを登録する場合に割り当てられたクライアントId。 |
OAuth 認証サーバーを使用してアプリケーションを登録する場合に割り当てられたクライアントId。
OAuth アプリケーションの登録の一環として、コンシューマキーとも呼ばれるOAuthClientId 値、およびクライアントシークレットOAuthClientSecret が提供されます。
このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。
| プロパティ | 説明 |
| SSLClientCert | SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストア。 |
| SSLClientCertType | TLS/SSL クライアント証明書を格納するキーストアの種類。 |
| SSLClientCertPassword | TLS/SSL クライアント証明書のパスワード。 |
| SSLClientCertSubject | TLS/SSL クライアント証明書のサブジェクト。 |
| SSLServerCert | TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。 |
SSL クライアント認証（2-way SSL）のためのTLS/SSL クライアント証明書ストア。
クライアント証明書のための証明書ストア名。
SSLClientCertType フィールドは、SSLClientCert により指定された証明書ストアの種類を指定します。ストアがパスワードで保護されている場合は、SSLClientCertPassword でパスワードを指定します。
SSLClientCert は、SSLClientCertSubject フィールドとともにクライアント証明書を指定するために使われます。SSLClientCert に値がある場合で、SSLClientCertSubject が設定されている場合は、証明書の検索が始まります。詳しくは、SSLClientCertSubject を参照してください。
証明書ストアの指定はプラットフォームに依存します。
Windows の共通のユーザとシステム証明書ストアの指定は以下のとおりです。
| MY | 個人証明書と関連付けられた秘密キーを格納している証明書ストア。 |
| CA | 証明機関の証明書。 |
| ROOT | ルート証明書。 |
| SPC | ソフトウェア発行元証明書。 |
Javaでは、証明書ストアは通常、証明書および任意の秘密キーを含むファイルです。
証明書ストアの種類がPFXFile の場合は、このプロパティにファイル名を設定します。PFXBlob の場合は、このプロパティをPFX ファイルのバイナリコンテンツ（例えば、PKCS12証明書ストア）に設定する必要があります。
TLS/SSL クライアント証明書を格納するキーストアの種類。
このプロパティには次の値の一つを設定できます。
| USER - デフォルト | Windows の場合、現在のユーザーにより所有された証明書ストアであることを指定します。この種類はJava では利用できませんので注意してください。 |
| MACHINE | Windows の場合、この証明書ストアがシステムストアであることを指定します。この種類はJava では利用できませんので注意してください。 |
| PFXFILE | この証明書ストアは、証明書を含むPFX（PKCS12）ファイルの名前です。 |
| PFXBLOB | この証明書ストアは、PFX（PKCS12）形式の証明書ストアを表すBase-64でエンコードされた文字列です。 |
| JKSFILE | この証明書ストアは、証明書を含むJava key store（JKS）ファイルの名前です。この種類はJava でのみ利用できますので注意してください。 |
| JKSBLOB | この証明書ストアは、Java key store（JKS）形式の証明書ストアを表すBase-64でエンコードされた文字列です。この種類はJava でのみ利用できますので注意してください。 |
| PEMKEY_FILE | この証明書ストアは、秘密キーと任意の証明書を含むPEM でエンコードされたファイルの名前です。 |
| PEMKEY_BLOB | この証明書ストアは、秘密キーと任意の証明書を含むBase-64でエンコードされた文字列です。 |
| PUBLIC_KEY_FILE | この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むファイルの名前です。 |
| PUBLIC_KEY_BLOB | この証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むBase-64でエンコードされた文字列です。 |
| SSHPUBLIC_KEY_FILE | この証明書ストアは、SSH 公開キーを含むファイルの名前です。 |
| SSHPUBLIC_KEY_BLOB | この証明書ストアは、SSH 公開キーを含むBase-64でエンコードされた文字列です。 |
| P7BFILE | この証明書ストアは、証明書を含むPKCS7 ファイルの名前です。 |
| PPKFILE | この証明書ストアは、PuTTY 秘密キー（PPK）を含むファイルの名前です。 |
| XMLFILE | この証明書ストアは、XML 形式の証明書を含むファイルの名前です。 |
| XMLBLOB | この証明書ストアは、XML 形式の証明書を含む文字列の名前です。 |
TLS/SSL クライアント証明書のパスワード。
証明書ストアでパスワードが必要である場合、このプロパティを使用してパスワードを指定し、証明書ストアにアクセスできます。
TLS/SSL クライアント証明書のサブジェクト。
証明書のサブジェクトは、証明書をロードするときにストア内の証明書を検索するために使用されます。
完全に一致するものが見つからない場合、ストアはプロパティの値を含むサブジェクトを検索します。それでも一致するものが見つからない場合、プロパティは空白で設定され、証明書は選択されません。
"*" に設定すると、証明書ストアの1番目の証明書が選択されます。
証明書のサブジェクトは識別の名前フィールドおよび値のカンマ区切りのリストです。例えば、"CN=www.server.com, OU=test, C=US, [email protected]" です。共通のフィールドとその説明は以下のとおりです。
| フィールド | 説明 |
| CN | 共通名。一般的には、www.server.com のようなホスト名です。 |
| O | 法人名 |
| OU | 法人の部署名 |
| L | 法人の住所（市町村名） |
| S | 法人の住所（都道府県） |
| C | 国名 |
| E | Eメールアドレス |
フィールド値にカンマが含まれている場合は、それを引用符で囲む必要があります。
TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。
TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。
このプロパティは、次のフォームを取ります：
| 説明 | 例 |
| フルPEM 証明書（例では省略されています） | -----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE----- |
| 証明書を保有するローカルファイルへのパス。 | C:\cert.cer |
| 公開鍵（例では省略されています） | -----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY----- |
| MD5 Thumbprint （hex 値はスペースおよびコロン区切り） | ecadbdda5a1529c58a1e9e09828d70e4 |
| SHA1 Thumbprint （hex 値はスペースおよびコロン区切り） | 34a929226ae0819f2ec14b4a3d904f801cbb150d |
これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。
すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。
このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。
| プロパティ | 説明 |
| FirewallType | プロキシベースのファイアウォールで使われるプロトコル。 |
| FirewallServer | プロキシベースのファイアウォールの名前もしくはIP アドレス。 |
| FirewallPort | プロキシベースのファイアウォールのTCP ポート。 |
| FirewallUser | プロキシベースのファイアウォールに認証するために使うユーザー名。 |
| FirewallPassword | プロキシベースのファイアウォールへの認証に使われるパスワード。 |
プロキシベースのファイアウォールで使われるプロトコル。
このプロパティは、Sync App がFirewallServer プロキシ経由でトンネルトラフィックを使うためのプロトコルを指定します。デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し次のプロキシタイプのどれかで接続するには、ProxyAutoDetect をfalse に設定します。
| タイプ | デフォルトポート | 説明 |
| TUNNEL | 80 | これが設定されている場合、Sync App はDatabricks への接続を開き、プロキシを経由して通信が行われます。 |
| SOCKS4 | 1080 | これが設定されている場合、Sync App はデータをFirewallServer およびFirewallPort で指定されたSOCS 4 プロキシ経由で送信し、接続リクエストが許容されるかどうかを決定します。 |
| SOCKS5 | 1080 | これが設定されている場合、Sync App はデータをFirewallServer およびFirewallPort で指定されたSOCS 5 プロキシ経由で送信します。プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。 |
HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。
プロキシベースのファイアウォールの名前もしくはIP アドレス。
ファイアウォールトラバーサルを許容するために設定するIP アドレス、DNS 名、もしくはプロキシホスト名を指定するプロパティです。プロトコルはFirewallType で指定されます。このプロパティとFirewallServer を使って、SOCKS 経由での接続、もしくはトンネリングが可能です。HTTP プロキシへの接続には、ProxyServer を使用します。
Sync App はデフォルトでシステムプロキシを使うので注意してください。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定してください。
プロキシベースのファイアウォールのTCP ポート。
ファイアウォールトラバーサルを許容するために設定するプロキシベースのファイアウォールのTCP ポート。名前もしくはIP アドレスを指定するには、FirewallServer を使います。FirewallType でプロトコルを指定します。
プロキシベースのファイアウォールに認証するために使うユーザー名。
FirewallUser およびFirewallPassword プロパティは、FirewallType により指定された認証方式に則り、FirewallServer、およびFirewallPort で指定されたプロキシに対しての認証に使われます。
プロキシベースのファイアウォールへの認証に使われるパスワード。
このプロパティは、FirewallType により指定された認証メソッドに則り、FirewallServer およびFirewallPort で指定されたプロキシに渡されます。
このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。
| プロパティ | 説明 |
| ProxyAutoDetect | これは、システムプロキシ設定を使用するかどうかを示します。 |
| ProxyServer | HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。 |
| ProxyPort | ProxyServer プロキシが起動しているTCP ポート。 |
| ProxyAuthScheme | ProxyServer プロキシへの認証で使われる認証タイプ。 |
| ProxyUser | ProxyServer プロキシへの認証に使われるユーザー名。 |
| ProxyPassword | ProxyServer プロキシへの認証に使われるパスワード。 |
| ProxySSLType | ProxyServer プロキシへの接続時に使用するSSL タイプ。 |
| ProxyExceptions | ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。 |
これは、システムプロキシ設定を使用するかどうかを示します。
これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。
HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。
HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。
HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。HTTP プロキシへの認証には、Sync App はHTTP、Windows(NTLM)、もしくはKerberos 認証タイプを使用することができます。
SOCKS プロキシを経由して接続する、もしくは接続をトンネルするには、FirewallType を参照してください。
デフォルトで、Sync App はsystem プロキシを使います。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定します。
ProxyServer プロキシが起動しているTCP ポート。
HTTP トラフィックをリダイレクトするHTTP プロキシが実行されているポート。ProxyServer でHTTP プロキシを指定します。その他のプロキシタイプについては、FirewallType を参照してください。
ProxyServer プロキシへの認証で使われる認証タイプ。
この値は、ProxyServer およびProxyPort で指定されるHTTP プロキシに認証するために使われる認証タイプを指定します。
Sync App は、デフォルトでsystem proxy settings を使い、追加での設定が不要です。他のプロキシへの接続をする場合には、ProxyServer およびProxyPort に加え、ProxyAutoDetect をfalse に設定します。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。
認証タイプは、次のどれかになります。
SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。
ProxyServer プロキシへの認証に使われるユーザー名。
ProxyUser および ProxyPassword オプションは、ProxyServer で指定されたHTTP プロキシに対して接続および認証するために使用されます。
ProxyAuthScheme で使用可能な認証タイプを選択することができます。HTTP 認証を使う場合、これをHTTP プロキシで識別可能なユーザーのユーザー名に設定します。Windows もしくはKerberos 認証を使用する場合、このプロパティを次の形式のどれかでユーザー名に設定します。
user@domain domain\user
ProxyServer プロキシへの認証に使われるパスワード。
このプロパティは、NTLM(Windows)、Kerberos、もしくはHTTP 認証をサポートするHTTP プロキシサーバーに認証するために使われます。HTTP プロキシを指定するためには、ProxyServer およびProxyPort を設定します。認証タイプを指定するためにはProxyAuthScheme を設定します。
HTTP 認証を使う場合、さらにHTTP プロキシにProxyUser およびProxyPassword を設定します。
NTLM 認証を使う場合、Windows パスワードにProxyUser およびProxyPassword を設定します。Kerberos 認証には、これらを入力する必要があります。
SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。
デフォルトで、Sync App はsystem プロキシを使います。他のプロキシに接続する場合には、これをfalse に設定します。
ProxyServer プロキシへの接続時に使用するSSL タイプ。
このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この値は、AUTO、ALWAYS、NEVER、TUNNEL のいずれかです。有効な値は次のとおりです。
| AUTO | デフォルト設定。URL がHTTPS URL の場合、Sync App は、TUNNEL オプションを使います。URL がHTTP URL の場合、コンポーネントはNEVER オプションを使います。 |
| ALWAYS | 接続は、常にSSL 有効となります。 |
| NEVER | 接続は、SSL 有効になりません。 |
| TUNNEL | 接続は、トンネリングプロキシを経由します。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。 |
ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。
ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。
Sync App は、追加設定なしにデフォルトでシステムのプロキシ設定を使います。この接続のプロキシ例外を明示的に構成するには、ProxyAutoDetect をfalse に設定して、ProxyServer およびProxyPort を設定する必要があります。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。
ログファイルに含めるコアモジュール。
指定された（';' で区切られた）モジュールのみがログファイルに含まれます。デフォルトではすべてのモジュールが含まれます。
概要はログ ページを参照してください。
このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。
| プロパティ | 説明 |
| Location | テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。 |
| BrowsableSchemas | このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。 |
| Tables | このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。 |
| Views | 使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。 |
| Catalog | The default catalog name. |
| PrimaryKeyIdentifiers | Set this property to define primary keys. |
テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。
Sync App のスキーマファイル（テーブルとビューの場合は.rsd ファイル、ストアドプロシージャの場合は.rsb ファイル）を含むディレクトリへのパス。このフォルダの場所は、実行ファイルの場所からの相対パスにすることができます。Location プロパティは、定義をカスタマイズしたり（例えば、カラム名を変更する、カラムを無視するなど）、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。
指定しない場合、デフォルトの場所は"%APPDATA%\\CData\\Databricks Data Provider\\Schema" となり、%APPDATA% はユーザーのコンフィギュレーションディレクトリに設定されます：
| Platform | %APPDATA% |
| Windows | APPDATA 環境変数の値 |
| Linux | ~/.config |
このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
スキーマをデータベースからリストすると、負荷がかかる可能性があります。接続文字列でスキーマのリストを提供すると、 パフォーマンスが向上します。
このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。
テーブルを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でテーブルのリストを提供すると、Sync App のパフォーマンスが向上します。
このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。
カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。
複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。
使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。
ビューを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でビューのリストを提供すると、Sync App のパフォーマンスが向上します。
このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。
カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。
複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。
The default catalog name.
When the property UseLegacyDataModel is set to True, this property also needs to be set to sepecify a default catalog. In most cases this should be "hive_metastore".
Set this property to define primary keys.
Databricks does not natively support primary keys, but for certain DML operations or database tools you may need to define them. By default this option is disabled so that no tables have primary keys.
Primary keys are defined using a list of rules that match tables and provide a list of key columns. For example, PrimaryKeyIdentifiers="*=my_key;my_table=my_key2,my_key3;my_nokeys_table=;" has three rules separated by semicolons:
Note that the table names can include
/* Rules with just table names use the default connection Catalog and Schema. All these rules refer to the same table with a connection where Catalog=someCatalog;Schema=someSchema */ someTable=a,b,c someSchema.someTable=a,b,c someCatalog.someSchema.someTable=a,b,c /* Any table or column name may be quoted */ `someCatalog`."someSchema".[someTable]=`a`,[b],"c"
このセクションでは、本プロバイダーの接続文字列で設定可能なDatabricks プロパティの全リストを提供します。
| プロパティ | 説明 |
| CloudStorageType | Determine which cloud storage service will be used. |
| StoreTableInCloud | This option specifies whether Databricks server will create and save tables in cloud storage. |
| QueryTableDetails | Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time. |
| UseUploadApi | This option specifies whether the Databricks Upload API will be used when executing Bulk INSERT operations. |
| UseCloudFetch | This option specifies whether to use CloudWatch to improve query efficiency when the data volume of the table is large. |
| UseLegacyDataModel | This option specifies whether to support Unity Catalog. |
| QueryAllMetadata | This option specifies whether to query all catalogs and schemas/databases or only the default catalog and schema/database if catalog and schema parameters are not specified when querying metadata. The default catalog is specified by the property Catalog . The default schema/database is specified by the property Database . |
Determine which cloud storage service will be used.
By default, the "DBFS" provided by Databricks is used. If set to "Azure Blob storage", these properties are required: AzureStorageAccount AzureAccessKey AzureBlobContainer If set to "AWS S3", these properties are required: AWSAccessKey AWSSecretKey AWSS3Bucket AWSRegion
This option specifies whether Databricks server will create and save tables in cloud storage.
Setting this property to "True" will create and save tables in cloud storage, in this case the CloudStorageType property cannot be "DBFS".
Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time.
Specifies whether to use DESCRIBE FORMATTED ... to query detailed table information. If set to True, the query runs for a long time.
This option specifies whether the Databricks Upload API will be used when executing Bulk INSERT operations.
Setting this property to true will improve performance if there is a large amount of data in a Bulk INSERT operation.
This option specifies whether to use CloudWatch to improve query efficiency when the data volume of the table is large.
This option specifies whether to use CloudWatch to improve query efficiency when the table contains over one million entries.
This option specifies whether to support Unity Catalog.
True by default. This enables multi-catalog support for both the Unity Catalog and the single-catalog case. A single catalog is usually named "hive_metastore".
Setting this property to False disables multi-catalog support, in which case there is only one catalog, named "CData".
This option specifies whether to query all catalogs and schemas/databases or only the default catalog and schema/database if catalog and schema parameters are not specified when querying metadata. The default catalog is specified by the property Catalog . The default schema/database is specified by the property Database .
True by default. The driver will query metadata from all catalogs and schemas/databases.
Setting this property to False to query metadata only from the default catalog and schema/database.
このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。
| プロパティ | 説明 |
| AllowPreparedStatement | Prepare a query statement before its execution. |
| ConnectRetryWaitTime | This property specifies the number of seconds to wait prior to retrying a connection request. It only applies to the following case: when attempting to establish a connection to the Databricks cluster, you receive the response 'HTTP response with error code 503: The Cluster is starting'. |
| ApplicationName | The application name connection string property expresses the HTTP User-Agent. |
| AsyncQueryTimeout | The timeout for asynchronous requests issued by the provider to download large result sets. |
| DescribeCommand | The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC. |
| DetectView | Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not. |
| MaxRows | クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。 |
| Other | これらの隠しプロパティは特定のユースケースでのみ使用されます。 |
| PseudoColumns | このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。 |
| QueryPassthrough | このオプションは、クエリをDatabricks サーバーにas-is で渡します。 |
| ServerConfigurations | A name-value list of server configuration variables to override the server defaults. |
| Timeout | タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。 |
| UseDescTableQuery | This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the Apache Spark 3.0.0 or later. |
| UseInsertSelectSyntax | Specifies whether to use an INSERT INTO SELECT statement. |
| UserDefinedViews | カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。 |
Prepare a query statement before its execution.
If the AllowPreparedStatement property is set to false, statements are parsed each time they are executed. Setting this property to false can be useful if you are executing many different queries only once.
If you are executing the same query repeatedly, you will generally see better performance by leaving this property at the default, true. Preparing the query avoids recompiling the same query over and over. However, prepared statements also require the Sync App to keep the connection active and open while the statement is prepared.
This property specifies the number of seconds to wait prior to retrying a connection request. It only applies to the following case: when attempting to establish a connection to the Databricks cluster, you receive the response 'HTTP response with error code 503: The Cluster is starting'.
Specify a reasonable positive integer value to enable this feature, generally 30-60 (seconds), and the default value '-1' means to disable this feature. Specify the maximum number of retries with MaximumRequestRetries.
The application name connection string property expresses the HTTP User-Agent.
The format is
[isv-name+product-name]/[product-version] [comment]>where
The timeout for asynchronous requests issued by the provider to download large result sets.
If the AsyncQueryTimeout property is set to 0, asynchronous operations will not time out; instead, they will run until they complete successfully or encounter an error condition. This property is distinct from Timeout which applies to individual operations while AsyncQueryTimeout applies to execution time of the operation as a whole.
If AsyncQueryTimeout expires and the asynchronous request has not finished being processed, the Sync App raises an error condition.
The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
The describe command used to communicate with the Hive server. Accepted entries are DESCRIBE and DESC.
Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not.
Specifies whether to use DESCRIBE FORMATTED ... to detect the specified table is view or not.
クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。
クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。
これらの隠しプロパティは特定のユースケースでのみ使用されます。
以下にリストされているプロパティは、特定のユースケースで使用可能です。通常のドライバーのユースケースおよび機能では、これらのプロパティは必要ありません。
複数のプロパティをセミコロン区切りリストで指定します。
| DefaultColumnSize | データソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。 |
| ConvertDateTimeToGMT | 日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換するかどうかを決定します。 |
| RecordToFile=filename | 基底のソケットデータ転送を指定のファイルに記録します。 |
このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。
Entity Framework ではテーブルカラムでない疑似カラムに値を設定できないため、この設定はEntity Framework で特に便利です。この接続設定の値は、"Table1=Column1, Table1=Column2, Table2=Column3" の形式です。"*=*" のように"*" 文字を使用して、すべてのテーブルとすべてのカラムを含めることができます。
このオプションは、クエリをDatabricks サーバーにas-is で渡します。
これが設定されていると、クエリはDatabricks に直接渡されます。
A name-value list of server configuration variables to override the server defaults.
This property takes a comma separated list of configuration variables specified as name-value pairs. Any values specified here will be sent to the Hive server to override the default values.
Example: hive.enforce.bucketing=true,hive.enforce.sorting=true
タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。
Timeout が0に設定されている場合は、操作がタイムアウトしません。処理が正常に完了するか、エラー状態になるまで実行されます。
Timeout の有効期限が切れても処理が完了していない場合は、Sync App は例外をスローします。
This option specifies whether the columns will be retrieved using a DESC TABLE query or the GetColumns Thrift API.The GetColumns Thrift API works for the Apache Spark 3.0.0 or later.
When set to true, a DESC TABLE query will be issued to retrieve the columns for the table.
Specifies whether to use an INSERT INTO SELECT statement.
When set to true, an INSERT INTO SELECT statement will be used when executing insert statements. When set to false, an INSERT INTO VALUES statement will be used.
Unless explicitly specified, this option will be configured accordingly based on the Databricks version.
カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。
ユーザー定義ビューは、UserDefinedViews.json というJSON 形式のコンフィギュレーションファイルで定義されています。Sync App は、このファイルで指定されたビューを自動的に検出します。
また、複数のビュー定義を持ち、UserDefinedViews 接続プロパティを使用して制御することも可能です。このプロパティを使用すると、指定されたビューのみがSync App によって検知されます。
このユーザー定義ビューのコンフィギュレーションファイルは、次のようにフォーマットされています。
次に例を示します。
{
"MyView": {
"query": "SELECT * FROM [CData].[Sample].Customers WHERE MyColumn = 'value'"
},
"MyView2": {
"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
}
}
UserDefinedViews 接続プロパティを使用して、JSON コンフィギュレーションファイルの場所を指定します。次に例を示します。
"UserDefinedViews", C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json指定されたパスは引用符で囲まれていないことに注意してください。