Azure Data Lake Store Connector for CData Sync

Build 22.0.8479
  • Azure Data Lake Store
    • 接続の確立
    • 接続文字列オプション
      • Authentication
        • AuthScheme
        • Generation
        • FileSystem
      • Azure Authentication
        • AzureStorageAccount
        • AzureAccessKey
        • AzureSharedAccessSignature
        • AzureTenant
        • AzureEnvironment
      • OAuth
        • OAuthClientId
        • OAuthClientSecret
        • OAuthGrantType
      • JWT OAuth
        • OAuthJWTCert
        • OAuthJWTCertType
        • OAuthJWTCertPassword
        • OAuthJWTCertSubject
        • OAuthJWTIssuer
        • OAuthJWTSubject
      • SSL
        • SSLServerCert
      • Firewall
        • FirewallType
        • FirewallServer
        • FirewallPort
        • FirewallUser
        • FirewallPassword
      • Proxy
        • ProxyAutoDetect
        • ProxyServer
        • ProxyPort
        • ProxyAuthScheme
        • ProxyUser
        • ProxyPassword
        • ProxySSLType
        • ProxyExceptions
      • Logging
        • LogModules
      • Schema
        • Location
        • BrowsableSchemas
        • Tables
        • Views
      • Miscellaneous
        • ChunkSize
        • FileFormat
        • IncludeColumnsHeaders
        • InsertMode
        • MaxRows
        • MaxThreads
        • Other
        • PseudoColumns
        • Timeout
        • UserDefinedViews

Azure Data Lake Store Connector for CData Sync

概要

CData Sync App は、Azure Data Lake Store データをデータベース、データレイク、またはデータウェアハウスに継続的にパイプライン化する簡単な方法を提供し、分析、レポート、AI、および機械学習で簡単に利用できるようにします。

Azure Data Lake Store Destination コネクタはCData Sync アプリケーションから使用可能で、Azure Data Lake Store Destination からデータを取得して、サポートされている任意の同期先に移動できます。

Azure Data Lake Store Connector for CData Sync

接続の確立

Sync App アプリケーションの接続 ページに移動し、接続の追加 パネルで対応するアイコンを選択して、Azure Data Lake Store Destination への接続を作成します。Azure Data Lake Store Destination アイコンが利用できない場合は、Add More アイコンをクリックしてCData サイトからAzure Data Lake Store Destination コネクタをダウンロードおよびインストールします。

必須プロパティは[設定]タブにリストされています。[Advanced]タブには、通常は必要ない接続プロパティが表示されます。

Azure DataLakeStorage Gen 1 への接続

Gen 1 DataLakeStorage アカウントに接続するには、まず次のプロパティを設定する必要があります。

  • Generation:1 に設定。
  • AzureStorageAccount:アカウント名に設定。
  • AzureTenant:テナントId に設定。取得方法について詳しくは、プロパティを参照してください。
  • Path:(オプション)複製されたファイルを格納するために使用されるパスに設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 1 への認証

Gen 1 は、次の認証メソッドをサポートしています:Azure Active Directory OAuth(AzureAD)およびManaged Service Identity(AzureMSI)。

Azure AD

Gen 1 では、service-to-service 認証にAzure AD のOAuth 2.0 クライアントクレデンシャルフローを使用します。

これには、Active Directory のWeb アプリケーションが必要です。作成するには、次の手順に従ってください。

  1. Azure ポータル(https://portal.azure.com/)からAzure アカウントにサインインします。
  2. [Azure Active Directory]を選択します。
  3. [アプリの登録]を選択します。
  4. [新しいアプリケーションの登録]を選択します。
  5. アプリケーションの名前とURL を入力します。作成するアプリケーションのタイプとして[Web アプリ]を選択します。
  6. [必要な権限]をクリックして、このアプリに必要な権限を変更します。最低でも、「Azure Data Lake」と「Windows Azure Service Management API」が必要です。
  7. [キー]をクリックして新しいキーを生成します。説明、期間を追加して、生成されたキーをメモしておきます。キーは再び表示されることはありません。

Gen 1 DataLakeStore アカウントに対して認証するには、次のプロパティが必須です。

  1. AuthScheme -- "AzureAD" に設定。
  2. InitiateOAuth -- "GETANDREFRESH" に設定。
  3. OAuthClientId -- 作成したアプリのアプリケーションId。
  4. OAuthClientSecret -- 作成したアプリ用に生成されたキー。

Azure Service Principal

Azure Service Principal is a connection type that goes through client credentials OAuth flow. For this authentication scheme, an Active Directory web application is required. You can follow the steps above in the AzureAD authentication section to create a custom OAuth app, then you can follow the steps below to assign the app a role with access right to your Azure storage.

  1. Log in to https://portal.azure.com.
  2. Open the Subscriptions page by searching and selecting the Subscriptions service from the search bar.
  3. Select the particular subscription to assign the application to, then open the Access control (IAM) section, and click on the Add role assignment button.
  4. Set the role to assign to your created OAuth app. Select the Owner role for the ADLSGen1 Schema. Alternatively, you can also grant access rights by assigning ACLs (Access control lists) to your service principal.

You are then ready to authenticate against a Gen 1 DataLakeStore account after setting the following properties:

  1. AuthScheme -- Set this to "AzureServicePrincipal".
  2. InitiateOAuth -- Set this to "GETANDREFRESH".
  3. OAuthClientId -- this is the application Id of the app you created.
  4. OAuthClientSecret -- this is the key generated for the app you created.

MSI

Azure VM 上でAzure Data Lake Store Destination を実行している場合は、Managed Service Identity(MSI)の資格情報を利用して接続が可能です。

  • AuthScheme:AzureMSI に設定。

MSI 資格情報が認証用に自動的に取得されます。

Azure DataLakeStorage Gen 2 への接続

Gen 2 DataLakeStorage アカウントに接続するには、まず次のプロパティを設定する必要があります。

  • Generation:2 に設定。
  • AzureStorageAccount:ストレージアカウント名に設定。
  • FileSystem:このアカウントに使用されるファイルシステム名に設定。例えば、Azure Blob コンテナの名前。
  • Path:(オプション)複製されたファイルを格納するために使用されるパスに設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 2 への認証

Gen 2 は、次の認証メソッドをサポートしています:AccessKey の使用と共有アクセス署名の使用。

Access Key

To connect using a Shared Access Signature set the AzureAccessKey property and the AuthScheme to AccessKey.

You can obtain an access key for the ADLS Gen2 storage account using the Azure portal:

  1. Go to your ADLS Gen2 Storage Account in the Azure portal.
  2. 設定で[アクセスキー]を選択します。
  3. Copy the value for one of the available access keys to the AzureAccessKey connection property.

共有アクセス署名(SAS)

To connect using a Shared Access Signature set the AzureSharedAccessSignature property to a valid signature of a resource to connect to and the AuthScheme to SAS. The AzureSharedAccessSignature may be generated with a tool such as Azure Storage Explorer.

Authenticating using Azure AD

Please follow the instructions from the Gen 1 section on using Azure AD since they apply for Gen 2 as well.

Azure Service Principal

Please follow the instructions from the Gen 1 section on using Azure Service Principal since they apply for Gen 2 as well.

MSI

Azure VM 上でAzure Data Lake Store Destination を実行している場合は、Managed Service Identity(MSI)の資格情報を利用して接続が可能です。

  • AuthScheme:AzureMSI に設定。

MSI 資格情報が認証用に自動的に取得されます。

Azure Data Lake Store Connector for CData Sync

接続文字列オプション

接続文字列プロパティは、接続を確立するために使用できるさまざまなオプションです。このセクションでは、本プロバイダーの接続文字列で設定できるオプションの一覧を示します。詳細については各リンクをクリックしてください。

接続を確立する方法について詳しくは、接続の確立を参照してください。

Authentication


プロパティ説明
AuthSchemeThe type of authentication to use when connecting to Azure Data Lake Store Destination.
GenerationThe generation of the Azure DataLakeStore account you are authenticating to.
FileSystemThis property specifies the name of the FileSystem which will be used in a Gen 2 account.

Azure Authentication


プロパティ説明
AzureStorageAccountAzure ストレージアカウント名。
AzureAccessKeyAzure Data Lake Store Destination アカウントに関連付けられているストレージキー。
AzureSharedAccessSignature認証に使用可能な共有アクセスキー署名。
AzureTenantデータにアクセスするために使用されるMicrosoft Online テナント。指定しない場合は、デフォルトのテナントが使用されます。
AzureEnvironment接続を確立するときに使用するAzure 環境。

OAuth


プロパティ説明
OAuthClientIdOAuth 認証サーバーを使用してアプリケーションを登録する場合に割り当てられたクライアントId。
OAuthClientSecretOAuth 認証サーバーにアプリケーションを登録する場合に割り当てられたクライアントシークレット。
OAuthGrantTypeOAuth フローのグラント種別。

JWT OAuth


プロパティ説明
OAuthJWTCertJWT 証明書のストア。
OAuthJWTCertTypeJWT 証明書を格納するキーストアの種類。
OAuthJWTCertPasswordOAuth JWT 証明書のパスワード。
OAuthJWTCertSubjectOAuth JWT 証明書のサブジェクト。
OAuthJWTIssuerJava Web Token の発行者。
OAuthJWTSubjectアプリケーションからデリゲートアクセスの要求対象となるユーザーサブジェクト。

SSL


プロパティ説明
SSLServerCertTLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

Firewall


プロパティ説明
FirewallTypeプロキシベースのファイアウォールで使われるプロトコル。
FirewallServerプロキシベースのファイアウォールの名前もしくはIP アドレス。
FirewallPortプロキシベースのファイアウォールのTCP ポート。
FirewallUserプロキシベースのファイアウォールに認証するために使うユーザー名。
FirewallPasswordプロキシベースのファイアウォールへの認証に使われるパスワード。

Proxy


プロパティ説明
ProxyAutoDetectこれは、システムプロキシ設定を使用するかどうかを示します。これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。
ProxyServerHTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。
ProxyPortProxyServer プロキシが起動しているTCP ポート。
ProxyAuthSchemeProxyServer プロキシへの認証で使われる認証タイプ。
ProxyUserProxyServer プロキシへの認証に使われるユーザー名。
ProxyPasswordProxyServer プロキシへの認証に使われるパスワード。
ProxySSLTypeProxyServer プロキシへの接続時に使用するSSL タイプ。
ProxyExceptionsProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

Logging


プロパティ説明
LogModulesログファイルに含めるコアモジュール。

Schema


プロパティ説明
Locationテーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。
BrowsableSchemasこのプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tablesこのプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。
Views使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

Miscellaneous


プロパティ説明
ChunkSizeマルチパートアップロードのチャンクサイズ(単位Mb)を指定します。
FileFormatファイル形式を指定します。
IncludeColumnsHeadersレプリケートされたCSV ファイルの一行目にカラム名を追加するかどうか。
InsertModeCSV ファイルにデータを挿入する際のモードを指定します。
MaxRowsクエリで集計またはグループ化を使用しない場合に返される行数を制限します。これにより、設計時にパフォーマンスの問題を回避できます。
MaxThreads同時リクエスト数を指定します。
Otherこれらの隠しプロパティは特定のユースケースでのみ使用されます。
PseudoColumnsこのプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。
Timeoutタイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。
UserDefinedViewsカスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。
Azure Data Lake Store Connector for CData Sync

Authentication

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。


プロパティ説明
AuthSchemeThe type of authentication to use when connecting to Azure Data Lake Store Destination.
GenerationThe generation of the Azure DataLakeStore account you are authenticating to.
FileSystemThis property specifies the name of the FileSystem which will be used in a Gen 2 account.
Azure Data Lake Store Connector for CData Sync

AuthScheme

The type of authentication to use when connecting to Azure Data Lake Store Destination.

解説

  • Auto: Lets the CData Sync App determine what to do based on other connection properties.
  • AzureAD: Set this to perform Azure Active Directory OAuth authentication. This is applicable only when the Generation ist set to 1.
  • AzureServicePrincipal: Set this to authenticate as an Azure Service Principal. This is applicable only when the Generation ist set to 1.
  • AzureMSI: Set this to automatically obtain Managed Service Identity credentials when running on an Azure VM. This is applicable only when the Generation ist set to 1.
  • AccessKey: Set this to authenticate the calls to the API by setting the AccessKey to your Access Key. This is applicable only when the Generation ist set to 2.
  • SAS: Set this to authenticate the calls to the API by setting the SharedAccessSignature to your Shared Access Signature (SAS). This is applicable only when the Generation ist set to 2.

Azure Data Lake Store Connector for CData Sync

Generation

The generation of the Azure DataLakeStore account you are authenticating to.

解説

The generation of the Azure DataLakeStore account you are authenticating to.

Azure Data Lake Store Connector for CData Sync

FileSystem

This property specifies the name of the FileSystem which will be used in a Gen 2 account.

解説

This property specifies the name of the FileSystem which will be used in a Gen 2 account.

Azure Data Lake Store Connector for CData Sync

Azure Authentication

このセクションでは、本プロバイダーの接続文字列で設定可能なAzure Authentication プロパティの全リストを提供します。


プロパティ説明
AzureStorageAccountAzure ストレージアカウント名。
AzureAccessKeyAzure Data Lake Store Destination アカウントに関連付けられているストレージキー。
AzureSharedAccessSignature認証に使用可能な共有アクセスキー署名。
AzureTenantデータにアクセスするために使用されるMicrosoft Online テナント。指定しない場合は、デフォルトのテナントが使用されます。
AzureEnvironment接続を確立するときに使用するAzure 環境。
Azure Data Lake Store Connector for CData Sync

AzureStorageAccount

Azure ストレージアカウント名。

解説

Azure ストレージアカウントの名前。

Azure Data Lake Store Connector for CData Sync

AzureAccessKey

Azure Data Lake Store Destination アカウントに関連付けられているストレージキー。

解説

Azure Data Lake Store Destination アカウントに関連付けられているストレージキー。以下のように取得できます:

  1. ルートアカウントの資格情報を使用してAzure ポータルにサインインします。(https://portal.azure.com/)
  2. ストレージアカウントをクリックして、使用するストレージアカウントを選択します。
  3. 設定で[アクセスキー]をクリックします。
  4. ページ上にストレージアカウント名とキーが表示されます。

Azure Data Lake Store Connector for CData Sync

AzureSharedAccessSignature

認証に使用可能な共有アクセスキー署名。

解説

共有アクセス署名。以下の手順で作成することができます。

  1. ルートアカウントの資格情報を使用してAzure ポータルにサインインします。(https://portal.azure.com/)
  2. ストレージアカウントをクリックして、使用するストレージアカウントを選択します。
  3. 設定で[Shared Access Signature]をクリックします。
  4. 権限およびトークンの有効期限を設定します。
  5. [Generate SAS]をクリックするとトークンをコピーできます。

Azure Data Lake Store Connector for CData Sync

AzureTenant

データにアクセスするために使用されるMicrosoft Online テナント。指定しない場合は、デフォルトのテナントが使用されます。

解説

データにアクセスするために使用されるMicrosoft Online テナント。例えば、contoso.onmicrosoft.com です。あるいは、 テナントId を指定します。この値は[Azure ポータル]->[Azure Active Directory]->[プロパティ]のディレクトリId です。

通常、Tenant を指定する必要はありません。OAuthGrantType をCODE(デフォルト)に設定している場合は、Microsoft が自動的に決定します。 ただし、ユーザーがマルチテナントに所属している場合は失敗する可能性があります。 例えば、ドメインA の管理者がドメインB のユーザーをゲストユーザーとして招待した場合。ユーザーは両方のテナントに属していることになります。 Tenant を指定するのはグッドプラクティスですが、一般的には指定しなくてもうまく動作するはずです。

OAuthGrantType をCLIENT に設定する場合は、AzureTenant が必須です。クライアント資格情報を使用する場合、ユーザーコンテキストはありません。 資格情報は、アプリ自体のコンテキストから取得されます。Microsoft ではTenant を指定せずにクライアント資格情報を取得することを許容していますが、使用する特定のテナントを選択する可能性ははるかに低くなっています。 このため、接続するドメインに適用される資格情報を確実に取得するために、すべてのクライアント資格情報接続に対してAzureTenant を明示的に指定する必要があります。

Azure Data Lake Store Connector for CData Sync

AzureEnvironment

接続を確立するときに使用するAzure 環境。

解説

ほとんどの場合、環境をグローバルに設定したままにしておくとうまく機能します。ただし、 Azure アカウントが別の環境に追加されている場合は、AzureEnvironment を使用してどの環境かを 指定できます。利用可能な値はGLOBAL、CHINA、USGOVT、USGOVTDOD です。

Azure Data Lake Store Connector for CData Sync

OAuth

このセクションでは、本プロバイダーの接続文字列で設定可能なOAuth プロパティの全リストを提供します。


プロパティ説明
OAuthClientIdOAuth 認証サーバーを使用してアプリケーションを登録する場合に割り当てられたクライアントId。
OAuthClientSecretOAuth 認証サーバーにアプリケーションを登録する場合に割り当てられたクライアントシークレット。
OAuthGrantTypeOAuth フローのグラント種別。
Azure Data Lake Store Connector for CData Sync

OAuthClientId

OAuth 認証サーバーを使用してアプリケーションを登録する場合に割り当てられたクライアントId。

解説

OAuth アプリケーションの登録の一環として、コンシューマキーとも呼ばれるOAuthClientId 値、およびクライアントシークレットOAuthClientSecret が提供されます。

Azure Data Lake Store Connector for CData Sync

OAuthClientSecret

OAuth 認証サーバーにアプリケーションを登録する場合に割り当てられたクライアントシークレット。

解説

OAuth アプリケーションの登録の一環として、コンシューマキーとも呼ばれるOAuthClientId が提供されます。また、コンシューマーシークレットと呼ばれるクライアントシークレットも提供されます。クライアントシークレットをOAuthClientSecret プロパティに設定します。

Azure Data Lake Store Connector for CData Sync

OAuthGrantType

OAuth フローのグラント種別。

解説

次のオプションが利用可能です:CLIENT,CODE

Azure Data Lake Store Connector for CData Sync

JWT OAuth

このセクションでは、本プロバイダーの接続文字列で設定可能なJWT OAuth プロパティの全リストを提供します。


プロパティ説明
OAuthJWTCertJWT 証明書のストア。
OAuthJWTCertTypeJWT 証明書を格納するキーストアの種類。
OAuthJWTCertPasswordOAuth JWT 証明書のパスワード。
OAuthJWTCertSubjectOAuth JWT 証明書のサブジェクト。
OAuthJWTIssuerJava Web Token の発行者。
OAuthJWTSubjectアプリケーションからデリゲートアクセスの要求対象となるユーザーサブジェクト。
Azure Data Lake Store Connector for CData Sync

OAuthJWTCert

JWT 証明書のストア。

解説

クライアント証明書のための証明書ストア名。

OAuthJWTCertType フィールドは、OAuthJWTCert により指定された証明書ストアの種類を指定します。 ストアがパスワードで保護されている場合は、OAuthJWTCertPassword でパスワードを指定します。

OAuthJWTCert は、OAuthJWTCertSubject フィールドとともにクライアント証明書を指定するために使われます。 OAuthJWTCert に値がある場合で、OAuthJWTCertSubject が設定されている場合は、証明書の検索が始まります。 詳しくは、OAuthJWTCertSubject フィールドを参照してください。

証明書ストアの指定はプラットフォームに依存します。

Windows の共通のユーザとシステム証明書ストアの指定は以下のとおりです。

MY個人証明書と関連付けられた秘密キーを格納している証明書ストア。
CA証明機関の証明書。
ROOTルート証明書。
SPCソフトウェア発行元証明書。

Javaでは、証明書ストアは通常、証明書および任意の秘密キーを含むファイルです。

証明書ストアの種類がPFXFile の場合は、このプロパティにファイル名を設定します。 PFXBlob の場合は、このプロパティをPFX ファイルのバイナリコンテンツ(例えば、PKCS12証明書ストア)に設定する必要があります。

Azure Data Lake Store Connector for CData Sync

OAuthJWTCertType

JWT 証明書を格納するキーストアの種類。

解説

このプロパティには次の値の一つを設定できます。

USERWindows の場合、現在のユーザーにより所有された証明書ストアであることを指定します。 Note:この種類はJava では利用できません。
MACHINEWindows の場合、この証明書ストアがシステムストアであることを指定します。 Note:この種類はJava では利用できません。
PFXFILEこの証明書ストアは、証明書を含むPFX(PKCS12)ファイルの名前です。
PFXBLOBこの証明書ストアは、PFX(PKCS12)形式の証明書ストアを表すBase-64でエンコードされた文字列です。
JKSFILEこの証明書ストアは、証明書を含むJava key store(JKS)ファイルの名前です。 Note:この種類はJava のみで利用できます。
JKSBLOBこの証明書ストアは、Java key store(JKS)形式の証明書ストアを表すBase-64でエンコードされた文字列です。 Note:この種類はJava のみで利用できます。
PEMKEY_FILEこの証明書ストアは、秘密キーと任意の証明書を含むPEM でエンコードされたファイルの名前です。
PEMKEY_BLOBこの証明書ストアは、秘密キーと任意の証明書を含むBase-64でエンコードされた文字列です。
PUBLIC_KEY_FILEこの証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むファイルの名前です。
PUBLIC_KEY_BLOBこの証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むBase-64でエンコードされた文字列です。
SSHPUBLIC_KEY_FILEこの証明書ストアは、SSH 公開キーを含むファイルの名前です。
SSHPUBLIC_KEY_BLOBこの証明書ストアは、SSH 公開キーを含むBase-64でエンコードされた文字列です。
P7BFILEこの証明書ストアは、証明書を含むPKCS7 ファイルの名前です。
PPKFILEこの証明書ストアは、PuTTY 秘密キー(PPK)を含むファイルの名前です。
XMLFILEこの証明書ストアは、XML 形式の証明書を含むファイルの名前です。
XMLBLOBこの証明書ストアは、XML 形式の証明書を含む文字列の名前です。

Azure Data Lake Store Connector for CData Sync

OAuthJWTCertPassword

OAuth JWT 証明書のパスワード。

解説

証明書ストアでパスワードが必要である場合、このプロパティを使用してパスワードを指定し、証明書ストアにアクセスできます。

Azure Data Lake Store Connector for CData Sync

OAuthJWTCertSubject

OAuth JWT 証明書のサブジェクト。

解説

証明書のサブジェクトは、証明書をロードするときにストア内の証明書を検索するために使用されます。

完全に一致するものが見つからない場合、ストアはプロパティの値を含むサブジェクトを検索します。

それでも一致するものが見つからない場合、プロパティは空白で設定され、証明書は選択されません。

"*" に設定すると、証明書ストアの1番目の証明書が選択されます。

証明書のサブジェクトは識別の名前フィールドおよび値のカンマ区切りのリストです。 例えば、"CN=www.server.com, OU=test, C=US, [email protected]"。共通のフィールドとその説明は以下のとおりです。

フィールド説明
CN共通名。一般的には、www.server.com のようなホスト名です。
O法人名
OU法人の部署名
L法人の住所(市町村名)
S法人の住所(都道府県)
C国名
EEメールアドレス

フィールド値にカンマが含まれている場合は、それを引用符で囲む必要があります。

Azure Data Lake Store Connector for CData Sync

OAuthJWTIssuer

Java Web Token の発行者。

解説

Java Web Token の発行者。通常は、OAuth アプリケーションのクライアントId またはE メールアドレスとなります。

Azure Data Lake Store Connector for CData Sync

OAuthJWTSubject

アプリケーションからデリゲートアクセスの要求対象となるユーザーサブジェクト。

解説

アプリケーションからデリゲートアクセスの要求対象となるユーザーサブジェクトです。通常は、ユーザーのアカウント名またはE メールアドレスとなります。

Azure Data Lake Store Connector for CData Sync

SSL

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。


プロパティ説明
SSLServerCertTLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。
Azure Data Lake Store Connector for CData Sync

SSLServerCert

TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

解説

TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります:

説明 例
フルPEM 証明書(例では省略されています) -----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE-----
証明書を保有するローカルファイルへのパス。 C:\cert.cer
公開鍵(例では省略されています) -----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY-----
MD5 Thumbprint (hex 値はスペースおよびコロン区切り) ecadbdda5a1529c58a1e9e09828d70e4
SHA1 Thumbprint (hex 値はスペースおよびコロン区切り) 34a929226ae0819f2ec14b4a3d904f801cbb150d

これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。

すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。

Azure Data Lake Store Connector for CData Sync

Firewall

このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。


プロパティ説明
FirewallTypeプロキシベースのファイアウォールで使われるプロトコル。
FirewallServerプロキシベースのファイアウォールの名前もしくはIP アドレス。
FirewallPortプロキシベースのファイアウォールのTCP ポート。
FirewallUserプロキシベースのファイアウォールに認証するために使うユーザー名。
FirewallPasswordプロキシベースのファイアウォールへの認証に使われるパスワード。
Azure Data Lake Store Connector for CData Sync

FirewallType

プロキシベースのファイアウォールで使われるプロトコル。

解説

このプロパティは、Sync App がFirewallServer プロキシ経由でトンネルトラフィックを使うためのプロトコルを指定します。デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し次のプロキシタイプのどれかで接続するには、ProxyAutoDetect をfalse に設定します。

タイプ デフォルトポート 説明
TUNNEL 80 これが設定されている場合、Sync App はAzure Data Lake Store Destination への接続を開き、プロキシを経由して通信が行われます。
SOCKS4 1080 これが設定されている場合、Sync App はデータをFirewallServer およびFirewallPort で指定されたSOCS 4 プロキシ経由で送信し、接続リクエストが許容されるかどうかを決定します。
SOCKS5 1080 これが設定されている場合、Sync App はデータをFirewallServer およびFirewallPort で指定されたSOCS 5 プロキシ経由で送信します。プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。

HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。

Azure Data Lake Store Connector for CData Sync

FirewallServer

プロキシベースのファイアウォールの名前もしくはIP アドレス。

解説

ファイアウォールトラバーサルを許容するために設定するIP アドレス、DNS 名、もしくはプロキシホスト名を指定するプロパティです。プロトコルはFirewallType で指定されます。このプロパティとFirewallServer を使って、SOCKS 経由での接続、もしくはトンネリングが可能です。HTTP プロキシへの接続には、ProxyServer を使用します。

Sync App はデフォルトでシステムプロキシを使うので注意してください。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定してください。

Azure Data Lake Store Connector for CData Sync

FirewallPort

プロキシベースのファイアウォールのTCP ポート。

解説

ファイアウォールトラバーサルを許容するために設定するプロキシベースのファイアウォールのTCP ポート。名前もしくはIP アドレスを指定するには、FirewallServer を使います。FirewallType でプロトコルを指定します。

Azure Data Lake Store Connector for CData Sync

FirewallUser

プロキシベースのファイアウォールに認証するために使うユーザー名。

解説

FirewallUser およびFirewallPassword プロパティは、FirewallType により指定された認証方式に則り、FirewallServer、およびFirewallPort で指定されたプロキシに対しての認証に使われます。

Azure Data Lake Store Connector for CData Sync

FirewallPassword

プロキシベースのファイアウォールへの認証に使われるパスワード。

解説

このプロパティは、FirewallType により指定された認証メソッドに則り、FirewallServer およびFirewallPort で指定されたプロキシに渡されます。

Azure Data Lake Store Connector for CData Sync

Proxy

このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。


プロパティ説明
ProxyAutoDetectこれは、システムプロキシ設定を使用するかどうかを示します。これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。
ProxyServerHTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。
ProxyPortProxyServer プロキシが起動しているTCP ポート。
ProxyAuthSchemeProxyServer プロキシへの認証で使われる認証タイプ。
ProxyUserProxyServer プロキシへの認証に使われるユーザー名。
ProxyPasswordProxyServer プロキシへの認証に使われるパスワード。
ProxySSLTypeProxyServer プロキシへの接続時に使用するSSL タイプ。
ProxyExceptionsProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。
Azure Data Lake Store Connector for CData Sync

ProxyAutoDetect

これは、システムプロキシ設定を使用するかどうかを示します。これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。

解説

これは他のプロキシ設定よりも優先されるため、カスタムプロキシ設定を使用するにはProxyAutoDetect をFALSE に設定する必要があります。

HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。

Azure Data Lake Store Connector for CData Sync

ProxyServer

HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。

解説

HTTP トラフィックをルートするためのプロキシのホストネームもしくはIP アドレス。HTTP プロキシへの認証には、Sync App はHTTP、Windows(NTLM)、もしくはKerberos 認証タイプを使用することができます。

SOCKS プロキシを経由して接続する、もしくは接続をトンネルするには、FirewallType を参照してください。

デフォルトで、Sync App はsystem プロキシを使います。他のプロキシを使う場合には、ProxyAutoDetect をfalse に設定します。

Azure Data Lake Store Connector for CData Sync

ProxyPort

ProxyServer プロキシが起動しているTCP ポート。

解説

HTTP トラフィックをリダイレクトするHTTP プロキシが実行されているポート。ProxyServer でHTTP プロキシを指定します。その他のプロキシタイプについては、FirewallType を参照してください。

Azure Data Lake Store Connector for CData Sync

ProxyAuthScheme

ProxyServer プロキシへの認証で使われる認証タイプ。

解説

この値は、ProxyServer およびProxyPort で指定されるHTTP プロキシに認証するために使われる認証タイプを指定します。

Sync App は、デフォルトでsystem proxy settings を使い、追加での設定が不要です。他のプロキシへの接続をする場合には、ProxyServer およびProxyPort に加え、ProxyAutoDetect をfalse に設定します。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。

認証タイプは、次のどれかになります。

  • BASIC: Sync App はHTTP BASIC 認証を行います。
  • DIGEST: Sync App はHTTP DIGEST 認証を行います。
  • NEGOTIATE: Sync App は認証において有効なプロトコルに応じて、NTLM もしくはKereros トークンを取得します。
  • PROPRIETARY: Sync App はNTLM もしくはKerberos トークンを発行しません。このトークンを、HTTP リクエストのAuthorization ヘッダーに含める必要があります。

SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。

Azure Data Lake Store Connector for CData Sync

ProxyUser

ProxyServer プロキシへの認証に使われるユーザー名。

解説

ProxyUser および ProxyPassword オプションは、ProxyServer で指定されたHTTP プロキシに対して接続および認証するために使用されます。

ProxyAuthScheme で使用可能な認証タイプを選択することができます。HTTP 認証を使う場合、これをHTTP プロキシで識別可能なユーザーのユーザー名に設定します。Windows もしくはKerberos 認証を使用する場合、このプロパティを次の形式のどれかでユーザー名に設定します。

user@domain
domain\user

Azure Data Lake Store Connector for CData Sync

ProxyPassword

ProxyServer プロキシへの認証に使われるパスワード。

解説

このプロパティは、NTLM(Windows)、Kerberos、もしくはHTTP 認証をサポートするHTTP プロキシサーバーに認証するために使われます。HTTP プロキシを指定するためには、ProxyServer およびProxyPort を設定します。認証タイプを指定するためにはProxyAuthScheme を設定します。

HTTP 認証を使う場合、さらにHTTP プロキシにProxyUser およびProxyPassword を設定します。

NTLM 認証を使う場合、Windows パスワードにProxyUser およびProxyPassword を設定します。Kerberos 認証には、これらを入力する必要があります。

SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。

デフォルトで、Sync App はsystem プロキシを使います。他のプロキシに接続する場合には、これをfalse に設定します。

Azure Data Lake Store Connector for CData Sync

ProxySSLType

ProxyServer プロキシへの接続時に使用するSSL タイプ。

解説

このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この値は、AUTO、ALWAYS、NEVER、TUNNEL のいずれかです。有効な値は次のとおりです。

AUTOデフォルト設定。URL がHTTPS URL の場合、Sync App は、TUNNEL オプションを使います。URL がHTTP URL の場合、コンポーネントはNEVER オプションを使います。
ALWAYS接続は、常にSSL 有効となります。
NEVER接続は、SSL 有効になりません。
TUNNEL接続は、トンネリングプロキシを経由します。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。

Azure Data Lake Store Connector for CData Sync

ProxyExceptions

ProxyServer 経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリスト。

解説

ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。

Sync App は、追加設定なしにデフォルトでシステムのプロキシ設定を使います。この接続のプロキシ例外を明示的に構成するには、ProxyAutoDetect をfalse に設定して、ProxyServer およびProxyPort を設定する必要があります。認証するには、ProxyAuthScheme を設定し、必要な場合にはProxyUser およびProxyPassword を設定します。

Azure Data Lake Store Connector for CData Sync

Logging

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。


プロパティ説明
LogModulesログファイルに含めるコアモジュール。
Azure Data Lake Store Connector for CData Sync

LogModules

ログファイルに含めるコアモジュール。

解説

指定された(';' で区切られた)モジュールのみがログファイルに含まれます。デフォルトではすべてのモジュールが含まれます。

概要はログ ページを参照してください。

Azure Data Lake Store Connector for CData Sync

Schema

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。


プロパティ説明
Locationテーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。
BrowsableSchemasこのプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tablesこのプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。
Views使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。
Azure Data Lake Store Connector for CData Sync

Location

テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリへのパス。

解説

Sync App のスキーマファイル(テーブルとビューの場合は.rsd ファイル、ストアドプロシージャの場合は.rsb ファイル)を含むディレクトリへのパス。このフォルダの場所は、実行ファイルの場所からの相対パスにすることができます。Location プロパティは、定義をカスタマイズしたり(例えば、カラム名を変更する、カラムを無視するなど)、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。

指定しない場合、デフォルトの場所は"%APPDATA%\\CData\\AZUREDATALAKESTOREDestination Data Provider\\Schema" となり、%APPDATA% はユーザーのコンフィギュレーションディレクトリに設定されます:

Azure Data Lake Store Connector for CData Sync

BrowsableSchemas

このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

解説

スキーマをデータベースからリストすると、負荷がかかる可能性があります。接続文字列でスキーマのリストを提供すると、 パフォーマンスが向上します。

Azure Data Lake Store Connector for CData Sync

Tables

このプロパティは、使用可能なテーブルのサブセットにレポートされるテーブルを制限します。例えば、Tables=TableA,TableB,TableC です。

解説

テーブルを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でテーブルのリストを提供すると、Sync App のパフォーマンスが向上します。

このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。

カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。

複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。

Azure Data Lake Store Connector for CData Sync

Views

使用可能なテーブルのサブセットにレポートされるビューを制限します。例えば、Views=ViewA,ViewB,ViewC です。

解説

ビューを複数のデータベースからリストすると、負荷がかかる可能性があります。接続文字列でビューのリストを提供すると、Sync App のパフォーマンスが向上します。

このプロパティは、作業したいビューがすでにわかっていて、ビューが多すぎる場合に、ビューを自動的にリストする代わりに使用することもできます。

カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。

複数のスキーマまたはカタログを持つデータソースに接続する場合は、複数のカタログやスキーマに存在するテーブル間の曖昧さを避けるため、最後の例のように、このプロパティにテーブルの完全修飾名を指定する必要があることに注意してください。

Azure Data Lake Store Connector for CData Sync

Miscellaneous

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。


プロパティ説明
ChunkSizeマルチパートアップロードのチャンクサイズ(単位Mb)を指定します。
FileFormatファイル形式を指定します。
IncludeColumnsHeadersレプリケートされたCSV ファイルの一行目にカラム名を追加するかどうか。
InsertModeCSV ファイルにデータを挿入する際のモードを指定します。
MaxRowsクエリで集計またはグループ化を使用しない場合に返される行数を制限します。これにより、設計時にパフォーマンスの問題を回避できます。
MaxThreads同時リクエスト数を指定します。
Otherこれらの隠しプロパティは特定のユースケースでのみ使用されます。
PseudoColumnsこのプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。
Timeoutタイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。
UserDefinedViewsカスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。
Azure Data Lake Store Connector for CData Sync

ChunkSize

マルチパートアップロードのチャンクサイズ(単位Mb)を指定します。

解説

マルチパートアップロードのチャンクサイズ(単位Mb)を指定します。マルチパートアップロードを無効にする場合は、-1を設定してください。

Azure Data Lake Store Connector for CData Sync

FileFormat

ファイル形式を指定します。

解説

ファイル形式を指定します。

Azure Data Lake Store Connector for CData Sync

IncludeColumnsHeaders

レプリケートされたCSV ファイルの一行目にカラム名を追加するかどうか。

解説

このプロパティをTrue に設定すると、Sync App はレプリケートされたCSV ファイルの先頭にカラム名を追加します。

Azure Data Lake Store Connector for CData Sync

InsertMode

CSV ファイルにデータを挿入する際のモードを指定します。

解説

CSV ファイルへのデータ挿入には、2つのモードが利用可能です。

  • FilePerBatch:バッチごとに新しいCSV ファイルが作成されます。ファイル名は、"yyyyMMddhhmmssSSS_batchId" のフォーマットになり、日付と時刻がトランザクションの開始を表します。
  • SingleFile:このモードでは、すべてが単一のCSV ファイルに挿入されます。

Azure Data Lake Store Connector for CData Sync

MaxRows

クエリで集計またはグループ化を使用しない場合に返される行数を制限します。これにより、設計時にパフォーマンスの問題を回避できます。

解説

クエリで集計またはグループ化を使用しない場合に返される行数を制限します。これにより、設計時にパフォーマンスの問題を回避できます。

Azure Data Lake Store Connector for CData Sync

MaxThreads

同時リクエスト数を指定します。

解説

このプロパティを使用すると、複数のリクエストを同時に発行することができパフォーマンスが向上します。

Azure Data Lake Store Connector for CData Sync

Other

これらの隠しプロパティは特定のユースケースでのみ使用されます。

解説

以下にリストされているプロパティは、特定のユースケースで使用可能です。通常のドライバーのユースケースおよび機能では、これらのプロパティは必要ありません。

複数のプロパティをセミコロン区切りリストで指定します。

統合およびフォーマット

DefaultColumnSizeデータソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。
ConvertDateTimeToGMT日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換するかどうかを決定します。
RecordToFile=filename基底のソケットデータ転送を指定のファイルに記録します。

Azure Data Lake Store Connector for CData Sync

PseudoColumns

このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。

解説

Entity Framework ではテーブルカラムでない疑似カラムに値を設定できないため、この設定はEntity Framework で特に便利です。この接続設定の値は、"Table1=Column1, Table1=Column2, Table2=Column3" の形式です。"*=*" のように"*" 文字を使用して、すべてのテーブルとすべてのカラムを含めることができます。

Azure Data Lake Store Connector for CData Sync

Timeout

タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。

解説

Timeout が0に設定されている場合は、操作がタイムアウトしません。処理が正常に完了するか、エラー状態になるまで実行されます。

Timeout の有効期限が切れても処理が完了していない場合は、Sync App は例外をスローします。

Azure Data Lake Store Connector for CData Sync

UserDefinedViews

カスタムビューを含むJSON コンフィギュレーションファイルを指すファイルパス。

解説

ユーザー定義ビューは、UserDefinedViews.json というJSON 形式のコンフィギュレーションファイルで定義されています。Sync App は、このファイルで指定されたビューを自動的に検出します。

また、複数のビュー定義を持ち、UserDefinedViews 接続プロパティを使用して制御することも可能です。このプロパティを使用すると、指定されたビューのみがSync App によって検知されます。

このユーザー定義ビューのコンフィギュレーションファイルは、次のようにフォーマットされています。

  • 各ルートエレメントはビューの名前を定義します。
  • 各ルートエレメントには、query と呼ばれる子エレメントが含まれており、この子エレメントにはビューのカスタムSQL クエリが含まれています。

次に例を示します。

{
	"MyView": {
		"query": "SELECT * FROM NorthwindOData WHERE MyColumn = 'value'"
	},
	"MyView2": {
		"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
	}
}
UserDefinedViews 接続プロパティを使用して、JSON コンフィギュレーションファイルの場所を指定します。次に例を示します。
"UserDefinedViews", "C:\\Users\\yourusername\\Desktop\\tmp\\UserDefinedViews.json"

Copyright (c) 2023 CData Software, Inc. - All rights reserved.
Build 22.0.8479