Elasticsearch Connector for CData Sync

Build 25.0.9540
  • Elasticsearch
    • 接続の確立
      • Kerberos の使用
      • データアクセスのファインチューニング
      • 複数インデックスのクエリ
      • パフォーマンス
    • SQL での検索
      • スキーママッピング
      • 親子関係
      • Raw データ
      • 自動スキーマ検出
      • 階層データの解析
        • フラット化されたドキュメントモデル
        • トップレベルのドキュメントモデル
        • リレーショナルモデル
      • JSON 関数
      • クエリマッピング
      • カスタムスキーマ定義
      • カスタムスキーマ例
    • 高度な機能
      • SSL の設定
      • ファイアウォールとプロキシ
    • データモデル
      • テーブル
        • IndexTemplates
      • ビュー
        • IndexSettings
        • XPackInfo
      • ストアドプロシージャ
        • CreateIndex
        • CreateSchema
        • ModifyIndexAliases
        • UpdateIndexSettings
      • データ型マッピング
    • 接続文字列オプション
      • Authentication
        • AuthScheme
        • User
        • Password
        • UseSSL
        • Server
        • Port
        • APIKey
        • APIKeyId
      • Connection
        • DataModel
        • ExposeDotIndices
        • AliasesFilter
        • IndicesAndDataStreamsFilter
        • UseLakeFormation
      • AWS Authentication
        • AWSAccessKey
        • AWSSecretKey
        • AWSRoleARN
        • AWSRegion
        • AWSSessionToken
        • TemporaryTokenDuration
        • AWSExternalId
        • AWSWebIdentityToken
      • Kerberos
        • KerberosKDC
        • KerberosRealm
        • KerberosSPN
        • KerberosUser
        • KerberosKeytabFile
        • KerberosServiceRealm
        • KerberosServiceKDC
        • KerberosTicketCache
      • SSL
        • SSLClientCert
        • SSLClientCertType
        • SSLClientCertPassword
        • SSLClientCertSubject
        • SSLServerCert
      • Firewall
        • FirewallType
        • FirewallServer
        • FirewallPort
        • FirewallUser
        • FirewallPassword
      • Proxy
        • ProxyAutoDetect
        • ProxyServer
        • ProxyPort
        • ProxyAuthScheme
        • ProxyUser
        • ProxyPassword
        • ProxySSLType
        • ProxyExceptions
      • Logging
        • LogModules
      • Schema
        • Location
        • BrowsableSchemas
        • Tables
        • Views
        • FlattenObjects
        • FlattenArrays
      • Miscellaneous
        • AWSCertificate
        • AWSCertificatePassword
        • AWSCertificateType
        • AWSPrivateKey
        • AWSPrivateKeyPassword
        • AWSPrivateKeyType
        • AWSProfileARN
        • AWSSessionDuration
        • AWSTrustAnchorARN
        • ClientSideEvaluation
        • GenerateSchemaFiles
        • MaxResults
        • MaxRows
        • Other
        • PageSize
        • PaginationMode
        • PITDuration
        • PseudoColumns
        • QueryPassthrough
        • ReplaceInvalidUTF8Chars
        • RowScanDepth
        • ScrollDuration
        • Timeout
        • UseFullyQualifiedNestedTableName
        • UserDefinedViews
    • Third Party Copyrights

Elasticsearch Connector for CData Sync

概要

CData Sync App は、Elasticsearch データをデータベース、データレイク、またはデータウェアハウスに継続的にパイプライン化する簡単な方法を提供し、分析、レポート、AI、および機械学習で簡単に利用できるようにします。

Elasticsearch コネクタはCData Sync アプリケーションから使用可能で、Elasticsearch からデータを取得して、サポートされている任意の同期先に移動できます。

Elasticsearch バージョンサポート

Sync App はElasticsearch データを読み/書き可能なリレーショナルデータベースにモデル化します。Sync App は、Elasticsearch v2.2.0 以上にREST API 経由で接続できます。

Elasticsearch Connector for CData Sync

接続の確立

Elasticsearch への接続を追加

Elasticsearch への接続を追加するには:

  1. アプリケーションコンソールで、接続ページに移動します。
  2. 接続の追加パネルで、追加したい接続のアイコンを選択します。
  3. Elasticsearch アイコンが利用できない場合は、Add More アイコンをクリックしてCData サイトからElasticsearch コネクタをダウンロードおよびインストールします。

必須プロパティについては、設定タブを参照してください。

通常必須ではない接続プロパティについては、高度な設定タブを参照してください。

Elasticsearch サービスへの接続

データに接続するには以下を設定します。

  • Server は、Elasticsearch インスタンスのIP アドレスもしくはドメインに設定する必要があります。また、Server にはシングルクラスタのノードアドレス、またはホスト名のカンマ区切りのリストを設定することもできます。
    Server=01.02.03.04 
      OR 
    Server=01.01.01.01:1234,02.02.02.02:5678
  • Port は、Elasticsearch インスタンス用に構成されたポートに設定する必要があります。Server プロパティのノードの仕様にポートを含めると、そのノードに限り、その含めたポートがPort の仕様より優先されます。

Sync App は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。サーバーの値の前に"https://" を付けると、TLS/SSL で接続できます。

Amazon OpenSearch Service への接続

データに接続するには以下を設定します。

  • Server はAmazon ES インスタンスのエンドポイントURL に設定する必要があります。
  • Port は443に設定します。
  • AWSRegion はElasticsearch インスタンスがホストされているAmazon AWS リージョンに設定する必要があります(Sync App はServer 値に基づいて自動的にリージョンを識別しようとします)。

Sync App は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。

Note: リクエストはAWS 署名バージョン 4 を使用して署名されています。

Elasticsearch への認証

通常の接続プロパティに加えて、次の認証方法から1つ選択してください。

AWS キーを取得

IAM ユーザーの認証情報を取得するには:

  1. IAM コンソールにサインインします。
  2. ナビゲーションペインでユーザーを選択します。
  3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。

AWS ルートアカウントの資格情報を取得するには:

  1. ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
  2. アカウント名または番号を選択します。
  3. 表示されたメニューでMy Security Credentials を選択します。
  4. ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。

標準認証

AuthScheme をBasic に設定し、User とPassword プロパティを設定して、オプションでPKI(公開鍵暗号基盤)を使用して認証します。Sync App が接続されると、X-Pack では、設定したレルムをベースにユーザー認証およびロールの許可が実施されます。

PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。

Note: PKI を使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。

セキュアなElasticsearch への接続

Sync App においてTLS/SSL を有効化するには、UseSSL をtrue に設定します。

ルートクレデンシャル

アカウントのルートクレデンシャルで認証するには、次のパラメータを設定します。

  • AuthScheme:AwsRootKeys。
  • AWSAccessKey:AWS ルートアカウントに紐づいているアクセスキー。
  • AWSSecretKey:AWS ルートアカウントに紐づいているシークレットキー。

Note: Amazon discourages using root credentials for anything beyond simple testing. The account root credentials have the full permissions of the user, posing a security risk and making this the least secure authentication method.

多要素認証が必要な場合は、以下を指定します。

  • CredentialsLocation:MFA クレデンシャルが保存される設定ファイルの場所。
  • MFASerialNumber:MFA デバイスが使用されている場合は、そのシリアル番号。
  • MFAToken:MFA デバイスから利用できる一時トークン。
これにより、Sync App は一時的な認証情報を取得するために、リクエストでMFA 認証情報を送信します。

Note: 一時的な認証情報の有効期間(デフォルトは3600秒)を制御するには、TemporaryTokenDuration プロパティを設定します。

一時クレデンシャル

一時クレデンシャルで認証するには、次を設定します。

  • AuthScheme:TemporaryCredentials。
  • AWSAccessKey:ロールを担うIAM ユーザーのアクセスキー。
  • AWSSecretKey:ロールを担うIAM ユーザーのシークレットキー。
  • AWSSessionToken:一時クレデンシャルと共に提供されるAWS のセッショントークン。 詳細はAWS Identity and Access Management ユーザーガイド を参照してください。

Sync App は、一時クレデンシャルの有効期間中、長期的な認証情報(IAM ユーザー認証情報など)によって提供されるものと同じ権限を使用してリソースをリクエストできるようになりました。

一時クレデンシャルおよびIAM ロールの両方を使用して認証するには、上記のすべてのパラメータを設定し、さらに以下のパラメータを指定します。

  • AWSRoleARN:認証したいロールのRole ARN。これにより、Sync App は指定されたロールの認証情報を取得しようと試みます。
  • AWSExternalId(オプション):別のAWS アカウントでロールを引き受ける場合にのみ必要です。

多要素認証が必要な場合は、以下を指定します。

  • CredentialsLocation:MFA クレデンシャルが保存される設定ファイルの場所。
  • MFASerialNumber:MFA デバイスが使用されている場合は、そのシリアル番号。
  • MFAToken:MFA デバイスから利用できる一時トークン。
これにより、Sync App は一時的な認証情報を取得するために、リクエストでMFA 認証情報を送信します。

Note: 一時的な認証情報の有効期間(デフォルトは3600秒)を制御するには、TemporaryTokenDuration プロパティを設定します。

EC2 インスタンスからのAWS の使用

AuthScheme をAwsEC2Roles に設定します。

EC2 インスタンスからSync App を使用していて、そのインスタンスにIAM ロールが割り当てられている場合は、 認証にIAM ロールを使用できます。Sync App は自動的にIAM ロールの認証情報を取得し、それらを使って認証するため、AWSAccessKey およびAWSSecretKey を指定する必要はありません。

認証にIAM ロールも使用している場合は、さらに以下を指定する必要があります。

  • AWSRoleARN:認証したいロールのRole ARN を指定。これにより、Sync App は指定されたロールの認証情報を 取得しようと試みます。
  • AWSExternalId(オプション):別のAWS アカウントでロールを引き受ける場合にのみ必要です。

IMDSv2 サポート

Elasticsearch Sync App は、IMDSv2 をサポートしています。IMDSv1 とは異なり、新バージョンでは認証トークンが必須です。エンドポイントおよびレスポンスは、両バージョンで同じです。

IMDSv2 では、Elasticsearch Sync App はまずIMDSv2 メタデータトークンの取得を試み、それを使用してAWS メタデータエンドポイントを呼び出します。トークンを取得できない場合、Sync App はIMDSv1 を使用します。

この認証方法はOpensearch Service でのみ可能であり、Elasticsearch では利用できないことに注意してください。

AWS IAM Roles

AWS 経由で認証するには、AuthScheme をAwsIAMRoles に設定します。

AWS ロールとして認証するには、次のプロパティを設定します。

  • AWSAccessKey:ロールを担うIAM ユーザーのアクセスキー。
  • AWSSecretKey:ロールを担うIAM ユーザーのシークレットキー。
  • AWSRoleARN:認証したいロールのRole ARN を指定。これにより、Sync App は指定されたロールの認証情報を 取得しようと試みます。
  • AWSExternalId(オプション):別のAWS アカウントでロールを引き受ける場合にのみ必要です。

多要素認証が必要な場合は、以下を指定します。

  • CredentialsLocation:MFA クレデンシャルが保存される設定ファイルの場所。
  • MFASerialNumber:MFA デバイスが使用されている場合は、そのシリアル番号。
  • MFAToken:MFA デバイスから利用できる一時トークン。
これにより、Sync App は一時的な認証情報を取得するために、リクエストでMFA 認証情報を送信します。

Note: 一時的な認証情報の有効期間(デフォルトは3600秒)を制御するには、TemporaryTokenDuration プロパティを設定します。

Note:状況によっては、AWS ルートユーザーのダイレクトなセキュリティ認証情報よりも、IAM ロールを使用して認証する方が望ましい場合があります。AWS ルートユーザーのAWSAccessKey およびAWSSecretKey を指定している場合、ロールは使用できません。

Kerberos

Kerberos で認証する方法についての詳細は、Kerberos の使用 を参照してください。

API キー

APIKey を使用して認証するには、次を設定します。

  • AuthScheme:APIKey に設定。
  • APIKey:Elasticsearch から返されたAPIKey に設定。
  • APIKeyId:APIKey と一緒に返されたId に設定。

Elasticsearch Connector for CData Sync

Kerberos の使用

Kerberos

Kerberos でElasticsearch への認証を行うには、AuthScheme をNEGOTIATE に設定します。

Kerberos 経由でElasticsearch への認証を行うには、認証プロパティを定義し、Kerberos が認証チケットを取得する方法を選択する必要があります。

Kerberos チケットの取得

Kerberos チケットは、依頼者のID を認証するために使用されます。正式なログイン / パスワードの代わりにチケットを使用することで、パスワードをローカルに保存したり、ネットワーク経由で送信したりする必要がなくなります。 ユーザーは、ローカルコンピュータでログインするか、 コマンドプロンプトでkinit USER と入力するたびに、再認証されます(チケットはリフレッシュされます)。

Sync App は、 KRB5CCNAME および / またはKerberosKeytabFile 変数が存在するかどうかに応じて、必要なKerberos チケットを取得する3 つの方法を提供します。

MIT Kerberos 資格情報キャッシュファイル

このオプションを使用すると、MIT Kerberos チケットマネージャーまたはkinit コマンドを使ってチケットを取得できます。このオプションでは、User またはPassword 接続プロパティを設定する必要はありません。

このオプションは、KRB5CCNAME がシステムに作成されている必要があります。

MIT Kerberos 資格情報キャッシュファイル経由でチケット検索を有効にするには:

  1. お使いの環境にKRB5CCNAME 変数が存在することを確認します。
  2. KRB5CCNAME を資格情報キャッシュファイルを指すパスに設定します。(例えば、C:\krb_cache\krb5cc_0 または/tmp/krb5cc_0 です。)資格情報キャッシュファイルは、MIT Kerberos チケットマネージャーを使用してチケットを生成するときに作成されます。
  3. チケットを取得するには:
    1. MIT Kerberos チケットマネージャーアプリケーションを開きます。
    2. Get Ticket をクリックします。
    3. プリンシパル名とパスワードを入力します。
    4. OK をクリックします。

    チケットの取得に成功すると、チケット情報がKerberos チケットマネージャーに表示され、クレデンシャルキャッシュファイルに保存されます。

Sync App はキャッシュファイルを使用してElasticsearch に接続するためのKerberos チケットを取得します。

Note: KRB5CCNAME を編集したくない場合は、KerberosTicketCache プロパティを使用してファイルパスを手動で設定することができます。この設定後に、Sync App は指定されたキャッシュファイルを使用してElasticsearch に接続するためのKerberos チケットを取得します。

Keytab ファイル

お使いの環境にKRB5CCNAME 環境変数がない場合、Keytab ファイルを使用してKerberos チケットを取得できます。

この方法を使用するには、User プロパティを目的のユーザー名に設定し、KerberosKeytabFile プロパティをユーザーに関連付けられたキータブファイルを指すファイルパスに設定します。

User およびPassword

お使いの環境にKRB5CCNAME 環境変数およびKerberosKeytabFile プロパティが設定されていない場合、ユーザーとパスワードの組み合わせを使用してチケットを取得できます。

この方法を使用するには、User およびPassword プロパティを、Elasticsearch での認証に使用するユーザー / パスワードの組み合わせに設定します。

クロスレルム認証の有効化

より複雑なKerberos 環境では、複数のレルムおよびKDC サーバーが使用されるクロスレルム認証が必要になる場合があります。例えば、1つのレルム / KDC がユーザー認証に使用され、別のレルム / KDC がサービスチケットの取得に使用される場合です。

このようなクロスレルム認証を有効にするには、KerberosRealm およびKerberosKDC プロパティをユーザー認証に必要な値に設定します。また、KerberosServiceRealm およびKerberosServiceKDC プロパティを、 サービスチケットの取得に必要な値に設定します。

Elasticsearch Connector for CData Sync

データアクセスのファインチューニング

データアクセスのファインチューニング

次のプロパティを使って、Elasticsearch API 機能およびSync App のストラテジーをさらに制御できます。

  • QueryPassthrough:このプロパティを使用すると、SQL の代わりにElasticsearch のSearch DSL 言語を使用できます。
  • RowScanDepth:このプロパティは、テーブルメタデータを生成する際にカラムのデータ型を検出するためにスキャンされる行数を指定します。このプロパティは、自動スキーマ検出 から生成された動的スキーマを使用している場合、またはQueryPassthrough を使用している場合に適用されます。

Elasticsearch Connector for CData Sync

複数インデックスのクエリ

Querying Multiple Indices

Multiple indices can be queried by executing a query using one of the following formats:

  • Query all indices via the _all view: SELECT * FROM [_all]

  • Query a list of indices: SELECT * FROM [index1,index2,index3]

  • Query indices matching a wildcard pattern: SELECT * FROM [index*]

Note, index lists can contain wildcards and indices can be excluded by prefixing an index with '-'. For example: SELECT * FROM [index*,-index3]

Elasticsearch Connector for CData Sync

パフォーマンス

Fine Tuning Performance

  • PageSize: This property enables you to optimize performance based on your resource provisioning.
    Paging has an impact on sorting performance in a distributed system, as each shard must first sort results before submitting them to the coordinating server.
    By default, the Sync App requests a page size of 10,000. This is the default index.max_result_window setting in Elasticsearch.
  • MaxResults: This property sets a limit on the results for queries at connection time, without requiring that you specify a LIMIT clause.
    By default, this is the same value as the index.max_result_window setting in Elasticsearch.

    If you are using the Scroll API, set ScrollDuration instead.

  • ScrollDuration: This property specifies how long the server should keep the search context alive. Setting this property to a nonzero value and time unit enables the Scroll API.

Elasticsearch Connector for CData Sync

SQL での検索

Elasticsearch はdocument-oriented なデータベースで、高パフォーマンスな検索、フレキシビリティ、およびスケーラビリティを提供します。これらの機能は、必ずしもSQL-92 のような標準準拠のクエリ言語と互換しないわけではありません。 このセクションでは、Sync App が複数のやり方によって、リレーショナルSQL とデータベースのギャップの橋渡しをいかに行うかを説明します。

Sync App では、Elasticsearch オブジェクトをリレーショナルテーブルにモデル化し、SQL クエリをElasticsearch クエリに読み替えることで、要求されたデータを取得します。 スキーマ生成のためにElasticsearch オブジェクトがどのようにテーブルにマッピングされているかについての詳細は、スキーママッピング を参照してください。 Elasticsearch のさまざまな処理がSQL で表される方法についての詳細は、クエリマッピング を参照してください。

自動スキーマ検出 スキーマは、Elasticsearch タイプのマッピングを取得することにより自動的にデータ型を検出します。Elasticsearch コレクションのリレーショナル表現をコントロールするためにRowScanDepth、FlattenArrays、およびFlattenObjects を使うことができます。

Elasticsearch Connector for CData Sync

スキーママッピング

CData Sync App はElasticsearch REST API を、標準SQL でアクセス可能なリレーショナルテーブルおよびストアドプロシージャとしてモデル化します。これにより、標準ベースのツールからのアクセスが可能になります。

テーブル定義は動的に取得されます。接続すると、Sync App はElasticsearch に接続し、スキーマ、テーブルのリストおよびテーブルのメタデータをElasticsearch REST サーバーをクエリすることで取得します。 リモートデータへのあらゆる変更はクエリに即時に反映されます。

次のテーブルはElasticsearch コンセプトをリレーショナルなものにマップします。

Elasticsearch バージョン6以上:

Elasticsearch Concept SQL Concept
Index Table
Alias View
Document Row (それぞれのドキュメントは行、ドキュメントのJSON 構造はカラムとして表示されます)
Field Column

Note:Starting in Elasticsearch 6, indices are limited to a single type.Therefore the type is no longer treated as a table, since an index and type have a one-to-one relation. Types are hidden and used internally where necessary to issue the proper request to Elasticsearch.

Elasticsearch バージョン6より前:

Elasticsearch Concept SQL Concept
Index Schema
Type Table
Alias View
Document Row (それぞれのドキュメントは行、ドキュメントのJSON 構造はカラムとして表示されます)
Field Column

Elasticsearch Connector for CData Sync

親子関係

Elasticsearch contains the ability to establish parent-child relationships. This relationship maps closely to SQL JOIN functionality. The Sync App models these parent-child relationships in a way to enable the ability to perform JOIN queries.

Elasticsearch Versions 6 and Above:

In version 6 and above of Elasticsearch, relationships are established by using the join datatype. Included in this functionality is the ability to define multiple children for a single parent and to create multiple levels of relations.

The Sync App supports all of these relationships and will generate a separate table for each relation in Elasticsearch. The table name will be in the form: [index]_[relation].

All child tables will have an additional column containing the parent table id. The column name will be in the form: _[parent_table]_id. This column is a foreign key to the _id column of the parent table and can be used to perform SQL JOIN queries.

When querying these tables individually, filtering logic is pushed to the server to improve performance by only returning the data relevant to the table selected.

Elasticsearch Versions Prior to Version 6:

In versions prior to 6, a relationship is established between two types via a _parent field. This creates a single parent-child relationship.

The tables identified in this parent-child relationship do not change (they are still based on the Elasticsearch type). However the child table will have an additional column containing the parent id. The column name will be in the form: _[parent_table]_id. This column is a foreign key to the _id column of the parent table and can be used to perform SQL JOIN queries.

Elasticsearch Connector for CData Sync

Raw データ

この章で使用されている生データを示します。以下は、"insured" テーブル(インデックス)のマッピングです。

{
  "insured": {
    "mappings": {
      "properties": {
        "name": { "type":"string" },
        "address": {
          "street": { "type":"string" },
          "city": { "type":"string" },
          "state": { "type":"string" }
        },
        "insured_ages": { "type": "integer" },
        "vehicles": {
          "type": "nested",
          "properties": {
            "year": { "type":"integer" },
            "make": { "type":"string" },
            "model": { "type":"string" },
            "body_style" { "type": "string" }
          }
        }
      }
    }
  }
}

以下は、"insured" テーブル(インデックス)のサンプルデータセットです。

{
  "hits": {
    "total": 2,
    "max_score": 1,
    "hits": [
      {
        "_index": "insured",
        "_type": "_doc",
        "_id": "1",
        "_score": 1,
        "_source": {
          "name": "John Smith",
          "address": {
            "street": "Main Street",
            "city": "Chapel Hill",
            "state": "NC"
          },
          "insured_ages": [ 17, 43, 45 ],
          "vehicles": [
            {
              "year": 2015,
              "make": "Dodge",
              "model": "RAM 1500",
              "body_style": "TK"
            },
            {
              "year": 2015,
              "make": "Suzuki",
              "model": "V-Strom 650 XT",
              "body_style": "MC"
            },
            {
              "year": 1992,
              "make": "Harley Davidson",
              "model": "FXR",
              "body_style": "MC"
            }
          ]
        }
      },
      {
        "_index": "insured",
        "_type": "_doc",
        "_id": "2",
        "_score": 1,
        "_source": {
          "name": "Joseph Newman",
          "address": {
            "street": "Oak Street",
            "city": "Raleigh",
            "state": "NC"
          },
          "insured_ages": [ 23, 25 ],
          "vehicles": [
            {
              "year": 2010,
              "make": "Honda",
              "model": "Accord",
              "body_style": "SD"
            },
            {
              "year": 2008,
              "make": "Honda",
              "model": "Civic",
              "body_style": "CP"
            }
          ]
        }
      }
    ]
  }
}

Elasticsearch Connector for CData Sync

自動スキーマ検出

Sync App は、Elasticsearch タイプのマッピングを取得することで、リレーショナルスキーマを自動的に推測します。カラムおよびデータ型は取得されたマッピングから生成されます。

配列の検出

Elasticsearch のあらゆるフィールドは、値の配列となることができますが、これはマッピング中では明示的に定義されてはいません。これに対応するため、Sync App はデータをクエリして、配列を含むフィールドがあるかどうかを調べます。 この配列スキャンのために取得するElasticsearch ドキュメントの数はRowScanDepth プロパティで設定されます。

Elasticsearch のネストされたタイプは、オブジェクトの配列を表す特別なタイプであり、そのためメタデータの生成ではそのように扱われます。

カラムの検出

検出プロセスで特定されるカラムはFlattenArrays およびFlattenObjects によります。

データセットの例

これらのオプションがどう動作するかの例として、次のマッピングを考えます(テーブル名は'insured' です)。

{
  "insured": {
    "properties": {
      "name": { "type":"string" },
      "address": {
        "street": { "type":"string" },
        "city": { "type":"string" },
        "state": { "type":"string" }
      },
      "insured_ages": { "type": "integer" },
      "vehicles": {
        "type": "nested",
        "properties": {
          "year": { "type":"integer" },
          "make": { "type":"string" },
          "model": { "type":"string" },
          "body_style" { "type": "string" }
        }
      }
    }
  }
}

また、上の例において、次のサンプルデータを考えてください:

{
  "_source": {
    "name": "John Smith",
    "address": {
      "street": "Main Street",
      "city": "Chapel Hill",
      "state": "NC"
    },
    "insured_ages": [ 17, 43, 45 ], 
    "vehicles": [
      {
        "year": 2015,
        "make": "Dodge",
        "model": "RAM 1500",
        "body_style": "TK"
      },
      {
        "year": 2015,
        "make": "Suzuki",
        "model": "V-Strom 650 XT",
        "body_style": "MC"
      },
      {
        "year": 2012,
        "make": "Honda",
        "model": "Accord",
        "body_style": "4D"
      }
    ]
  }
}

FlattenObjects の使用

FlattenObjects が設定されている場合、すべてのネストされたオブジェクトは連続したカラムにフラット化されます。上記の例は、次のカラムとして表示されます:

カラム名 データ型 サンプル値
name String John Smith
address.street String Main Street
address.city String Chapel Hill
address.state String NC
insured_ages String [ 17, 43, 45 ]
vehicles String [ { "year":"2015", "make":"Dodge", ... }, { "year":"2015", "make":"Suzuki", ... }, { "year":"2012", "make":"Honda", ... } ]

FlattenObjects が設定されていない場合、address.street、address.city、およびaddress.state カラムは別々にはなりません。文字列型の住所カラムは一つのオブジェクトとして表されます。 値は次のようになります:

{street: "Main Street", city: "Chapel Hill", state: "NC"}
JSON アグリゲートの詳細についてはJSON 関数 を参照してください。

FlattenArrays の使用

FlattenArrays プロパティは配列の値をフラット化してそれぞれのカラムとするために使われます。これは配列が短い場合にのみ推奨されます。アンバウンドの配列をそのままにしておき、必要な際にJSON 関数 を使ってデータを取り出すことをお勧めします。

Note:一番上の配列のみがフラット化されます。サブ配列は、配列全体として表示されます。

FlattenArrays プロパティは3に設定して上の例の配列を次のように表すことができます(この例ではFlattenObjects は設定されていません):

カラム名 データ型 サンプル値
insured_ages String [ 17, 43, 45 ]
insured_ages.0 Integer 17
insured_ages.1 Integer 43
insured_ages.2 Integer 45
vehicles String [ { "year":"2015", "make":"Dodge", ... }, { "year":"2015", "make":"Suzuki", ... }, { "year":"2012", "make":"Honda", ... } ]
vehicles.0 String { "year":"2015", "make":"Dodge", "model":"RAM 1500", "body_style":"TK" }
vehicles.1 String { "year":"2015", "make":"Suzuki", "model":"V-Strom 650 XT", "body_style":"MC" }
vehicles.2 String { "year":"2012", "make":"Honda", "model":"Accord", "body_style":"4D" }

FlattenObjects とFlettenArrays を両方使う

FlattenObjects とFlattenArrays が同時に設定されている(brevity は1)場合、vehicle フィールドは次のように表されます:

カラム名 データ型 サンプル値
vehicles String [ { "year":"2015", "make":"Dodge", ... }, { "year":"2015", "make":"Suzuki", ... }, { "year":"2012", "make":"Honda", ... } ]
vehicles.0.year String 2015
vehicles.0.make String Dodge
vehicles.0.model String RAM 1500
vehicles.0.body_style String TK

Elasticsearch Connector for CData Sync

階層データの解析

Sync App には、ドキュメントをテーブルとしてモデル化するための3つの基本的な設定があり、次のセクションで説明します。 Sync App はElasticsearch ドキュメントを解析してネストされたドキュメントを識別します。

  • フラット化されたドキュメントモデル:ネストされたドキュメントを単一のテーブルに暗黙的に結合します。
  • リレーショナルモデル:ネストされたドキュメントを、親ドキュメントにリンクする主キーと外部キーを含む個々のテーブルとしてモデル化します。
  • トップレベルのドキュメントモデル:Elasticsearch ドキュメントのトップレベルのビューをモデル化します。ネストされたドキュメントはJSON 文字列として返されます。
カラム検出の設定や検出されたスキーマをカスタマイズするには、SQL での検索 を参照してください。

Elasticsearch Connector for CData Sync

フラット化されたドキュメントモデル

ネストされたElasticsearch のデータ全体にアクセスする必要があるユーザーにとっては、データを単一テーブルにフラット化することは最善のオプションです。このモードでは、Sync App はストリーミングを使用し、クエリごとにElasticsearch のデータを1回だけパースします。

オブジェクト配列を単一テーブルに結合

DataModel を"FlattenedDocuments" に設定すると、ネストされたドキュメントは別々のテーブルとして振る舞い、SQL JOIN と同じ方法で動作します。同じ高さのネストされたドキュメント(例えば兄弟ドキュメント)は、SQL CROSS JOIN として扱われます。

例

以下は、Raw データ のサンプルドキュメントに基づいたサンプルクエリとその結果です。これにより、insured ドキュメントとネストされたvehicles ドキュメントが暗黙のうちにJOIN されます。

クエリ

次のクエリは、各insured ドキュメントのネストされたドキュメントをドリルします。

SELECT
  [_id],
  [name],
  [address.street] AS address_street,
  [address.city.first] AS address_city,
  [address.state.last] AS address_state,
  [insured_ages],
  [year],
  [make],
  [model],
  [body_style],
  [_insured_id],
  [_vehicles_c_id]
FROM
  [insured]

結果

_idnameaddress_streetaddress_cityaddress_stateinsured_agesyearmakemodelbody_style_insured_id_vehicles_c_id
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]2015DodgeRAM 1500TK11
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]2015SuzukiV-Strom 650 XTMC12
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]1992Harley DavidsonFXRMC13
2Joseph NewmanOak StreetRaleighNC[ 23, 25 ]2010HondaAccordSD24
2Joseph NewmanOak StreetRaleighNC[ 23, 25 ]2008HondaCivicCP25

関連項目

  • 自動スキーマ検出:テーブルスキーマに報告されたカラムを設定します。
  • FreeForm;:ドット表記を使用して、ネストされたデータを選択します。
  • VerticalFlattening;:ネストされたオブジェクト配列に別々のテーブルとしてアクセスします。
  • JSON 関数:クライアント側の集計と変換を実行するために返されたデータを操作します。

Elasticsearch Connector for CData Sync

トップレベルのドキュメントモデル

Elasticsearch データのトップレベルドキュメントビューを使用すると、トップレベルの要素にすぐにアクセスできます。Sync App は、集計にネストされた要素を単一のカラムとして返します。

考慮すべき一つの側面はパフォーマンスです。ネストされたエレメントを処理してパースする時間とリソースを控えます。Sync App は、JSON データを読み込むためにストリーミングを使用して、返されたデータを一度パースします。もう一つ考慮すべきは、ネストされた親エレメントに格納されているデータにアクセスする必要があることと、ツールやアプリケーションがJSON を処理する能力です。

トップレベルドキュメントビューのモデリング

DataModel が"Document"(デフォルト)に設定されている場合、Sync App はデフォルトでトップレベルのオブジェクトのみをスキャンします。デフォルトのオブジェクトフラット化により、トップレベルのオブジェクトエレメントはカラムとして利用可能です。ネストされたオブジェクトは、集計されたJSON として返されます。

例

以下は、Raw データ のサンプルドキュメントに基づいたサンプルクエリとその結果です。クエリの結果、単一の"insured" テーブルが作成されます。

クエリ

次のクエリは、トップレベルのオブジェクトエレメントと車両配列を結果にプルします。

SELECT
  [_id],
  [name],
  [address.street] AS address_street,
  [address.city] AS address_city,
  [address.state] AS address_state,
  [insured_ages],
  [vehicles]
FROM
  [insured]
  

結果

データのドキュメントビューでは、(FlattenObjects をtrue に設定するとき)address オブジェクトが3カラムにフラット化され、_id, name、insured_ages 、およびvehicles エレメントが個別のカラムとして返され、結果として7カラムのテーブルが作成されます。

_idnameaddress_streetaddress_cityaddress_stateinsured_agesvehicles
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]
[{"year":2015,"make":"Dodge","model":"RAM 1500","body_style":"TK"},{"year":2015,"make":"Suzuki","model":"V-Strom 650 XT","body_style":"MC"},{"year":1992,"make":"Harley Davidson","model":"FXR","body_style":"MC"}]
2Joseph NewmanOak StreetRaleighNC[ 23, 25 ]
[{"year":2010,"make":"Honda","model":"Accord","body_style":"SD"},{"year":2008,"make":"Honda","model":"Civic","body_style":"CP"}]

関連項目

  • 自動スキーマ検出:水平フラット化を使用してカラム検出を設定します。
  • FreeForm;:ドット表記を使用して、ネストされたデータを選択します。
  • VerticalFlattening;:ネストされたオブジェクト配列に別々のテーブルとしてアクセスします。
  • JSON 関数:クライアント側の集計と変換を実行するために返されたデータを操作します。

Elasticsearch Connector for CData Sync

リレーショナルモデル

CData Sync App は、ネストされたドキュメントを主キーと親文書にリンクする外部キーを含む個別のテーブルとして扱うことで、データのリレーショナルモデルを作成するように設定できます。これは、リレーショナルデータモデルを想定している既存のBI、帳票、およびETL ツールでElasticsearch のデータを処理する必要がある場合に特に役立ちます。

ネストされた配列をテーブルとして結合

DataModel を"Relational" に設定すると、どの結合もクエリによって制御されます。JOIN クエリを実行するときはいつでも、Elasticsearch のインデックスはクエリに含まれる各テーブル(ネストされたドキュメント)に対して一度クエリされます。

例

以下は、リレーショナルモデルを使用したRaw データ のサンプルドキュメントに対するサンプルクエリです。

クエリ

次のクエリは、insured およびvehicles テーブルを明示的に結合します。

SELECT 
  [insured].[_id], 
  [insured].[name], 
  [insured].[address.street] AS address_street, 
  [insured].[address.city.first] AS address_city, 
  [insured].[address.state.last] AS address_state, 
  [insured].[insured_ages], 
  [vehicles].[year], 
  [vehicles].[make], 
  [vehicles].[model], 
  [vehicles].[body_style],
  [vehicles].[_insured_id],
  [vehicles].[_c_id]
FROM 
  [insured]
JOIN 
  [vehicles] 
ON 
  [insured].[_id] = [vehicles].[_insured_id]

結果

サンプルクエリでは、各vehicle ドキュメントがその親insured オブジェクトに結合され、5行のテーブルを作成します。

_idnameaddress_streetaddress_cityaddress_stateinsured_agesyearmakemodelbody_style_insured_id_vehicles_c_id
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]2015DodgeRAM 1500TK11
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]2015SuzukiV-Strom 650 XTMC12
1John SmithMain StreetChapel HillNC[ 17, 43, 45 ]1992Harley DavidsonFXRMC13
2Joseph NewmanOak StreetRaleighNC[ 23, 25 ]2010HondaAccordSD24
2Joseph NewmanOak StreetRaleighNC[ 23, 25 ]2008HondaCivicCP25

関連項目

  • 自動スキーマ検出:テーブルスキーマに報告されたカラムを設定します。
  • FreeForm;:ドット表記を使用して、ネストされたデータを選択します。
  • VerticalFlattening;:ネストされたオブジェクト配列に別々のテーブルとしてアクセスします。
  • JSON 関数:クライアント側の集計と変換を実行するために返されたデータを操作します。

Elasticsearch Connector for CData Sync

JSON 関数

Sync App では、JSON ストラクチャーをカラム値として返すことができます。Sync App を使って、これらのJSON ストラクチャーにおいて標準SQL 関数を使用できます。このセクションの例では、次の配列を使用します。

[
     { "grade": "A", "score": 2 },
     { "grade": "A", "score": 6 },
     { "grade": "A", "score": 10 },
     { "grade": "A", "score": 9 },
     { "grade": "B", "score": 14 }
]

JSON_EXTRACT

JSON_EXTRACT でJSON オブジェクトから個別の値を抜き出すことができます。次のクエリは、関数に第二引数として渡されたJSON パスに基づいて、以下に示す値を返します。
SELECT Name, JSON_EXTRACT(grades,'[0].grade') AS Grade, JSON_EXTRACT(grades,'[0].score') AS Score FROM Students;

カラム名サンプル値
GradeA
Score2

JSON_COUNT

JSON_COUNT 関数はJSON オブジェクト内のJSON 配列のエレメント数を返します。次のクエリは、関数に第二引数として渡されたJSON パスにより指定されたエレメント数を返します。
SELECT Name, JSON_COUNT(grades,'[x]') AS NumberOfGrades FROM Students;

カラム名サンプル値
NumberOfGrades5

JSON_SUM

JSON_SUM関数は、JSON オブジェクト内のJSON 配列の数値の合計を返します。次のクエリは、関数に第二引数として渡されたJSON パスにより指定された合計値を返します。
SELECT Name, JSON_SUM(score,'[x].score') AS TotalScore FROM Students;

カラム名サンプル値
TotalScore 41

JSON_MIN

JSON_MIN関数は、JSON オブジェクト内のJSON 配列の最小値を返します。次のクエリは、関数に第二引数として渡されたJSON パスにより指定された最小値を返します。
SELECT Name, JSON_MIN(score,'[x].score') AS LowestScore FROM Students;

カラム名サンプル値
LowestScore2

JSON_MAX

JSON_MAX関数は、JSON オブジェクト内のJSON 配列の最大値を返します。次のクエリは、関数に第二引数として渡されたJSON パスにより指定された最大値を返します。
SELECT Name, JSON_MAX(score,'[x].score') AS HighestScore FROM Students;

カラム名サンプル値
HighestScore14

DOCUMENT

DOCUMENT 関数はすべてのドキュメントをJSON 文字列として取得する場合に用いられます。例として、次のクエリとその結果をご覧ください。

SELECT DOCUMENT(*) FROM Employee;
上のクエリはすべてのドキュメントを返します。
 
{
  "_index": "megacorp",
  "_type": "employee",
  "_id": "2",
  "_score": 1,
  "_source": {
    "first_name": "Jane",
    "last_name": "Smith",
    "age": 32,
    "about": "I like to collect rock albums",
    "interests": [
      "music"
    ]
  }
} 

Elasticsearch Connector for CData Sync

クエリマッピング

このセクションでは、SQL 構文がどのようにElasticsearch クエリに変換されているかを説明します。さまざまなクエリの結果がどうなるかを説明するサンプルも示されています。

コンテキストのクエリ/フィルタリングおよびスコアリング

_score カラムがselect された場合、検索結果の品質をスコアリングするクエリコンテキストリクエストを発行し、スコアリングがリクエストされます。デフォルトで、結果は 計算された_score の降順で返されます。ORDER BY 句によって返される結果の順序を指定することができます。

_score カラムがselect されていない場合、コンテキストのフィルタが送られ、Elasticsearch はスコアを計算しません。これらのクエリ結果はORDER BY 句により明示的に指定されない場合、任意の順序で返されます。

テキストマッチングおよび検索

Elasticsearch のanalyzed フィールドは、アナライザーを通した後は転置インデックスに格納されます。アナライザーはカスタマイズ可能であり、転置インデックスへの格納前にさまざまなフィルタを実行することができます。 例えば、デフォルトElasticsearch アナライザーはすべての単語を小文字に直します。

このポイントをデモするために、Elasticsearch のanalyzed フィールドには'Bike' という値を作成しています。 解析後、この値は(デフォルトアナライザーを使って)逆引きインデックスに'bike' として格納されます。 一方、non-analyzed フィールドは検索値を解析せず、'Bike' として格納されます。

検索を実行する際には、いくつかのElasticsearch クエリタイプは、アナライザーを通じて検索値を実行します(これにより、検索は大文字・小文字の区別がなくなります)。いくつかのクエリタイプは、アナライザーを経由しません(大文字・小文字を区別します)。 また、デフォルトアナライザーは、複数の単語を持つフィールドを個別の単語に分割します。これらのフィールドに検索を実行する場合、 Elasticsearch は同じ単語を持つレコードを別の順番で返すことがあります。例えば、'blue sky' という値に対して検索が実行された場合でも'sky blue' のレコードが返されます。

この大文字・小文字の区別や順序の問題の回避には、CData Sync App は、カラムをanalyzed 、もしくはnon-analyzed に分類し、指定された演算子(= のような)に基づく適切なElasticsearch クエリを発行して、値を検索します。

イコールおよび非イコール

句がイコール(=)もしくは非イコール(= もしくは<>)フィルタを含む場合、使われるカラムやデータによって異なるElasticsearch クエリが発行されます。analyzed カラムとnon-analyzed カラムは別の動きをし、最適な検索機能が提供されるように異なるElasticsearch クエリが発行されます。 また、文字列値が空白を含むかどうかにより、異なるクエリが発行されます。 以下は、いくつかのケースでのルールおよび動作の説明です。

analyzed カラム
analyzed カラムはアナライザーを通された後に格納されます。その結果として、指定された検索値は、検索前にElasticsearch サーバーのアナライザーを通されます。これにより検索は大文字・小文字の区別がなくなります(使われたアナライザーが大文字・小文字を処理する前提で)。

WHERE 句の例 Elasticsearch クエリタイプ
WHERE analyzed_column='value' Query String Query
WHERE analyzed_column='value with spaces' Match Phrase Query

Non-Analyzed Columns
non-analyzed カラムはアナライザーを通されずに格納されます。これにより、non-analyzed カラムは大文字・小文字の区別があり、これらのカラムの検索値は大文字・小文字を区別しなければなりません。検索値が1つの単語である場合、Sync App は3つの標準的な形式である、大文字、小文字、すべて大文字、で指定されたオリジナルケーシングでフィルタをチェックします。 検索値が複数の単語を含む場合、検索値はas-is で送られ、大文字・小文字の区別があります。

WHERE 句の例 Elasticsearch クエリタイプ
WHERE nonanalyzed_column='myValue' Query String Query: Four cases are checked - myValue OR MYVALUE OR myvalue OR Myvalue
WHERE nonanalyzed_column='value with spaces' Wildcard Query

IN and NOT IN

IN およびNOT IN 演算子はイコールおよび非イコール演算子と非常に似た機能を果たします。

WHERE 句の例 Behavior
WHERE column IN ('value') Treated as: column='value'
WHERE column NOT IN ('value') Treated as: column!='value'
WHERE column IN ('value1', 'value2') Treated as: column='value1' OR column='value2'
WHERE column NOT IN ('value1', 'value2') Treated as: column!='value1' AND column!='value2'

LIKE およびNOT LIKE

LIKE およびNOT LIKE 演算子はワイルドカード文字として使うことができます。% はゼロ、1、もしくは複数の文字を意味します。アンダースコア(_)は一つの文字を意味します(文字が存在している必要があります)。

WHERE 句の例 Behavior
WHERE column LIKE 'value' Treated as: column='value'
WHERE column NOT LIKE 'value' Treated as: column!='value'
WHERE analyzed_column LIKE 'v_lu%' Query String Query with wildcards
WHERE nonanalyzed_column LIKE 'v_lu%' Wildcard Query with wildcards

Aggregate Filtering

Aggregate data may consist of JSON objects or arrays (both primitive and object arrays).

JSON objects and arrays of objects will be treated as raw strings and all filtering will be performed by the Sync App. Therefore an equals operation must match the entire JSON aggregate to return a result, unless a CONTAINS or LIKE operation is used.

If JSON objects are flattened into individual columns (via FlattenObjects and FlattenArrays), the column for the specific JSON field will be treated as individual columns. Thus the data type will be that as contained in the Elasticsearch mapping and all filters will be pushed to the server (where applicable).

JSON primitive array aggregates will also be treated as raw strings by default and filters will be performed by the Sync App. To filter data based on whether a primitive array contains a single value, the INARRAY function can be used (e.g. INARRAY(column) = 'value'). When performing a search on array fields, Elasticsearch looks at each value individually within an array. Thus when the INARRAY function is specified in a WHERE clause, the filter will be pushed to the server which performs a search within an array.

Primitive arrays may consist of different data types, such as strings or ints. Therefore the INARRAY function supports comparison operators applicable to the data type within the Elasticsearch mapping for the field. For example, INARRAY(int_array) > 5, will return all rows of data in which the int_array contains a value greater than 5. Supported comparison operators include the use of the LIKE operator for string arrays.

Elasticsearch Connector for CData Sync

カスタムスキーマ定義

ビュースキーマは、Elasticsearch タイプおよびクエリに対しSync App が推測するリレーショナル構造を固定します。カスタムスキーマがどう動作するかの例として、次のマッピングを使用します(テーブル名は'insured' です)。

{
  "insured": {
    "properties": {
      "name": { "type":"string" },
      "address": {
        "street": { "type":"string" },
        "city": { "type":"string" },
        "state": { "type":"string" }
      },
      "insured_ages": { "type": "integer" },
      "vehicles": {
        "type": "nested",
        "properties": {
          "year": { "type":"integer" },
          "make": { "type":"string" },
          "model": { "type":"string" },
          "body_style" { "type": "string" }
        }
      }
    }
  }
}

また、上の例において、次のサンプルデータを考えてください:

{
  "_source": {
    "name": "John Smith",
    "address": {
      "street": "Main Street",
      "city": "Chapel Hill",
      "state": "NC"
    },
    "insured_ages": [ 17, 43, 45 ], 
    "vehicles": [
      {
        "year": 2015,
        "make": "Dodge",
        "model": "RAM 1500",
        "body_style": "TK"
      },
      {
        "year": 2015,
        "make": "Suzuki",
        "model": "V-Strom 650 XT",
        "body_style": "MC"
      },
      {
        "year": 2012,
        "make": "Honda",
        "model": "Accord",
        "body_style": "4D"
      }
    ]
  }
}

カスタムスキーマの定義

GenerateSchemaFiles が設定されている場合の固定されたスキーマは、Location プロパティによって指定されたフォルダに配置されます。例えば、GenerateSchemaFiles を"OnUse" に設定して、SELECT クエリを実行します:

SELECT * FROM insured

生成されたスキーマでカラムの動作を変更できます。次のスキーマは、other:xPathプロパティを使って、特定のカラムへのデータがどこに取得されるべきかを定義します。このモデルを使って、階層構造のアービトラリーレベルをフラット化することができます。

es_index およびes_type 属性は、取得するElasticsearch インデックスおよびタイプを指定します。es_index およびes_type 属性は、同じタイプ内で複数のスキーマを使うフレキシビリティを与えます。es_type が指定されていない場合、ファイル名がパースされるコレクションを決定します。

以下は、カラム動作マークアップの例です。完全なスキーマはカスタムスキーマ例 を参照してください。

  <rsb:script xmlns:rsb="http://www.rssbus.com/ns/rsbscript/2">  
  
    <rsb:info title="StaticInsured" description="Elasticsearch に insure されたデータセットのCustom Schema。">  
      <!-- Column definitions -->
      <attr name="_id"                         xs:type="string"  other:xPath="_id"                                                         other:sourceField="_id"                 other:analyzed="true"  />
      <attr name="_score"                      xs:type="double"  other:xPath="_score"                                                      other:sourceField="_score"              other:analyzed="true"  />
      <attr name="name"                        xs:type="string"  other:xPath="_source/name"                                                other:sourceField="name"                other:analyzed="true"  />
      <attr name="address.street"              xs:type="string"  other:xPath="_source/address/street"                                      other:sourceField="address.street"      other:analyzed="true"  />
      <attr name="address.city"                xs:type="string"  other:xPath="_source/address/city"                                        other:sourceField="address.city"        other:analyzed="true"  />
      <attr name="address.state"               xs:type="string"  other:xPath="_source/address/state"                                       other:sourceField="address.state"       other:analyzed="true"  />
      <attr name="insured_ages"                xs:type="string"  other:xPath="_source/insured_ages"          other:valueFormat="aggregate" other:sourceField="insured_ages"        other:analyzed="false" />
      <attr name="insured_ages.0"              xs:type="integer" other:xPath="_source/insured_ages[0]"                                     other:sourceField="insured_ages"        other:analyzed="false" />
      <attr name="vehicles"                    xs:type="string"  other:xPath="_source/vehicles"              other:valueFormat="aggregate" other:sourceField="vehicles"            other:analyzed="true"  />
      <attr name="vehicles.0.year"             xs:type="integer" other:xPath="_source/vehicles[0]/year"                                    other:sourceField="vehicles.year"       other:analyzed="true"  />
      <attr name="vehicles.0.make"             xs:type="string"  other:xPath="_source/vehicles[0]/make"                                    other:sourceField="vehicles.make"       other:analyzed="true"  />
      <attr name="vehicles.0.model"            xs:type="string"  other:xPath="_source/vehicles[0]/model"                                   other:sourceField="vehicles.model"      other:analyzed="true"  />
      <attr name="vehicles.0.body_style"       xs:type="string"  other:xPath="_source/vehicles[0]/body_style"                              other:sourceField="vehicles.body_style" other:analyzed="true"  />
  
      <input name="rows@next" desc="データのページングに使われる内部属性。"  />
    </rsb:info>  
  
  
    <rsb:set attr="es_index" value="auto"/>
    <rsb:set attr="es_type"  value="insured"/>
  
  </rsb:script>
  

Elasticsearch Connector for CData Sync

カスタムスキーマ例

このセクションでは、コンプリートスキーマを説明します。インフォセクションではElasticsearch オブジェクトのリレーショナルビューを可能にします。詳細はカスタムスキーマ定義 を参照してください。 次のテーブルはSELECT コマンドのみをサポートしています。INSERT、UPDATE、およびDELETE コマンドは現在サポートされていません。

es_index およびes_type 属性を使って、Elasticsearch タイプの名前と、取得およびパースしたいインデックスを指定します。es_index およびes_index 属性を使って、同じElasticsearch タイプに対して複数のスキーマを定義することができます。

es_type が指定されていない場合、ファイル名がパースされるElasticsearch タイプを決定します。

スキーマにrows@next input をas-is でコピーします。 elasticsearchadoSelect のような操作は内部実装で、そのままコピーができます。

<rsb:script xmlns:rsb="http://www.rssbus.com/ns/rsbscript/2">  

  <rsb:info title="StaticInsured" description="Elasticsearch にinsure されたデータセットのCustom Schema。">  
    <!-- Column definitions -->
    <attr name="_id"                         xs:type="string"  other:xPath="_id"                                                         other:sourceField="_id"                 other:analyzed="true"  />
    <attr name="_score"                      xs:type="double"  other:xPath="_score"                                                      other:sourceField="_score"              other:analyzed="true"  />
    <attr name="name"                        xs:type="string"  other:xPath="_source/name"                                                other:sourceField="name"                other:analyzed="true"  />
    <attr name="address.street"              xs:type="string"  other:xPath="_source/address/street"                                      other:sourceField="address.street"      other:analyzed="true"  />
    <attr name="address.city"                xs:type="string"  other:xPath="_source/address/city"                                        other:sourceField="address.city"        other:analyzed="true"  />
    <attr name="address.state"               xs:type="string"  other:xPath="_source/address/state"                                       other:sourceField="address.state"       other:analyzed="true"  />
    <attr name="insured_ages"                xs:type="string"  other:xPath="_source/insured_ages"          other:valueFormat="aggregate" other:sourceField="insured_ages"        other:analyzed="false" />
    <attr name="insured_ages.0"              xs:type="integer" other:xPath="_source/insured_ages[0]"                                     other:sourceField="insured_ages"        other:analyzed="false" />
    <attr name="vehicles"                    xs:type="string"  other:xPath="_source/vehicles"              other:valueFormat="aggregate" other:sourceField="vehicles"            other:analyzed="true"  />
    <attr name="vehicles.0.year"             xs:type="integer" other:xPath="_source/vehicles[0]/year"                                    other:sourceField="vehicles.year"       other:analyzed="true"  />
    <attr name="vehicles.0.make"             xs:type="string"  other:xPath="_source/vehicles[0]/make"                                    other:sourceField="vehicles.make"       other:analyzed="true"  />
    <attr name="vehicles.0.model"            xs:type="string"  other:xPath="_source/vehicles[0]/model"                                   other:sourceField="vehicles.model"      other:analyzed="true"  />
    <attr name="vehicles.0.body_style"       xs:type="string"  other:xPath="_source/vehicles[0]/body_style"                              other:sourceField="vehicles.body_style" other:analyzed="true"  />

    <input name="rows@next" desc="データのページングに使われる内部属性。"  />
  </rsb:info>  

  <rsb:set attr="es_index" value="auto"/>
  <rsb:set attr="es_type"  value="insured"/>

  <rsb:script method="GET">
    <rsb:call op="elasticsearchadoSelect">
      <rsb:push/>
    </rsb:call>
  </rsb:script>

  <rsb:script method="POST">
    <rsb:call op="elasticsearchadoModify">
      <rsb:push/>
    </rsb:call>
  </rsb:script>

  <rsb:script method="MERGE">
    <rsb:call op="elasticsearchadoModify">
      <rsb:push/>
    </rsb:call>
  </rsb:script>

  <rsb:script method="DELETE">
    <rsb:call op="elasticsearchadoModify">
      <rsb:push/>
    </rsb:call>
  </rsb:script>

</rsb:script>

Elasticsearch Connector for CData Sync

高度な機能

このセクションでは、Elasticsearch Sync App の高度な機能を厳選して説明します。

ユーザー定義ビュー

Sync App はユーザー定義ビューの使用をサポートします。これは事前設定されたユーザー定義クエリによって内容が決定される仮想テーブルです。 このビューは、ドライバーに発行されるクエリを直接制御できない場合に有効です。 カスタムビューの作成と設定の概要については、ユーザー定義ビュー を参照してください。

SSL の設定

SSL の設定 を使用して、Sync App が証明書のネゴシエーションをどのように扱うかを調整します。さまざまな証明書形式を選択できます。詳しくは、「接続文字列オプション」にあるSSLServerCert プロパティを参照してください。

ファイアウォールとプロキシ

Windows プロキシとHTTP プロキシを含むファイアウォールとプロキシ に合致するようSync App を設定します。トンネル接続を設定することもできます。

クエリ処理

Sync App は、Elasticsearch にできるだけ多くのSELECT ステートメント処理をオフロードし、残りのクエリをクライアント側のインメモリで処理します。

詳しくは、クエリ処理 を参照してください。

ログ

CData ログを調整するために使用可能な設定の概要については、ログ を参照してください。基本的なロギングに必要なのは2つの接続プロパティだけですが、より詳細なロギングをサポートする多くの機能があり、LogModules 接続プロパティを使用してロギングする情報のサブセットを指定することができます。

Elasticsearch Connector for CData Sync

SSL の設定

SSL 設定のカスタマイズ

デフォルトでは、Sync App はサーバーとのTLS のネゴシエーションを試みます。サーバー証明書は、デフォルトのシステム信頼済み証明書ストアで検証されます。SSLServerCert 接続プロパティを使用して、証明書の検証方法をオーバーライドできます。

別の証明書を指定するには、SSLServerCert 接続プロパティを参照してください。

クライアントSSL 証明書

Elasticsearch Sync App はクライアント証明書の設定もサポートしています。次を設定すれば、クライアント証明書を使って接続できます。

  • SSLClientCert:クライアント証明書のための証明書ストア名。
  • SSLClientCertType:TLS / SSL クライアント証明書を格納するキーストアの種類。
  • SSLClientCertPassword:TLS / SSL クライアント証明書のパスワード。
  • SSLClientCertSubject:TLS / SSL クライアント証明書のサブジェクト。

Elasticsearch Connector for CData Sync

ファイアウォールとプロキシ

Firewall またはProxy 経由の接続

HTTP プロキシ

HTTP プロキシへの認証には、以下のように設定します。

  • ProxyServer:HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレス。
  • ProxyPort:プロキシサーバーが起動しているTCP ポート。
  • ProxyAuthScheme:プロキシサーバーに対して認証する際にSync App が使用する認証方法。
  • ProxyUser:プロキシサーバーに登録されているユーザーアカウントのユーザー名。
  • ProxyPassword:ProxyUser に紐付けられたパスワード。

その他のプロキシ

次のプロパティを設定します。

  • プロキシベースのファイヤーウォールを使用するには、FirewallType、FirewallServer、およびFirewallPort を設定します。
  • 接続をトンネルするには、FirewallType をTUNNEL に設定します。
  • 認証するには、FirewallUser とFirewallPassword を設定します。
  • SOCKS プロキシへの認証には、さらにFirewallType をSOCKS5 に設定します。

Elasticsearch Connector for CData Sync

データモデル

CData Sync App は、Elasticsearch エンティティをリレーショナルテーブル、ビュー、およびストアドプロシージャにモデル化します。

テーブル

テーブル定義は動的に取得されます。接続すると、Sync App はElasticsearch に接続し、スキーマ、テーブルのリストおよびテーブルのメタデータをElasticsearch REST サーバーをクエリすることで取得します。

SQL での検索 では、テーブルが動的に取得される方法を詳細に説明します。

ビュー

Views are created from Elasticsearch aliases and the definitions are dynamically retrieved. When you connect, the Sync App connects to Elasticsearch and retrieves the list of views and the metadata for the views by querying the Elasticsearch REST server.

Views are treated in a similar manner to Tables and thus exhibit similar behavior. There are some differences in the background though which are a direct result of how aliases work within Elasticsearch. (Note: In the following description, 'alias', 'index', 'type', and 'field' are referring to the Elasticsearch objects and not directly to anything within the Sync App).

Views (aliases) are tied to an index and thus span all the types within an index. Additionally aliases can span multiple indices. Therefore you may see an alias (view) listed multiple times under different schemas (index). When querying the view, regardless of the schema specified, data will be retrieved and returned for all indices and types associated with the corresponding alias. Thus the generated metadata will contain a column for each field within each type of each index associated with the alias.

SQL での検索 では、ビューが動的に取得される方法を詳細に説明します。

The ModifyIndexAliases stored procedure can be used to create index aliases within Elasticsearch.

In addition to the Elasticsearch aliases, an '_all' view is returned which enables querying the _all endpoint to retrieve data for all indices in a single query. Given how many indices and documents the _all view could cover, certain queries agains the '_all' view could be very expensive. Additionally, for scanning for table metadata, as governed by RowScanDepth, will be less accurate for '_all' views that cover very large or very heterogenous indices. See 自動スキーマ検出 for more information about this.

ストアドプロシージャ

ストアドプロシージャ は、Elasticsearch のファンクションライクなインターフェースであり、さまざまなタスクの実行に使われます。

Elasticsearch Connector for CData Sync

テーブル

Sync App はElasticsearch のデータを、標準のSQL ステートメントを使用してクエリできるリレーショナルデータベースのテーブルのリストとしてモデル化します。

Elasticsearch Connector for CData Sync テーブル

Name Description
IndexTemplates General information about index templates

Elasticsearch Connector for CData Sync

IndexTemplates

General information about index templates

Columns

Name Type ReadOnly References Description
name [KEY] String False

Name of index template

composed_of String False

Array of index template names from which this template is composed

data_stream_allow_custom_routing Boolean False

Whether data stream allows custom routing

data_stream_hidden Boolean False

Whether data stream is hidden

data_stream_index_mode String False

Type of data stream to create

index_patterns String False

Array of patterns to match index names to this template

_meta String False

Optional user metadata about the index template

priority Long False

Priority to determine index template precedence when a new data stream or index is created. The index template with the highest priority is chosen. If no priority is specified the template is treated as though it is of priority 0 (lowest priority)

template_aliases String False

JSON aggregate of aliases info for index or data stream.

template_mappings String False

Mapping for fields in the index

template_settings String False

Index settings for indices matched to templates

version Integer False

Optional version number used to manage index templates externally

deprecated Boolean False

Optional mark of whether this template is deprecated

Elasticsearch Connector for CData Sync

ビュー

ビューは、データを示すという点でテーブルに似ていますが、ビューは読み取り専用です。

クエリは、ビューに対して通常のテーブルと同様に実行することができます。

Elasticsearch Connector for CData Sync ビュー

Name Description
IndexSettings General information about index settings
XPackInfo General information about the installed X-Pack features

Elasticsearch Connector for CData Sync

IndexSettings

General information about index settings

Columns

Name Type References Description
provided_name String
creation_date String
uuid String
version String
routing String
lifecycle String
mode String
routing_path String
sort String
number_of_shards String
number_of_replicas String
number_of_routing_shards String
check_on_startup String
codec String
routing_partition_size String
load_fixed_bitset_filters_eagerly Boolean
hidden Boolean
auto_expand_replicas String
merge String
search.idle.after String
refresh_interval String
max_result_window Integer
max_inner_result_window Integer
max_rescore_window Integer
max_docvalue_fields_search Integer
max_script_fields Integer
max_ngram_diff Integer
max_shingle_diff Integer
max_refresh_listeners Integer
max_terms_count Integer
max_regex_length Integer
gc_deletes String
default_pipeline String
format String
final_pipeline String
analyze.max_token_count Integer
highlight.max_analyzed_offset Integer
analysis String
time_series String
unassigned.node_left.delayed_timeout String
priority String
blocks String
mapping String
similarity String
search String
indexing String
store String
translog String
soft_deletes String
indexing_pressure.memory.limit Integer

Elasticsearch Connector for CData Sync

XPackInfo

General information about the installed X-Pack features

Columns

Name Type References Description
build_hash String
build_date Datetime
license_uid String
license_type String
license_mode String
license_status String
aggregate_metric_available Boolean
aggregate_metric_enabled Boolean
analytics_available Boolean
analytics_enabled Boolean
ccr_available Boolean
ccr_enabled Boolean
data_streams_available Boolean
data_streams_enabled Boolean
data_tiers_available Boolean
data_tiers_enabled Boolean
enrich_available Boolean
enrich_enabled Boolean
eql_available Boolean
eql_enabled Boolean
frozen_indices_available Boolean
frozen_indices_enabled Boolean
graph_available Boolean
graph_enabled Boolean
ilm_available Boolean
ilm_enabled Boolean
logstash_available Boolean
logstash_enabled Boolean
ml_available Boolean
ml_enabled Boolean
monitoring_available Boolean
monitoring_enabled Boolean
rollup_available Boolean
rollup_enabled Boolean
searchable_snapshots_available Boolean
searchable_snapshots_enabled Boolean
security_available Boolean
security_enabled Boolean
slm_available Boolean
slm_enabled Boolean
spatial_available Boolean
spatial_enabled Boolean
sql_available Boolean
sql_enabled Boolean
transform_available Boolean
transform_enabled Boolean
voting_only_available Boolean
voting_only_enabled Boolean
watcher_available Boolean
watcher_enabled Boolean
tagline String

Elasticsearch Connector for CData Sync

ストアドプロシージャ

ストアドプロシージャはファンクションライクなインターフェースで、Elasticsearch の単純なSELECT/INSERT/UPDATE/DELETE 処理にとどまらずSync App の機能を拡張します。

ストアドプロシージャは、パラメータのリストを受け取り、目的の機能を実行し、プロシージャが成功したか失敗したかを示すとともにElasticsearch から関連するレスポンスデータを返します。

Elasticsearch Connector for CData Sync ストアドプロシージャ

Name Description
CreateIndex Submits a request to create an index with specified settings.
ModifyIndexAliases Submits an alias request to modify index aliases.
UpdateIndexSettings Procedure for updating index settings. Note that some settings may only be updated on a closed index.

Elasticsearch Connector for CData Sync

CreateIndex

Submits a request to create an index with specified settings.

EXECUTE Example:

EXECUTE CreateIndex Index = 'firstindex', Alias = 'search', NumberOfShards = '3' 

Input

Name Type Description
Index String The name of the index.
Alias String The name of the alias to optionally associate the index with.
AliasFilter String Raw Query DSL object used to limit documents the alias can access.
AliasIndexRouting String Value used for the alias to route indexing operations to a specific shard. If specified, this overwrites the routing value for indexing operations.
AliasIsHidden Boolean Boolean value controlling whether or not the alias is hidden. All indices for the alias must have the same is_hidden value.
AliasIsWriteIndex Boolean Boolean value controlling whether the index is the write index for the alias.
AliasRouting String Value used for the alias to route indexing and search operations to a specific shard. May be overwritten by AliasIndexRouting or AliasSearchRouting for certain operations.
AliasSearchRouting String Value used for the alias to route search operations to a specific shard. If specified, this overwrites the routing value for search operations.
Mappings String Raw JSON object specifying explicit mapping for the index.
NumberOfShards String The number of primary shards that the created index should have.
NumberOfRoutingShards String Number used by Elasticsearch internally with the value from NumberOfShards to route documents to a primary shard.
OtherSettings String Raw JSON object of settings. Cannot be used in conjunction with NumberOfRoutingShards or NumberOfShards.

Result Set Columns

Name Type Description
CompletedBeforeTimeout String Returns True if the index was created before timeout. Note that if this value is false, the index could still be created successfully on Elasticsearch. In this case, completion of creating the index, updating the cluster state, and requisite sharding would occur after the timeout window for the request response elapsed.
ShardsAcknowledged String Boolean indicating whether the requisite number of shard copies were started for each shard in the index before timing out.
IndexName String Name in Elasticsearch of the created index.

Elasticsearch Connector for CData Sync

CreateSchema

Creates a schema file for the collection.

CreateSchema

データモデル内の既存のテーブルまたはビューからローカルスキーマファイル(.rsd)を作成します。

スキーマファイルは、このプロシージャが実行されると、Location 接続プロパティで設定されたディレクトリに作成されます。ファイルを編集してカラムを含めたり除外したり、カラム名を変更したり、カラムのデータ型を変更したりできます。

Sync App はLocation を確認し、.rsd ファイルの名前がデータモデルのテーブルまたはビューに一致するかどうかを判断します。重複がある場合、スキーマファイルはデータモデル内のこのテーブルのデフォルトインスタンスよりも優先されます。既存のテーブルまたはビューに一致しないスキーマファイルがLocation に存在する場合、新しいテーブルまたはビューのエントリがSync App のデータモデルに追加されます。

Input

Name Type Description
SchemaName String For use with Elasticsearch versions earlier than 7.0. The name of the schema (the Elasticsearch index).
TableName String Pre Elasticsearch 7.0, the name of Elasticsearch mapping type. Post Elasticsearch 7.0, the name of the Elasticsearch index.
FileName String The file name sans extension of the generated schema.

Result Set Columns

Name Type Description
Result String Returns Success or Failure.
FileData String The generated schema encoded in base64. Only returned if none of FileName or FileStream are set.

Elasticsearch Connector for CData Sync

ModifyIndexAliases

Submits an alias request to modify index aliases.

EXECUTE 例:

EXECUTE ModifyIndexAliases Action = 'add;add', Index = 'index_1;index_2', Alias = 'my_alias;my_alias' 

Note:Index パラメータは、パターンマッチングを実行して、一致するすべてのインデックスをエイリアスに追加するためのアスタリスク(*)文字をサポートします。

Input

Name Type Description
Action String The action to perform such as 'add', 'remove', or 'remove_index'. Multiple actions are semi-colon separated.
Index String The name of the index. Multiple indexes are semi-colon separated.
Alias String The name of the alias. Multiple aliases are semi-colon separated.
Filter String A filter to use when creating the alias. This takes the raw JSON filter using Query DSL. Multiple filters are semi-colon separated.
Routing String The routing value to associate with the alias. Multiple routing values are semi-colon separated.
SearchRouting String The routing value to associate with the alias for searching operations. Multiple search routing values are semi-colon separated.
IndexRouting String The routing value to associate with the alias for indexing operations. Multiple index routing values are semi-colon separated.

Result Set Columns

Name Type Description
Success String Returns True if successful.

Elasticsearch Connector for CData Sync

UpdateIndexSettings

Procedure for updating index settings. Note that some settings may only be updated on a closed index.

See this documentation for information on index settings in Elasticsearch, and what they control and impact across indices and clusters. Make sure to reference documentation for the version of Elasticsearch being connected to.

EXECUTE Example:

EXECUTE UpdateIndexSettings IndexName='traffic', NumberOfReplicas='3'

Input

Name Type Description
IndexName String
NumberOfReplicas Integer
RoutingAllocationIncludeTierPreference String
VersionCreated String
AnalyzeMaxTokenCount Integer
AutoExpandReplicas String
BlocksMetadata Boolean
BlocksRead Boolean
BlocksReadOnly Boolean
BlocksReadOnlyAllowDelete Boolean
BlocksWrite Boolean
DefaultPipeline String
FinalPipeline String
Format String
GcDeletes String
Hidden Boolean
HighlightMaxAnalyzedOffset Integer
IndexingSlowlogReformat Boolean
IndexingSlowlogSource Boolean
IndexingSlowlogThresholdIndexDebug String
IndexingSlowlogThresholdIndexInfo String
IndexingSlowlogThresholdIndexTrace String
IndexingSlowlogThresholdIndexWarn String
LifecycleIndexingComplete Boolean
LifecycleName String
LifecycleOriginationDate Datetime
LifecycleParseOriginationDate Boolean
LifecycleRolloverAlias String
LifecycleStepWaitTimeThreshold String
MappingCoerce Boolean
MappingDepthLimit Integer
MappingDimensionFieldsLimit Integer
MappingFieldNameLengthLimit Integer
MappingIgnoreMalformed Boolean
MappingNestedFieldsLimit Integer
MappingNestedObjectsLimit Integer
MappingTotalFieldsLimit Integer
MaxDocvalueFieldsSearch Integer
MaxInnerResultWindow Integer
MaxNgramDiff Integer
MaxRefreshListeners Integer
MaxRegexLength Integer
MaxRescoreWindow Integer
MaxResultWindow Integer
MaxScriptFields Integer
MaxShingleDiff Integer
MaxSlicesPerScroll Integer
MaxTermsCount Integer
MergePolicyDeletesPctAllowed Boolean
MergePolicyExpungeDeletesAllowed Boolean
MergePolicyFloorSegment String
MergePolicyMaxMergeAtOnce Integer
MergePolicyMaxMergeAtOnceExplicit Integer
MergePolicyMaxMergedSegment Integer
MergePolicySegmentsPerTier Integer
MergeSchedulerAutoThrottle String
MergeSchedulerMaxMergeCount Integer
MergeSchedulerMaxThreadCount Integer
Priority String
QueriesCacheEnabled Boolean
QueryStringLenient Boolean
RefreshInterval String
RoutingAllocationDiskWatermarkIgnore Boolean
RoutingAllocationEnable Boolean
RoutingAllocationTotalShardsPerNode Integer
RoutingRebalanceEnable Boolean
SearchIdleAfter String
SearchSlowlogThresholdFetchDebug String
SearchSlowlogThresholdFetchInfo String
SearchSlowlogThresholdFetchTrace String
SearchSlowlogThresholdFetchWarn String
SearchSlowlogThresholdQueryDebug String
SearchSlowlogThresholdQueryInfo String
SearchSlowlogThresholdQueryTrace String
SearchSlowlogThresholdQueryWarn String
SearchThrottled String
StoreType String
TimeSeriesEnd Datetime
TopMetricsMaxSize Integer
TranslogDurability String
TranslogFlushThresholdSize Integer
TranslogGenerationThresholdSize Integer
TranslogRetentionAge String
TranslogRetentionSize Integer
TranslogSyncInterval String
VerifiedBeforeClose Boolean

Result Set Columns

Name Type Description
Success String Returns True if successful.

Elasticsearch Connector for CData Sync

データ型マッピング

データ型のマッピング

Sync App は、データソースの型を、スキーマで使用可能な対応するデータ型にマッピングします。以下のテーブルはこれらのマッピングを説明します。

Elasticsearch CData スキーマ
array JSON 構造*
binary binary
boolean boolean
byte string
completion string
date datetime
date_range datetime (one field per value)
double double
double_range double (one field per value)
float float
float_range float (one field per value)
geo_point string
geo_shape string
half_float float
integer integer
integer_range integer (one field per value)
ip string
keyword string
long long
long_range long (one field per value)
nested JSON 構造*
object 複数のフィールドに分割されます。
scaled_float float
short short
text> string


*個々のタイプを持つ複数のフィールドにパースされます(FlattenArrays 参照)

Elasticsearch Connector for CData Sync

接続文字列オプション

接続文字列プロパティは、接続を確立するために使用できるさまざまなオプションです。このセクションでは、本プロバイダーの接続文字列で設定できるオプションの一覧を示します。詳細については各リンクをクリックしてください。

接続を確立する方法について詳しくは、接続の確立を参照してください。

Authentication


プロパティ説明
AuthScheme認証で使用されるスキーム。None、Basic、Negotiate (Kerberos)、AwsRootKeys、AwsIAMRoles、AwsEC2Roles、APIKey、およびTemporaryCredentials のエントリーが許容されます。デフォルト値はNone です。
UserElasticsearch に認証を行っているユーザー。
PasswordElasticsearch への認証に使われるパスワード。
UseSSLThis property sets whether the provider attempts to negotiate TLS/SSL connections to the server.
ServerElasticsearch REST サーバーのホスト名またはIP アドレス。あるいは、単一のクラスタ内の複数のノードを指定することもできますが、その場合はすべてのノードがREST API コールをサポートできる必要があります。
PortElasticsearch REST サーバーのポート。
APIKeyThe APIKey used to authenticate to Elasticsearch.
APIKeyIdThe APIKey Id to authenticate to Elasticsearch.

Connection


プロパティ説明
DataModelElasticsearch ドキュメントをパースしてデータベースのメタデータを生成するときに使用するデータモデルを指定します。
ExposeDotIndicesIf false, indices whose name starts with a '.' (dot indices) will not be exposed as tables or views by the provider. If true, dot indices will be exposed as tables or views.
AliasesFilterビューとして公開されるエイリアスを定義するエイリアス名またはフィルタのカンマ区切りリスト。
IndicesAndDataStreamsFilterインデックスおよびデータストリーム名またはフィルタのカンマ区切りリスト。
UseLakeFormationこのプロパティがtrue に設定される場合、AWSLakeFormation サービスは、設定されたIAM ロールに基づくユーザーに対してアクセスポリシーを適用する一時的な資格情報を取得するために使用されます。このサービスは、SAML アサーションを提供した上で、OKTA、ADFS、AzureAD、PingFederate 経由で認証する場合に使用できます。

AWS Authentication


プロパティ説明
AWSAccessKeyAWS アカウントのアクセスキーを指定します。この値には、AWS セキュリティ認証情報ページからアクセスできます。
AWSSecretKeyAWS アカウントのシークレットキー。この値には、[AWS セキュリティ認証情報]ページからアクセスできます。
AWSRoleARN認証時に使用するロールのAmazon リソースネーム。
AWSRegionAmazon Web サービスのホスティングリージョン。
AWSSessionTokenAWS のセッショントークン。
TemporaryTokenDurationThe amount of time (in seconds) an AWS temporary token will last.
AWSExternalId他のアカウントでロールを引き受ける際に必要となる一意の識別子。
AWSWebIdentityTokenID プロバイダーが提供するOAuth 2.0 アクセストークンまたはOpenID Connect ID トークン。

Kerberos


プロパティ説明
KerberosKDCユーザーの認証に使用されるKerberos キー配布センター(KDC)サービスを識別します。(SPNEGO またはWindows 認証のみ)
KerberosRealmユーザーの認証に使用される Kerberos レルムを識別します。
KerberosSPNKerberos ドメインコントローラーのサービスプリンシパル名(SPN)を指定します。
KerberosUserKerberos ドメインコントローラーのプリンシパル名を確認します。形式はhost/user@realm です。
KerberosKeytabFileKerberos のプリンシパルと暗号化されたキーのペアを含むKeytab ファイルを指定します。
KerberosServiceRealmサービスのKerberos レルムをを指定します。(クロスレルム認証のみ)
KerberosServiceKDCサービスのKerberos Key Distribution Center(KDC)を指定します。
KerberosTicketCacheMIT Kerberos 認証情報キャッシュファイルの完全ファイルパスを指定します。

SSL


プロパティ説明
SSLClientCertSSL クライアント認証(2-way SSL)のためのTLS/SSL クライアント証明書ストアを指定します。このプロパティは、他のSSL 関連プロパティと連動して、セキュアな接続を確立します。
SSLClientCertTypeSSL クライアント認証用のTLS/SSL クライアント証明書を格納するキーストアの種類を指定します。プラットフォームや証明書のソースに応じて、さまざまなキーストア形式から選択できます。
SSLClientCertPasswordTLS/SSL クライアント証明書ストアにアクセスするために必要なパスワードを指定します。選択した証明書ストアの種類がアクセスにパスワードを必要とする場合、このプロパティを使用します。
SSLClientCertSubjectTLS/SSL クライアント証明書のサブジェクトを指定し、証明書ストアで場所を検索します。 CN=www.server.com, C=US のように、識別名フィールドのカンマ区切りのリストを使用します。ワイルドカード * は、ストアの先頭の証明書を選択します。
SSLServerCertTLS/SSL を使用して接続する際に、サーバーが受け入れ可能な証明書を指定します。

Firewall


プロパティ説明
FirewallTypeprovider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
FirewallServerファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
FirewallPortプロキシベースのファイアウォールで使用するTCP ポートを指定します。
FirewallUserプロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
FirewallPasswordプロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

Proxy


プロパティ説明
ProxyAutoDetectprovider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
ProxyServerHTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレスを指定します。
ProxyPortクライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバーのTCP ポートを指定します。
ProxyAuthSchemeProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
ProxyUserProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名を提供します。
ProxyPasswordProxyUser 接続プロパティで指定されたユーザーのパスワードを指定します。
ProxySSLTypeProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプを指定します。
ProxyExceptionsProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリストを指定します。

Logging


プロパティ説明
LogModulesログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

Schema


プロパティ説明
Locationテーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
BrowsableSchemasレポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tablesレポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
Viewsレポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。
FlattenObjectsフラット化されたオブジェクトとしてカラムを表示するか、オブジェクトプロパティをJSON 文字列として返すか。
FlattenArraysテーブルカラムとして返したいネストされた配列エレメントの数に FlattenArrays を設定します。デフォルトで、ネスト配列はJSON 文字列として返されます。

Miscellaneous


プロパティ説明
AWSCertificateThe absolute path to the certificate file or the certificate content in PEM format encoded in base64.
AWSCertificatePasswordThe password for the certificate if applicable, otherwise leave blank.
AWSCertificateTypeThe type of AWSCertificate .
AWSPrivateKeyThe absolute path to the private key file or the private key content in PEM format encoded in base64.
AWSPrivateKeyPasswordThe password for the private key if it is encrypted, otherwise leave blank.
AWSPrivateKeyTypeThe type of AWSPrivateKey .
AWSProfileARNProfile to pull policies from.
AWSSessionDurationDuration, in seconds, for the resulting session.
AWSTrustAnchorARNTrust anchor to use for authentication.
ClientSideEvaluationSet ClientSideEvaluation to true to perform Evaluation client side on nested objects.
GenerateSchemaFilesスキーマを生成して保存するユーザーの好みのタイミングを示します。
MaxResultsデフォルトのSearch API 使用時にElasticsearch から返される結果の最大数。
MaxRows集計やGROUP BY を含まないクエリで返される最大行数を指定します。
Other特定の問題に対処するため、特殊なシナリオ向けの高度な接続プロパティを指定します。このプロパティは、サポートチームの指示がある場合にのみ使用してください。
PageSizeElasticsearch から返されるリクエストあたりの結果数。
PaginationModeSpecifies whether to use PIT with search_after or scrolls to page through query results.
PITDurationSpecifies the time unit to use for keep alive when retrieving results via PIT API.
PseudoColumnsテーブルカラムとして公開する擬似カラムを、'TableName=ColumnName;TableName=ColumnName' の形式の文字列で指定します。
QueryPassthroughこのオプションを使用すると、正確なクエリをElasticsearch に渡すことができます。
ReplaceInvalidUTF8CharsSpecifies whether to replace invalid UTF8 byte sequences found in reads of indexed document content with the U+FFFD replacement character.
RowScanDepthテーブルメタデータの生成時にスキャンする最大の行数。このプロパティを使って、provider がどのように配列を検出するかをより深くコントロールすることができます。
ScrollDurationSpecifies the time unit to use for keep alive when retrieving results via the Scroll API.
Timeoutprovider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。
UseFullyQualifiedNestedTableNameSet this to true to set the generated table name as the complete source path when flattening nested documents using Relational DataModel .
UserDefinedViewsカスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
Elasticsearch Connector for CData Sync

Authentication

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。


プロパティ説明
AuthScheme認証で使用されるスキーム。None、Basic、Negotiate (Kerberos)、AwsRootKeys、AwsIAMRoles、AwsEC2Roles、APIKey、およびTemporaryCredentials のエントリーが許容されます。デフォルト値はNone です。
UserElasticsearch に認証を行っているユーザー。
PasswordElasticsearch への認証に使われるパスワード。
UseSSLThis property sets whether the provider attempts to negotiate TLS/SSL connections to the server.
ServerElasticsearch REST サーバーのホスト名またはIP アドレス。あるいは、単一のクラスタ内の複数のノードを指定することもできますが、その場合はすべてのノードがREST API コールをサポートできる必要があります。
PortElasticsearch REST サーバーのポート。
APIKeyThe APIKey used to authenticate to Elasticsearch.
APIKeyIdThe APIKey Id to authenticate to Elasticsearch.
Elasticsearch Connector for CData Sync

AuthScheme

認証で使用されるスキーム。None、Basic、Negotiate (Kerberos)、AwsRootKeys、AwsIAMRoles、AwsEC2Roles、APIKey、およびTemporaryCredentials のエントリーが許容されます。デフォルト値はNone です。

解説

このフィールドは、サーバーに対して認証をするために使われます。次のオプションを使って、認証スキームを選択してください。

  • None:BASIC 認証が実行されるUser およびPassword プロパティが設定されていない限り、認証は実行されません。
  • Basic:Basic 認証が行われます。
  • Negotiate:AuthScheme がNegotiate に設定された場合、Sync App は認証メカニズムをサーバーとネゴシエートします。Kerberos 認証を使いたい場合はAuthScheme をNegotiate に設定します。
  • AwsRootKeys:ルートユーザーのアクセスキーおよびシークレットが使用されます。クイックテストには便利ですが、本番環境のユースケースでは、権限を絞ったものを使用することをお勧めします。
  • AwsIAMRoles:接続にIAM ロールが使用されます。
  • AwsEC2Roles:EC2 インスタンスに割り当てられたIAM Role を接続に使用するように設定します。
  • APIKey:接続にAPIKey とAPIKeyId を使用するように設定します。
  • TemporaryCredentials:セッショントークンとともに一時的なセキュリティ認証情報を活用して接続するように設定します。

Elasticsearch Connector for CData Sync

User

Elasticsearch に認証を行っているユーザー。

解説

Elasticsearch に認証を行っているユーザー。

Elasticsearch Connector for CData Sync

Password

Elasticsearch への認証に使われるパスワード。

解説

Elasticsearch への認証に使われるパスワード。

Elasticsearch Connector for CData Sync

UseSSL

This property sets whether the provider attempts to negotiate TLS/SSL connections to the server.

解説

This property sets whether the Sync App attempts to negotiate TLS/SSL connections to the server.

When set to false, (the default), for compatibility with the previous method of specifying the protocol prefix in the Server property, the Sync App category respects the protocol behavior set in Server, and then uses the protocol dictated by UseSSL=False. NOTE: This means that if you set UseSSL=False, but also specify Server="https://localhost", the Sync App attempts to connect and communicate over HTTPS, despite UseSSL being set to False.

When UseSSL is set to true, the Sync App attempts to strictly follow the property's specification, and it throws an exception if there is a conflict with the specification in Server. For example, if you set UseSSL=true, but specify Server as "http://localhost", the Sync App generates an exception.

Differences between the new and the old method:

In the new method, Server should now just specify server name, domain name, IP address, or similar. For the previous method of specifying Server as a combination of protocol prefix and hostname, like "http://localhost", this now maps to Server being set to "localhost", and UseSSL to false;. What was formerly set to Server="https://localhost" now maps to Server="localhost";UseSSL=true;.

New users of the driver are encouraged to not specify a protocol in Server.

Elasticsearch Connector for CData Sync

Server

Elasticsearch REST サーバーのホスト名またはIP アドレス。あるいは、単一のクラスタ内の複数のノードを指定することもできますが、その場合はすべてのノードがREST API コールをサポートできる必要があります。

解説

Elasticsearch REST サーバーのホスト名またはIP アドレス。あるいは、単一のクラスタ内の複数のノードを指定することもできますが、その場合はすべてのノードがREST API コールをサポートできる必要があります。

SSL を使用するには、UseSSL をtrue に設定し、SSLServerCert のようなSSL 接続プロパティを設定します。

複数のノードを指定するには、プロパティをアドレスのカンマ区切りリストに設定し、オプションでアドレスの後にポートを指定し、アドレスとコロンで区切ります。たとえば、クラスタに2つの独立した連携ノードを指定するには、'01.01.01.01:1234,02.02.02.02:5678' とします。ポートがノードと共に指定されている場合、そのポートは、そのノードへの接続に限り、Port プロパティよりも優先されます。

Elasticsearch Connector for CData Sync

Port

Elasticsearch REST サーバーのポート。

解説

Elasticsearch REST サーバーが割り振られているポート。

Elasticsearch Connector for CData Sync

APIKey

The APIKey used to authenticate to Elasticsearch.

解説

The APIKey used to authenticate to Elasticsearch.

Elasticsearch Connector for CData Sync

APIKeyId

The APIKey Id to authenticate to Elasticsearch.

解説

The APIKey Id to authenticate to Elasticsearch.

Elasticsearch Connector for CData Sync

Connection

このセクションでは、本プロバイダーの接続文字列で設定可能なConnection プロパティの全リストを提供します。


プロパティ説明
DataModelElasticsearch ドキュメントをパースしてデータベースのメタデータを生成するときに使用するデータモデルを指定します。
ExposeDotIndicesIf false, indices whose name starts with a '.' (dot indices) will not be exposed as tables or views by the provider. If true, dot indices will be exposed as tables or views.
AliasesFilterビューとして公開されるエイリアスを定義するエイリアス名またはフィルタのカンマ区切りリスト。
IndicesAndDataStreamsFilterインデックスおよびデータストリーム名またはフィルタのカンマ区切りリスト。
UseLakeFormationこのプロパティがtrue に設定される場合、AWSLakeFormation サービスは、設定されたIAM ロールに基づくユーザーに対してアクセスポリシーを適用する一時的な資格情報を取得するために使用されます。このサービスは、SAML アサーションを提供した上で、OKTA、ADFS、AzureAD、PingFederate 経由で認証する場合に使用できます。
Elasticsearch Connector for CData Sync

DataModel

Elasticsearch ドキュメントをパースしてデータベースのメタデータを生成するときに使用するデータモデルを指定します。

解説

DataModel 設定を選択して、Sync App がネストされたドキュメントをテーブルにモデル化する方法を設定します。 さまざまな設定でデータをクエリする例については、階層データの解析 を参照してください。

データモデリングストラテジーの選択

次のDataModel 設定が利用可能です。さまざまな設定でデータをクエリする例については、階層データの解析 を参照してください。

  • Document

    各ドキュメントの行を表す単一テーブルを返します。このデータモデルでは、ネストされたドキュメントはフラット化されず、集計として返されます。

  • FlattenedDocuments

    親ドキュメントとネストされたドキュメントのJOIN を表す単一テーブルを返します。このデータモデルでは、ネストされたドキュメントはSQL JOIN と同じ作法で動作します。さらに、ネストされた兄弟ドキュメント(同じ高さのネストされたドキュメント)は、SQL CROSS JOIN として扱われます。Sync App は、返されたドキュメントを解析することによって、利用可能なネストされたドキュメントを識別します。

  • Relational

    ドキュメント内のネストされたドキュメント(親ドキュメントを含む)に対して1つずつ、複数のテーブルを返します。このデータモデルでは、ネストされたドキュメントは、親テーブルにリンクする主キーと外部キーを含むリレーショナルテーブルとして返されます。

関連項目

  • FlattenArrays およびFlattenObjects:これらのデータモデルごとに識別されるカラムをカスタマイズします。これらのプロパティの使用例については、自動スキーマ検出 を参照してください。
  • 階層データの解析:異なるDataModel 設定から得られたスキーマを、サンプルクエリで比較します。
  • SQL での検索:Sync App で利用可能なデータモデリングとフラット化のテクニックをについて学びます。

Elasticsearch Connector for CData Sync

ExposeDotIndices

If false, indices whose name starts with a '.' (dot indices) will not be exposed as tables or views by the provider. If true, dot indices will be exposed as tables or views.

解説

In most standard scenarios with newer versions of Elasticsearch, dot indices are system indices or hidden indices. These are indices that usually should not be directly interacted with by users, or whose indexed documents will not usually be returned in the results of queries that search over sets of multiple indices. As such, the Sync App does not expose dot indices by default in its table or view metadata.

Elasticsearch Connector for CData Sync

AliasesFilter

ビューとして公開されるエイリアスを定義するエイリアス名またはフィルタのカンマ区切りリスト。

解説

指定するエイリアス名は、Elasticsearch の既存のエイリアスと一致する必要があります。フィルタには、エイリアス名の一部とワイルドカード文字 * を使用できます。

例えば、以下の値は"qa"、"sprint_testing"、"sprint_metrics" というエイリアスに適合します:

qa,sprint_*

Elasticsearch Connector for CData Sync

IndicesAndDataStreamsFilter

インデックスおよびデータストリーム名またはフィルタのカンマ区切りリスト。

解説

接続するElasticsearch のバージョンにより、このフィルタはテーブルまたはスキーマとして公開される、インデックスやデータストリームを制限します。詳しくは、スキーママッピング を参照してください。

指定される値は、Elasticsearch の既存のインデックス名またはデータストリーム名と一致する必要があります。インデックスやデータストリームのフィルタには、名前の一部とワイルドカード文字 * を含めることができます。

このフィルタは、オープンで非表示でないインデックスとデータストリームにのみ適用されます。

例えば、次の値はデータストリーム"my_logs_0"、"my_logs_1"、およびインデックス"sources" に適合します:

sources,my_logs_*

Elasticsearch Connector for CData Sync

UseLakeFormation

このプロパティがtrue に設定される場合、AWSLakeFormation サービスは、設定されたIAM ロールに基づくユーザーに対してアクセスポリシーを適用する一時的な資格情報を取得するために使用されます。このサービスは、SAML アサーションを提供した上で、OKTA、ADFS、AzureAD、PingFederate 経由で認証する場合に使用できます。

解説

このプロパティがtrue に設定される場合、AWSLakeFormation サービスは、設定されたIAM ロールに基づくユーザーに対してアクセスポリシーを適用する一時的な資格情報を取得するために使用されます。このサービスは、SAML アサーションを提供した上で、OKTA、ADFS、AzureAD、PingFederate 経由で認証する場合に使用できます。

Elasticsearch Connector for CData Sync

AWS Authentication

このセクションでは、本プロバイダーの接続文字列で設定可能なAWS Authentication プロパティの全リストを提供します。


プロパティ説明
AWSAccessKeyAWS アカウントのアクセスキーを指定します。この値には、AWS セキュリティ認証情報ページからアクセスできます。
AWSSecretKeyAWS アカウントのシークレットキー。この値には、[AWS セキュリティ認証情報]ページからアクセスできます。
AWSRoleARN認証時に使用するロールのAmazon リソースネーム。
AWSRegionAmazon Web サービスのホスティングリージョン。
AWSSessionTokenAWS のセッショントークン。
TemporaryTokenDurationThe amount of time (in seconds) an AWS temporary token will last.
AWSExternalId他のアカウントでロールを引き受ける際に必要となる一意の識別子。
AWSWebIdentityTokenID プロバイダーが提供するOAuth 2.0 アクセストークンまたはOpenID Connect ID トークン。
Elasticsearch Connector for CData Sync

AWSAccessKey

AWS アカウントのアクセスキーを指定します。この値には、AWS セキュリティ認証情報ページからアクセスできます。

解説

AWS アカウントのアクセスキーを見つけるには、次の手順に従います。

  1. ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
  2. アカウント名または番号を選択します。
  3. メニューでMy Security Credentials を選択します。
  4. Continue to Security Credentials をクリックします。
  5. ルートアカウントのアクセスキーを表示または管理するには、Access Keys セクションを展開します。

Elasticsearch Connector for CData Sync

AWSSecretKey

AWS アカウントのシークレットキー。この値には、[AWS セキュリティ認証情報]ページからアクセスできます。

解説

AWS アカウントのシークレットキー。この値には、[AWS セキュリティ認証情報]ページからアクセスできます。

  1. ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
  2. アカウント名または番号を選択し、表示されたメニューで[My Security Credentials]を選択します。
  3. [Continue to Security Credentials]をクリックし、[Access Keys]セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。

Elasticsearch Connector for CData Sync

AWSRoleARN

認証時に使用するロールのAmazon リソースネーム。

解説

AWS の外部で認証する場合は、AWS アカウント認証情報ではなく、ロールを認証に使用するのが 一般的です。AWSRoleARN を入力すると、CData Sync App はAWSAccessKey とAWSSecretKey を直接 使用する代わりに、ロールベースの認証を実行します。この認証を実行するためには、AWSAccessKey と AWSSecretKey を指定する必要があります。RoleARN を設定するときは、AWS ルートユーザーの 認証情報を使用できません。AWSAccessKey およびAWSSecretKey はIAM ユーザーのものである必要があります。

Elasticsearch Connector for CData Sync

AWSRegion

Amazon Web サービスのホスティングリージョン。

解説

Amazon Web サービスのホスティングリージョン。利用可能な値は、OHIO、NORTHERNVIRGINIA、NORTHERNCALIFORNIA、OREGON、CAPETOWN、HONGKONG、TAIPEI、HYDERABAD、JAKARTA、MALAYSIA、MELBOURNE、MUMBAI、OSAKA、SEOUL、SINGAPORE、SYDNEY、THAILAND、TOKYO、CENTRAL、CALGARY、BEIJING、NINGXIA、FRANKFURT、IRELAND、LONDON、MILAN、PARIS、SPAIN、STOCKHOLM、ZURICH、TELAVIV、MEXICOCENTRAL、BAHRAIN、UAE、SAOPAULO、GOVCLOUDEAST、GOVCLOUDWEST、ISOLATEDUSEAST、ISOLATEDUSEASTB、ISOLATEDUSEASTF、ISOLATEDUSSOUTHF、ISOLATEDUSWEST、およびISOLATEDEUWEST です。

Elasticsearch Connector for CData Sync

AWSSessionToken

AWS のセッショントークン。

解説

AWS のセッショントークン。この値はさまざまな方法で取得できます。詳しくは、this link を参照してください。

Elasticsearch Connector for CData Sync

TemporaryTokenDuration

The amount of time (in seconds) an AWS temporary token will last.

解説

Temporary tokens are used with Role based authentication. Temporary tokens will eventually time out, at which time a new temporary token must be obtained. The CData Sync App will internally request a new temporary token once the temporary token has expired.

For Role based authentication, the minimum duration is 900 seconds (15 minutes) while the maximum if 3600 (1 hour).

Elasticsearch Connector for CData Sync

AWSExternalId

他のアカウントでロールを引き受ける際に必要となる一意の識別子。

解説

他のアカウントでロールを引き受ける際に必要となる一意の識別子。

Elasticsearch Connector for CData Sync

AWSWebIdentityToken

ID プロバイダーが提供するOAuth 2.0 アクセストークンまたはOpenID Connect ID トークン。

解説

ID プロバイダーが提供するOAuth 2.0 アクセストークンまたはOpenID Connect ID トークン。 アプリケーションは、Web ID プロバイダーでユーザーを認証することで、このトークンを取得できます。 指定しない場合、この接続プロパティの値は、 環境変数'AWS_WEB_IDENTITY_TOKEN_FILE' の値から自動的に取得されます。

Elasticsearch Connector for CData Sync

Kerberos

このセクションでは、本プロバイダーの接続文字列で設定可能なKerberos プロパティの全リストを提供します。


プロパティ説明
KerberosKDCユーザーの認証に使用されるKerberos キー配布センター(KDC)サービスを識別します。(SPNEGO またはWindows 認証のみ)
KerberosRealmユーザーの認証に使用される Kerberos レルムを識別します。
KerberosSPNKerberos ドメインコントローラーのサービスプリンシパル名(SPN)を指定します。
KerberosUserKerberos ドメインコントローラーのプリンシパル名を確認します。形式はhost/user@realm です。
KerberosKeytabFileKerberos のプリンシパルと暗号化されたキーのペアを含むKeytab ファイルを指定します。
KerberosServiceRealmサービスのKerberos レルムをを指定します。(クロスレルム認証のみ)
KerberosServiceKDCサービスのKerberos Key Distribution Center(KDC)を指定します。
KerberosTicketCacheMIT Kerberos 認証情報キャッシュファイルの完全ファイルパスを指定します。
Elasticsearch Connector for CData Sync

KerberosKDC

ユーザーの認証に使用されるKerberos キー配布センター(KDC)サービスを識別します。(SPNEGO またはWindows 認証のみ)

解説

Kerberos のプロパティは、SPNEGO またはWindows 認証を使用する場合に使用されます。 Sync App は、Kerberos KDC サービス(通常はドメインコントローラーと同じ場所にあります)にセッションチケットと一時的なセッションキーを要求します。

KerberosKDC が指定されていない場合、Sync App は以下の場所から自動的にプロパティを検出しようとします。

  • KRB5 Config File (krb5.ini/krb5.conf): KRB5_CONFIG 環境変数が設定され、ファイルが存在する場合、Sync App は指定されたファイルからKDC を取得します。見つからない場合は、Sync App はOS に基づいてデフォルトのMIT ロケーションからの読み取りを試みます: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) または/etc/krb5.conf (Linux)。
  • ドメイン名およびホスト: Kerberos レルムおよびKerberos KDC が別の場所から推測できなかった場合、Sync App は設定されているドメイン名およびホストからそれらを推測します。

Elasticsearch Connector for CData Sync

KerberosRealm

ユーザーの認証に使用される Kerberos レルムを識別します。

解説

レルムとは、ドメインに似た論理的なネットワークで、同じマスターKDC の下にあるシステムのグループを定義します。一部のレルムは階層構造を持ち、一方のレルムが他方の上位集合となることもありますが、通常は非階層型(「直接型」)であり、2つのレルム間のマッピングを定義する必要があります。 Kerberos のクロスレルム認証により、異なるレルム間での認証が可能になります。各レルムは、相手レルムのプリンシパル情報を自レルムのKDC に登録しておく必要があります。

Kerberos のプロパティは、SPNEGO またはWindows 認証を使用する場合に使用されます。 Sync App は、Kerberos KDC サービス(通常はドメインコントローラーと同じ場所にあります)にセッションチケットと一時的なセッションキーを要求します。 Kerberos レルムは、管理者が任意の文字列に設定できますが、通常はドメイン名に基づいて設定されます。

Kerberos レルムが指定されていない場合、Sync App は、これらのプロパティを自動的に次の場所から検出しようとします。

  • KRB5 Config File (krb5.ini/krb5.conf): KRB5_CONFIG 環境変数が設定され、ファイルが存在する場合、Sync App は指定されたファイルからデフォルトレルムを取得します。それ以外の場合は、OS に基づいてデフォルトのMIT ロケーションからの読み取りを試みます:C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) または/etc/krb5.conf (Linux)
  • ドメイン名およびホスト: Kerberos レルムおよびKerberos KDC が別の場所から推測できなかった場合、Sync App はユーザー設定されているドメイン名およびホストからそれらを推測します。これは、一部のWindows 環境で機能します。

Elasticsearch Connector for CData Sync

KerberosSPN

Kerberos ドメインコントローラーのサービスプリンシパル名(SPN)を指定します。

解説

Kerberos ドメインコントローラー上のSPN が認証先のURL と異なる場合は、このプロパティを使用してSPN をKDC のURL に設定します。

Elasticsearch Connector for CData Sync

KerberosUser

Kerberos ドメインコントローラーのプリンシパル名を確認します。形式はhost/user@realm です。

解説

Kerberos プリンシパルが存在する場合、データベースへの認証には常にそのKerberos プリンシパル名を使用する必要があります。

Elasticsearch Connector for CData Sync

KerberosKeytabFile

Kerberos のプリンシパルと暗号化されたキーのペアを含むKeytab ファイルを指定します。

解説

keytab(“key table” の略)は、1つ以上のプリンシパルの長期キーを格納します。 ほとんどの場合、エンドユーザーはクライアントシークレット(パスワード)を使用してKDCに 認証します。 ただし、自動化されたスクリプトやアプリケーションで認証や再認証が行われる場合、keytab を使用する方が効率的です。keytab はパスワードを暗号化された形式で自動的にKDC に送信します。

Keytab は通常、標準形式のファイルで表現され、type:value の形式で命名されます。 通常、type はFILE で、value はファイルの絶対パス名です。 type のもう一つの可能な値はMEMORY で、これは現在のプロセスのメモリに格納された一時的なkeytab を示します。

keytab には1つ以上のエントリが含まれ、各エントリはタイムスタンプ(エントリがkeytab に書き込まれた時刻を示す)、プリンシパル名、キーバージョン番号、暗号化タイプ、および暗号化キー自体で構成されます。 これらはkutil を使用して生成できます。

例:

[admin@myhost]# ktutil

ktutil: addent -password -p starlord/[email protected] -k 1 -e aes256-cts-hmac-sha1-96
Password for starlord/myhost.galaxy.com:

ktutil: addent -password -p starlord/[email protected] -k 1 -e aes128-cts-hmac-sha1-96
Password for starlord/myhost.galaxy.com:

ktutil: addent -password -p starlord/[email protected] -k 1 -e des3-cbc-sha1
Password for starlord/myhost.galaxy.com:

ktutil: wkt /path/to/starlord.keytab

Note: サポートしたいすべての認証方法(暗号化タイプ)に対してプリンシパルを作成する必要があります。

keytab を表示するには、klist -k を使用します。

Elasticsearch Connector for CData Sync

KerberosServiceRealm

サービスのKerberos レルムをを指定します。(クロスレルム認証のみ)

解説

KerberosServiceRealm は、クロスレルムKerberos 認証を使用する際にサービスのKerberosRealm を指定するために使われます。

ほとんどの場合、Kerberos 認証の実行には単一のレルムとKDC マシンが使用されるため、このプロパティは必要ありません。ただし、認証チケット(AS リクエスト)とサービスチケット(TGS リクエスト)の取得に異なるレルムとKDC マシンが使用される複雑なセットアップではこのプロパティを使用できます。

Elasticsearch Connector for CData Sync

KerberosServiceKDC

サービスのKerberos Key Distribution Center(KDC)を指定します。

解説

KerberosServiceKDC は、クロスレルムKerberos 認証を使用する際にサービスKerberos KDC を指定するために使われます。

ほとんどの場合、Kerberos 認証の実行には単一のレルムとKDC マシンが使用されるため、このプロパティは必要ありません。ただし、認証チケット(AS リクエスト)とサービスチケット(TGS リクエスト)の取得に異なるレルムとKDC マシンが使用される複雑なセットアップではこのプロパティを使用できます。

Elasticsearch Connector for CData Sync

KerberosTicketCache

MIT Kerberos 認証情報キャッシュファイルの完全ファイルパスを指定します。

解説

MIT Kerberos Ticket Manager またはkinit コマンドを使用して作成された認証情報キャッシュファイルを使用する場合は、このプロパティを設定します。

Elasticsearch Connector for CData Sync

SSL

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。


プロパティ説明
SSLClientCertSSL クライアント認証(2-way SSL)のためのTLS/SSL クライアント証明書ストアを指定します。このプロパティは、他のSSL 関連プロパティと連動して、セキュアな接続を確立します。
SSLClientCertTypeSSL クライアント認証用のTLS/SSL クライアント証明書を格納するキーストアの種類を指定します。プラットフォームや証明書のソースに応じて、さまざまなキーストア形式から選択できます。
SSLClientCertPasswordTLS/SSL クライアント証明書ストアにアクセスするために必要なパスワードを指定します。選択した証明書ストアの種類がアクセスにパスワードを必要とする場合、このプロパティを使用します。
SSLClientCertSubjectTLS/SSL クライアント証明書のサブジェクトを指定し、証明書ストアで場所を検索します。 CN=www.server.com, C=US のように、識別名フィールドのカンマ区切りのリストを使用します。ワイルドカード * は、ストアの先頭の証明書を選択します。
SSLServerCertTLS/SSL を使用して接続する際に、サーバーが受け入れ可能な証明書を指定します。
Elasticsearch Connector for CData Sync

SSLClientCert

SSL クライアント認証(2-way SSL)のためのTLS/SSL クライアント証明書ストアを指定します。このプロパティは、他のSSL 関連プロパティと連動して、セキュアな接続を確立します。

解説

このプロパティは、SSL クライアント認証のためのクライアント証明書ストアを指定します。 このプロパティは、証明書ストアの種類を定義するSSLClientCertType、およびパスワードで保護されたストア用のパスワードを指定するSSLClientCertPassword と一緒に使用します。 SSLClientCert が設定され、SSLClientCertSubject が設定されている場合、ドライバーは指定されたサブジェクトに一致する証明書を検索します。

証明書ストアの指定はプラットフォームによって異なります。 Windowsでは、証明書ストアはMY(個人証明書)などの名前で識別されますが、Java では、証明書ストアは通常、証明書とオプションの秘密キーを含むファイルです。

Windows の共通のユーザとシステム証明書ストアの指定は以下のとおりです。

MY個人証明書と関連付けられた秘密キーを格納している証明書ストア。
CA証明機関の証明書。
ROOTルート証明書。
SPCソフトウェア発行元証明書。

PFXFile タイプの場合、このプロパティをファイル名に設定します。PFXBlob タイプの場合は、このプロパティをPKCS12 形式のファイルのバイナリコンテンツに設定します。

Elasticsearch Connector for CData Sync

SSLClientCertType

SSL クライアント認証用のTLS/SSL クライアント証明書を格納するキーストアの種類を指定します。プラットフォームや証明書のソースに応じて、さまざまなキーストア形式から選択できます。

解説

このプロパティは、クライアント証明書を指定するために使用されるキーストアの形式と場所を決定します。 サポートされている値には、プラットフォーム固有およびユニバーサルなキーストア形式があります。 有効な値と使用方法は以下のとおりです。

USER - デフォルトWindows の場合、現在のユーザーにより所有された証明書ストアであることを指定します。この種類はJava では利用できませんので注意してください。
MACHINEWindows の場合、この証明書ストアがシステムストアであることを指定します。この種類はJava では利用できませんので注意してください。
PFXFILEこの証明書ストアは、証明書を含むPFX(PKCS12)ファイルの名前です。
PFXBLOBこの証明書ストアは、PFX(PKCS12)形式の証明書ストアを表すBase-64でエンコードされた文字列です。
JKSFILEこの証明書ストアは、証明書を含むJava key store(JKS)ファイルの名前です。この種類はJava でのみ利用できますので注意してください。
JKSBLOBこの証明書ストアは、Java key store(JKS)形式の証明書ストアを表すBase-64でエンコードされた文字列です。この種類はJava でのみ利用できますので注意してください。
PEMKEY_FILEこの証明書ストアは、秘密キーと任意の証明書を含むPEM でエンコードされたファイルの名前です。
PEMKEY_BLOBこの証明書ストアは、秘密キーと任意の証明書を含むBase-64でエンコードされた文字列です。
PUBLIC_KEY_FILEこの証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むファイルの名前です。
PUBLIC_KEY_BLOBこの証明書ストアは、PEM またはDER でエンコードされた公開キーの証明書を含むBase-64でエンコードされた文字列です。
SSHPUBLIC_KEY_FILEこの証明書ストアは、SSH 公開キーを含むファイルの名前です。
SSHPUBLIC_KEY_BLOBこの証明書ストアは、SSH 公開キーを含むBase-64でエンコードされた文字列です。
P7BFILEこの証明書ストアは、証明書を含むPKCS7 ファイルの名前です。
PPKFILEこの証明書ストアは、PuTTY 秘密キー(PPK)を含むファイルの名前です。
XMLFILEこの証明書ストアは、XML 形式の証明書を含むファイルの名前です。
XMLBLOBこの証明書ストアは、XML 形式の証明書を含む文字列の名前です。
BCFKSFILEこの証明書ストアは、Bouncy Castle キーストアを含むファイルの名前です。
BCFKSBLOBこの証明書ストアは、Bouncy Castle キーストアを含む文字列(Base-64エンコード)です。

Elasticsearch Connector for CData Sync

SSLClientCertPassword

TLS/SSL クライアント証明書ストアにアクセスするために必要なパスワードを指定します。選択した証明書ストアの種類がアクセスにパスワードを必要とする場合、このプロパティを使用します。

解説

このプロパティは、パスワードで保護された証明書ストアを開くために必要なパスワードを指定します。 このプロパティは、PFX やJKS タイプのストアによく推奨されるように、復号化のためにパスワードを必要とする証明書ストアを使用する場合に必要です。

証明書ストアの種類がパスワードを必要としない場合(Windows のUSER やMACHINE など)、このプロパティは空白のままにできます。 認証エラーを回避するため、パスワードが指定された証明書ストアに関連付けられたものと一致していることを確認してください。

Elasticsearch Connector for CData Sync

SSLClientCertSubject

TLS/SSL クライアント証明書のサブジェクトを指定し、証明書ストアで場所を検索します。 CN=www.server.com, C=US のように、識別名フィールドのカンマ区切りのリストを使用します。ワイルドカード * は、ストアの先頭の証明書を選択します。

解説

このプロパティは、サブジェクトに基づいてロードするクライアント証明書を決定します。Sync App は、指定されたサブジェクトに完全に一致する証明書を検索します。 完全に一致するものが見つからない場合、Sync App はサブジェクトの値を含む証明書を検索します。 一致する証明書がない場合、証明書は選択されません。

サブジェクトは、識別名フィールドと値のカンマ区切りリストという標準の形式に従うべきです。 例えば、CN=www.server.com, OU=Test, C=US です。一般的なフィールドには以下のものが含まれます。

フィールド説明
CN共通名。一般的には、www.server.com のようなホスト名です。
O法人名
OU法人の部署名
L法人の住所(市町村名)
S法人の住所(都道府県)
C国名
EE メールアドレス

Note: フィールドにカンマなどの特殊文字が含まれている場合は、値を引用符で囲む必要があります。例:CN="Example, Inc.", C=US。

Elasticsearch Connector for CData Sync

SSLServerCert

TLS/SSL を使用して接続する際に、サーバーが受け入れ可能な証明書を指定します。

解説

TLS/SSL 接続を使用している場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。このプロパティに値を指定すると、マシンによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります:

説明 例
フルPEM 証明書(例では省略されています) -----BEGIN CERTIFICATE-----
MIIChTCCAe4CAQAwDQYJKoZIhv......Qw==
-----END CERTIFICATE-----
証明書を保有するローカルファイルへのパス。 C:\cert.cer
公開鍵(例では省略されています) -----BEGIN RSA PUBLIC KEY-----
MIGfMA0GCSq......AQAB
-----END RSA PUBLIC KEY-----
MD5 Thumbprint(hex 値はスペースまたはコロン区切り) ecadbdda5a1529c58a1e9e09828d70e4
SHA1 Thumbprint(hex 値はスペースまたはコロン区切り) 34a929226ae0819f2ec14b4a3d904f801cbb150d

Note:'*' を使用してすべての証明書を受け入れるように指定することも可能ですが、セキュリティ上の懸念があるため推奨されません。

Elasticsearch Connector for CData Sync

Firewall

このセクションでは、本プロバイダーの接続文字列で設定可能なFirewall プロパティの全リストを提供します。


プロパティ説明
FirewallTypeprovider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。
FirewallServerファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。
FirewallPortプロキシベースのファイアウォールで使用するTCP ポートを指定します。
FirewallUserプロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。
FirewallPasswordプロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。
Elasticsearch Connector for CData Sync

FirewallType

provider がプロキシベースのファイアウォールを介してトラフィックをトンネリングするために使用するプロトコルを指定します。

解説

プロキシベースのファイアウォール(またはプロキシファイアウォール)は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Note:デフォルトでは、Sync App はシステムプロキシに接続します。この動作を無効化し、次のプロキシタイプのいずれかに接続するには、ProxyAutoDetect をfalse に設定します。

次の表は、サポートされている各プロトコルのポート番号情報です。

プロトコル デフォルトポート 説明
TUNNEL 80 Sync App がElasticsearch への接続を開くポート。トラフィックはこの場所のプロキシを経由して行き来します。
SOCKS4 1080 Sync App がElasticsearch への接続を開くポート。SOCKS 4 は次にFirewallUser 値をプロキシに渡し、接続リクエストが許容されるかどうかを決定します。
SOCKS5 1080 Sync App がElasticsearch にデータを送信するポート。SOCKS 5 プロキシに認証が必要な場合には、FirewallUser およびFirewallPassword をプロキシが認識する認証情報に設定します。

HTTP プロキシへの接続には、ProxyServer およびProxyPort ポートを使ってください。HTTP プロキシへの認証には、ProxyAuthScheme、ProxyUser、およびProxyPassword を使ってください。

Elasticsearch Connector for CData Sync

FirewallServer

ファイアウォールを通過し、ユーザーのクエリをネットワークリソースに中継するために使用されるプロキシのIP アドレス、DNS 名、またはホスト名を識別します。

解説

プロキシベースのファイアウォール(またはプロキシファイアウォール)は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Elasticsearch Connector for CData Sync

FirewallPort

プロキシベースのファイアウォールで使用するTCP ポートを指定します。

解説

プロキシベースのファイアウォール(またはプロキシファイアウォール)は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Elasticsearch Connector for CData Sync

FirewallUser

プロキシベースのファイアウォールに認証するアカウントのユーザーID を識別します。

解説

プロキシベースのファイアウォール(またはプロキシファイアウォール)は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Elasticsearch Connector for CData Sync

FirewallPassword

プロキシベースのファイアウォールで認証するユーザーアカウントのパスワードを指定します。

解説

プロキシベースのファイアウォール(またはプロキシファイアウォール)は、ユーザーのリクエストとそれがアクセスするリソースの間に介在するネットワークセキュリティデバイスです。 プロキシは認証済みのユーザーのリクエストを受け取り、ファイアウォールを通過して適切なサーバーにリクエストを送信します。

プロキシは、リクエストを送信したユーザーに代わってデータバケットを評価し転送するため、ユーザーはサーバーに直接接続することなく、プロキシのみに接続します。

Elasticsearch Connector for CData Sync

Proxy

このセクションでは、本プロバイダーの接続文字列で設定可能なProxy プロパティの全リストを提供します。


プロパティ説明
ProxyAutoDetectprovider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。
ProxyServerHTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレスを指定します。
ProxyPortクライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバーのTCP ポートを指定します。
ProxyAuthSchemeProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。
ProxyUserProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名を提供します。
ProxyPasswordProxyUser 接続プロパティで指定されたユーザーのパスワードを指定します。
ProxySSLTypeProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプを指定します。
ProxyExceptionsProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリストを指定します。
Elasticsearch Connector for CData Sync

ProxyAutoDetect

provider が、手動で指定されたプロキシサーバーを使用するのではなく、既存のプロキシサーバー構成についてシステムプロキシ設定をチェックするかどうかを指定します。

解説

この接続プロパティをTrue に設定すると、Sync App は既存のプロキシサーバー構成についてシステムプロキシ設定をチェックします(プロキシサーバーの詳細を手動で入力する必要はありません)。

この接続プロパティは他のプロキシ設定より優先されます。特定のプロキシサーバーに接続するためにSync App を構成する場合は、ProxyAutoDetect をFalse に設定します。

HTTP プロキシへの接続には、ProxyServer を参照してください。SOCKS やトンネリングなどの他のプロキシには、FirewallType を参照してください。

Elasticsearch Connector for CData Sync

ProxyServer

HTTP トラフィックをルートするプロキシサーバーのホストネームもしくはIP アドレスを指定します。

解説

ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたプロキシサーバーを通じてのみHTTP トラフィックをルーティングします。

ProxyAutoDetect がTrue(デフォルト)に設定されている場合、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーを介してHTTP トラフィックをルーティングします。

Elasticsearch Connector for CData Sync

ProxyPort

クライアントとの間でHTTP トラフィックをルーティングするために予約された、指定されたプロキシサーバーのTCP ポートを指定します。

解説

ProxyAutoDetect がFalse に設定されている場合、Sync App はこの接続プロパティで指定されたProxyServer ポートを通じてのみHTTP トラフィックをルーティングします。

ProxyAutoDetect がTrue(デフォルト)に設定されている場合、Sync App は代わりにシステムプロキシ設定で指定されたプロキシサーバーポートを介してHTTP トラフィックをルーティングします。

その他のプロキシタイプについては、FirewallType を参照してください。

Elasticsearch Connector for CData Sync

ProxyAuthScheme

ProxyServer 接続プロパティで指定されたプロキシサーバーに対して認証する際にprovider が使用する認証方法を指定します。

解説

サポートされる認証の種類:

  • BASIC:Sync App はHTTP Basic 認証を行います。
  • DIGEST:Sync App はHTTP ダイジェスト認証を行います。
  • NTLM:Sync App はNTLM トークンを取得します。
  • NEGOTIATE: Sync App は認証において有効なプロトコルに応じて、NTLM もしくはKerberos トークンを取得します。
  • NONE:ProxyServer が認証を必要としないことを示します。

NONE 以外のすべての値については、ProxyUser およびProxyPassword 接続プロパティも設定する必要があります。

SOCKS 5 認証のような他の認証タイプを使用するには、FirewallType を参照してください。

Elasticsearch Connector for CData Sync

ProxyUser

ProxyServer 接続プロパティで指定されたプロキシサーバーに登録されているユーザーアカウントのユーザー名を提供します。

解説

ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。

ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。

ProxyAuthScheme の値 ProxyUser に設定する値
BASIC プロキシサーバーに登録されているユーザーのユーザー名。
DIGEST プロキシサーバーに登録されているユーザーのユーザー名。
NEGOTIATE プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。
NTLM プロキシサーバーが属するドメインまたは信頼されたドメイン内の有効なユーザーであるWindows ユーザーのユーザー名。user@domain またはdomain\user の形式で指定。
NONE ProxyPassword 接続プロパティは設定しないでください。

Note:Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このユーザー名を使用します。 ProxyAutoDetect がTrue(デフォルト)に設定されている場合、Sync App は代わりにシステムのプロキシ設定で指定されているユーザー名を使用します。

Elasticsearch Connector for CData Sync

ProxyPassword

ProxyUser 接続プロパティで指定されたユーザーのパスワードを指定します。

解説

ProxyUser および ProxyPassword 接続プロパティは、ProxyServer で指定されたHTTP プロキシに対して接続よび認証するために使用されます。

ProxyAuthScheme で利用可能な認証タイプを1つ選択した後、このプロパティを以下のように設定します。

ProxyAuthScheme の値 ProxyPassword に設定する値
BASIC ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。
DIGEST ProxyUser で指定したプロキシサーバーユーザーに紐付けられたパスワード。
NEGOTIATE ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。
NTLM ProxyUser で指定したWindows ユーザーアカウントに紐付けられたパスワード。
NONE ProxyPassword 接続プロパティは設定しないでください。

SOCKS 5 認証もしくは、トンネリングは、FirewallType を参照してください。

Note:Sync App は、ProxyAutoDetect がFalse に設定されている場合にのみ、このパスワードを使用します。 ProxyAutoDetect がTrue(デフォルト)に設定されている場合、Sync App は代わりにシステムのプロキシ設定で指定されているパスワードを使用します。

Elasticsearch Connector for CData Sync

ProxySSLType

ProxyServer 接続プロパティで指定されたプロキシサーバーに接続する際に使用するSSL タイプを指定します。

解説

このプロパティは、ProxyServer で指定されたHTTP プロキシへの接続にSSL を使用するかどうかを決定します。この接続プロパティには、以下の値を設定できます。

AUTOデフォルト設定。ProxyServer がHTTPS URL に設定されている場合、Sync App は、TUNNEL オプションを使用します。ProxyServer がHTTP URL に設定されている場合、コンポーネントはNEVER オプションを使用します。
ALWAYS接続は、常にSSL 有効となります。
NEVER接続は、SSL 有効になりません。
TUNNEL接続はトンネリングプロキシ経由で行われます。プロキシサーバーがリモートホストへの接続を開き、プロキシを経由して通信が行われます。

Elasticsearch Connector for CData Sync

ProxyExceptions

ProxyServer 接続プロパティで設定されたプロキシサーバー経由での接続が免除される宛先ホスト名またはIP のセミコロン区切りのリストを指定します。

解説

ProxyServer は、このプロパティで定義されたアドレスを除くすべてのアドレスに使用されます。セミコロンを使用してエントリを区切ります。

Note:Sync App はデフォルトでシステムプロキシ設定を使用するため、それ以上の設定は必要ありません。 この接続にプロキシ例外を明示的に設定する場合は、ProxyAutoDetect をFalse に設定します。

Elasticsearch Connector for CData Sync

Logging

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。


プロパティ説明
LogModulesログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。
Elasticsearch Connector for CData Sync

LogModules

ログファイルに含めるコアモジュールを指定します。セミコロンで区切られたモジュール名のリストを使用します。デフォルトでは、すべてのモジュールがログに記録されます。

解説

Sync App は、実行する各操作の詳細を Logfile 接続プロパティで指定されたログファイルに書き込みます。

ログに記録される各操作は、モジュールと呼ばれるカテゴリに分類されます。各モジュールには対応する短いコードがあり、個々の Sync App の操作がどのモジュールに属するかを示すラベルとして使用されます。

この接続プロパティにモジュールコードをセミコロン区切りのリストで設定すると、指定したモジュールに属する操作のみがログファイルに書き込まれます。この設定は今後のログ記録にのみ適用され、既存のログファイルの内容には影響しません。例: INFO;EXEC;SSL;META;

デフォルトでは、すべてのモジュールの操作がログに含まれます。

モジュールを明示的に除外するには、先頭に「-」を付けます。例: -HTTP

サブモジュールにフィルターを適用するには、<モジュール名>.<サブモジュール名> の構文で指定します。たとえば、次の値を設定すると、Sync App は HTTP モジュールに属するアクションのみをログに記録し、さらに HTTP モジュールの Res サブモジュールに属するアクションを除外します: HTTP;-HTTP.Res

Verbosity 接続プロパティによるログファイルのフィルタリングは、この接続プロパティによるフィルタリングよりも優先されます。そのため、Verbosity 接続プロパティで指定したレベルよりも高い詳細レベルの操作は、この接続プロパティで指定したモジュールに属していても、ログファイルには出力されません。

使用可能なモジュールとサブモジュールは次のとおりです。

モジュール名 モジュールの説明 サブモジュール
INFO 一般情報。接続文字列、製品バージョン(ビルド番号)、および初期接続メッセージが含まれます。
  • Connec — 接続の作成または破棄に関連する情報。
  • Messag — 接続、接続文字列、製品バージョンに関するメッセージの汎用ラベル。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。
EXEC クエリ実行。ユーザーが記述した SQL クエリ、解析済み SQL クエリ、正規化済み SQL クエリの実行メッセージが含まれます。クエリおよびクエリページの成功/失敗メッセージもここに表示されます。
  • Messag — クエリ実行に関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。
  • Normlz — クエリの正規化ステップ。クエリの正規化とは、ユーザーが送信したクエリを、最適なパフォーマンスで同じ結果を得られるように書き換える処理です。
  • Origin — ユーザーの元のクエリ(ユーザーが実行した正確で未変更の非正規化クエリ)を記録するメッセージに適用されるラベル。
  • Page — クエリのページングに関連するメッセージ。
  • Parsed — クエリの解析ステップ。解析とは、ユーザーが送信したクエリを、処理しやすい標準化された形式に変換するプロセスです。
HTTP HTTP プロトコルメッセージ。HTTP リクエスト/レスポンス(POST メッセージを含む)、および Kerberos 関連のメッセージが含まれます。
  • KERB — Kerberos に関連する HTTP リクエスト。
  • Messag — HTTP プロトコルに関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。
  • Unpack — サービス API から返された圧縮データを製品が解凍する際のメッセージに適用されるラベル。
  • Res — HTTP レスポンスを含むメッセージ。
  • Req — HTTP リクエストを含むメッセージ。
WSDL WSDL/XSD ファイルの生成に関するメッセージ。 —
SSL SSL 証明書メッセージ。
  • Certif — SSL 証明書に関するメッセージ。
AUTH 認証関連の失敗/成功メッセージ。
  • Messag — 認証に関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。
  • OAuth — OAuth 認証に関連するメッセージ。
  • Krbros — Kerberos 関連の認証メッセージ。
SQL SQL トランザクション、SQL 一括転送メッセージ、および SQL 結果セットメッセージが含まれます。
  • Bulk — 一括クエリ実行に関するメッセージ。
  • Cache — パフォーマンス向上のため、製品のキャッシュへの行データの読み書きに関連するメッセージ。
  • Messag — SQL トランザクションに関するメッセージ。これらのメッセージは通常、サービスから直接受信して転送されるものではなく、Sync App 固有のものです。
  • ResSet — クエリの結果セット。
  • Transc — 実行されたジョブ数やバックアップテーブルの処理に関する情報を含む、トランザクション処理に関連するメッセージ。
META メタデータキャッシュとスキーマメッセージ。
  • Cache — パフォーマンス向上のため、製品のキャッシュ内のカラムおよびテーブル定義の読み取りと変更に関連するメッセージ。
  • Schema — サービススキーマからのメタデータの取得またはサービススキーマの変更に関連するメッセージ。
  • MemSto — インメモリメタデータキャッシュへの書き込みまたは読み取りに関連するメッセージ。
  • Storag — メモリ内ではなく、ディスクまたは外部データストアへのメタデータの保存に関連するメッセージ。
FUNC SQL 関数の実行に関連する情報。
  • Errmsg — SQL 関数の実行に関連するエラーメッセージ。
TCP TCP トランスポートレイヤーメッセージでの送受信生バイト。
  • Send — TCP プロトコル経由で送信された生データ。
  • Receiv — TCP プロトコル経由で受信した生データ。
FTP File Transfer Protocol に関するメッセージ。
  • Info — FTP プロトコルでの通信に関連するステータスメッセージ。
  • Client — FTP 通信中に FTP クライアント(製品)が実行したアクションに関連するメッセージ。
  • Server — FTP 通信中に FTP サーバーが実行したアクションに関連するメッセージ。
SFTP Secure File Transfer Protocol に関するメッセージ。
  • Info — SFTP プロトコルでの通信に関連するステータスメッセージ。
  • To_Server — SFTP 通信中に SFTP クライアント(製品)が実行したアクションに関連するメッセージ。
  • From_Server — SFTP 通信中に SFTP サーバーが実行したアクションに関連するメッセージ。
POP Post Office Protocol 経由で転送されるデータに関するメッセージ。
  • Client — POP 通信中に POP クライアント(製品)が実行したアクションに関連するメッセージ。
  • Server — POP 通信中に POP サーバーが実行したアクションに関連するメッセージ。
  • Status — POP プロトコルでの通信に関連するステータスメッセージ。
SMTP Simple Mail Transfer Protocol 経由で転送されるデータに関するメッセージ。
  • Client — SMTP 通信中に SMTP クライアント(製品)が実行したアクションに関連するメッセージ。
  • Server — SMTP 通信中に SMTP サーバーが実行したアクションに関連するメッセージ。
  • Status — SMTP プロトコルでの通信に関連するステータスメッセージ。
CORE 他のモジュールでカバーされていない、さまざまな製品内部操作に関連するメッセージ。 —
DEMN SQL リモーティングに関連するメッセージ。 —
CLJB 一括データアップロード(クラウドジョブ)に関するメッセージ。
  • Commit — 一括データアップロードの送信。
SRCE 他のモジュールに属さない、製品が生成するその他のメッセージ。 —
TRANCE 低レベルの製品操作に関する高度なメッセージ。 —

Elasticsearch Connector for CData Sync

Schema

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。


プロパティ説明
Locationテーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。
BrowsableSchemasレポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。
Tablesレポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。
Viewsレポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。
FlattenObjectsフラット化されたオブジェクトとしてカラムを表示するか、オブジェクトプロパティをJSON 文字列として返すか。
FlattenArraysテーブルカラムとして返したいネストされた配列エレメントの数に FlattenArrays を設定します。デフォルトで、ネスト配列はJSON 文字列として返されます。
Elasticsearch Connector for CData Sync

Location

テーブル、ビュー、およびストアドプロシージャを定義するスキーマファイルを格納するディレクトリの場所を指定します。サービスの要件に応じて、これは絶対パスまたは相対パスのいずれかで表されます。

解説

Location プロパティは、定義をカスタマイズしたり(例えば、カラム名を変更する、カラムを無視するなど)、新しいテーブル、ビュー、またはストアドプロシージャでデータモデルを拡張する場合にのみ必要です。

指定しない場合、デフォルトの場所は%APPDATA%\\CData\\Elasticsearch Data Provider\\Schema となり、%APPDATA%はユーザーのコンフィギュレーションディレクトリに設定されます:

プラットフォーム %APPDATA%
Windows APPDATA 環境変数の値
Linux ~/.config

Elasticsearch Connector for CData Sync

BrowsableSchemas

レポートされるスキーマを利用可能なすべてのスキーマのサブセットに制限するオプション設定。例えば、 BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

解説

利用可能なデータベーススキーマをすべてリストすると余分な時間がかかり、パフォーマンスが低下します。 接続文字列にスキーマのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

Elasticsearch Connector for CData Sync

Tables

レポートされるテーブルを利用可能なすべてのテーブルのサブセットに制限するオプション設定。例えば、 Tables=TableA,TableB,TableC です。

解説

データベースによっては、利用可能なすべてのテーブルをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にテーブルのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

利用可能なテーブルがたくさんあり、すでに作業したいテーブルが決まっている場合、このプロパティを使用して対象のテーブルのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいテーブルを指定します。各テーブルは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space` です。

Note:複数のスキーマまたはカタログを持つデータソースに接続する場合は、表示する各テーブルを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するテーブルが混同されることを防ぎます。

Elasticsearch Connector for CData Sync

Views

レポートされたビューを使用可能なテーブルのサブセットに制限するオプション設定。例えば、 Views=ViewA,ViewB,ViewC です。

解説

データベースによっては、利用可能なすべてのビューをリストするのに時間がかかり、パフォーマンスが低下する場合があります。 接続文字列にビューのリストを指定することで、時間を節約しパフォーマンスを向上させることができます。

利用可能なビューがたくさんあり、すでに作業したいビューが決まっている場合、このプロパティを使用して対象のビューのみに表示を制限することができます。これを行うには、カンマ区切りのリストで使用したいビューを指定します。各ビューは、角かっこ、二重引用符、またはバッククオートを使用してエスケープされた特殊文字列を含む有効なSQL 識別子である必要があります。 例えば、Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space` です。

Note:複数のスキーマまたはカタログを持つデータソースに接続する場合は、確認する各ビューを完全修飾名で指定する必要があります。これにより、複数のカタログやスキーマに存在するビューが混同されることを防ぎます。

Elasticsearch Connector for CData Sync

FlattenObjects

フラット化されたオブジェクトとしてカラムを表示するか、オブジェクトプロパティをJSON 文字列として返すか。

解説

デフォルトで、配列にネストされたオブジェクトはJSON 文字列として返されます。FlattenObjects がtrue に設定されている場合、オブジェクトプロパティはそれぞれのカラムにフラット化されます。 プロパティ名は、カラム名を作り出すためにピリオド付きのオブジェクト名にコンカテネートされます。

例えば、次のネストされたオブジェクトをコネクションタイムでフラット化できます:

"manager": {
  "name": "Alice White",
  "age": 30
}
FlattenObjects がtrue に設定されている場合、オブジェクトは次のテーブルのようにフラット化されます:

カラム名カラム値
manager.nameAlice White
manager.age30

Elasticsearch Connector for CData Sync

FlattenArrays

テーブルカラムとして返したいネストされた配列エレメントの数に FlattenArrays を設定します。デフォルトで、ネスト配列はJSON 文字列として返されます。

解説

デフォルトで、ネスト配列はJSON 文字列として返されます。FlattenArrays プロパティはネスト配列のエレメントをフラット化してそれぞれのカラムとするために使われます。これは短い配列の場合にのみ推奨されます。

ネスト配列から返すエレメントの数にFlattenArrays を設定します。特定されたエレメントはカラムとして返されます。Zero-base のインデックスはカラム名にコンカテネートされます。他のエレメントは無視されます。

例えば、文字列の配列からエレメントのアービトラリー数を返すことができます。

"employees": [
  {
    "name": "John Smith",
    "age": 34
  },
  {
    "name": "Peter Brown",
    "age": 26
  },
  {
    "name": "Paul Jacobs",
    "age": 30
  }
]
FlattenArrays が2に設定されている場合、配列は次のテーブルのようにフラット化されます。

カラム名カラム値
employees.0.nameJohn Smith
employees.0.age34
employees.1.namePeter Brown
employees.1.age26

バインドされていない配列にJSON パスを使う場合は、JSON 関数 を参照してください。

Elasticsearch Connector for CData Sync

Miscellaneous

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。


プロパティ説明
AWSCertificateThe absolute path to the certificate file or the certificate content in PEM format encoded in base64.
AWSCertificatePasswordThe password for the certificate if applicable, otherwise leave blank.
AWSCertificateTypeThe type of AWSCertificate .
AWSPrivateKeyThe absolute path to the private key file or the private key content in PEM format encoded in base64.
AWSPrivateKeyPasswordThe password for the private key if it is encrypted, otherwise leave blank.
AWSPrivateKeyTypeThe type of AWSPrivateKey .
AWSProfileARNProfile to pull policies from.
AWSSessionDurationDuration, in seconds, for the resulting session.
AWSTrustAnchorARNTrust anchor to use for authentication.
ClientSideEvaluationSet ClientSideEvaluation to true to perform Evaluation client side on nested objects.
GenerateSchemaFilesスキーマを生成して保存するユーザーの好みのタイミングを示します。
MaxResultsデフォルトのSearch API 使用時にElasticsearch から返される結果の最大数。
MaxRows集計やGROUP BY を含まないクエリで返される最大行数を指定します。
Other特定の問題に対処するため、特殊なシナリオ向けの高度な接続プロパティを指定します。このプロパティは、サポートチームの指示がある場合にのみ使用してください。
PageSizeElasticsearch から返されるリクエストあたりの結果数。
PaginationModeSpecifies whether to use PIT with search_after or scrolls to page through query results.
PITDurationSpecifies the time unit to use for keep alive when retrieving results via PIT API.
PseudoColumnsテーブルカラムとして公開する擬似カラムを、'TableName=ColumnName;TableName=ColumnName' の形式の文字列で指定します。
QueryPassthroughこのオプションを使用すると、正確なクエリをElasticsearch に渡すことができます。
ReplaceInvalidUTF8CharsSpecifies whether to replace invalid UTF8 byte sequences found in reads of indexed document content with the U+FFFD replacement character.
RowScanDepthテーブルメタデータの生成時にスキャンする最大の行数。このプロパティを使って、provider がどのように配列を検出するかをより深くコントロールすることができます。
ScrollDurationSpecifies the time unit to use for keep alive when retrieving results via the Scroll API.
Timeoutprovider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。
UseFullyQualifiedNestedTableNameSet this to true to set the generated table name as the complete source path when flattening nested documents using Relational DataModel .
UserDefinedViewsカスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。
Elasticsearch Connector for CData Sync

AWSCertificate

The absolute path to the certificate file or the certificate content in PEM format encoded in base64.

解説

The absolute path to the certificate file or the certificate file content in PEM format encoded in base64, depending on the value of AWSCertificateType.

Elasticsearch Connector for CData Sync

AWSCertificatePassword

The password for the certificate if applicable, otherwise leave blank.

解説

The password for the certificate if applicable, otherwise leave blank.

Elasticsearch Connector for CData Sync

AWSCertificateType

The type of AWSCertificate .

解説

This property can take one of the following values:

PEM_FILEAbsolute path to a certificate file in PEM format.
PEM_BLOBA string (base64-encoded) representing a PEM-encoded certificate.

Elasticsearch Connector for CData Sync

AWSPrivateKey

The absolute path to the private key file or the private key content in PEM format encoded in base64.

解説

The absolute path to the private key file or the private key file content in PEM format encoded in base64, depending on the value of AWSPrivateKeyType.

Elasticsearch Connector for CData Sync

AWSPrivateKeyPassword

The password for the private key if it is encrypted, otherwise leave blank.

解説

The password for the private key if it is encrypted, otherwise leave blank.

Elasticsearch Connector for CData Sync

AWSPrivateKeyType

The type of AWSPrivateKey .

解説

This property can take one of the following values:

PEM_FILEAbsolute path to a private key file in PEM format.
PEM_BLOBA string (base64-encoded) representing a PEM-encoded private key.

Elasticsearch Connector for CData Sync

AWSProfileARN

Profile to pull policies from.

解説

Profile to pull policies from.

Elasticsearch Connector for CData Sync

AWSSessionDuration

Duration, in seconds, for the resulting session.

解説

Duration, in seconds, for the resulting session. Default: 3600 seconds.

Elasticsearch Connector for CData Sync

AWSTrustAnchorARN

Trust anchor to use for authentication.

解説

Trust anchor to use for authentication.

Elasticsearch Connector for CData Sync

ClientSideEvaluation

Set ClientSideEvaluation to true to perform Evaluation client side on nested objects.

解説

Set ClientSideEvaluation to true to perform Evaluation (GROUP BY, filtering) client side on nested objects.

For example, with ClientSideEvaluation set to false(default value), GROUP BY on nested object 'property.0.name' would be grouped as 'property.*.name', while if set to true, results would be grouped as 'property.0.name'.

Similarly, with ClientSideEvaluation set to false(default value), filtering on nested object 'property.0.name' would be filtered as 'property.*.name', while if set to true, results would be filtered as 'property.0.name'.

This would affect performance as query is evaluated client side.

Elasticsearch Connector for CData Sync

GenerateSchemaFiles

スキーマを生成して保存するユーザーの好みのタイミングを示します。

解説

このプロパティは、Location で指定されたパスの.rsd ファイルにスキーマをアウトプットします。

有効な設定は次のとおりです。

  • Never:スキーマファイルは生成されません。
  • OnUse:スキーマファイルがまだ存在していない場合に、初めてテーブルが参照されるときにスキーマファイルが生成されます。
  • OnStart:現在スキーマファイルを持たないあらゆるテーブルに対して、接続時にスキーマファイルが生成されます。
  • OnCreate:CREATE TABLE SQL クエリを実行すると、スキーマファイルが生成されます。
ファイルを再生成したい場合には、既存のファイルを削除する必要があることに注意してください。

SQL でスキーマを生成する

GenerateSchemaFiles をOnUse に設定すると、Sync App はSELECT クエリを実行したときにスキーマを生成します。スキーマはクエリのそれぞれの参照されたテーブルに対して生成されます。

GenerateSchemaFiles をOnCreate に設定すると、CREATE TABLE クエリが実行されたときにのみスキーマが生成されます。

接続時にスキーマを生成する

このプロパティのもう一つの使い方は、接続するときにデータベース内のすべてのテーブルのスキーマを取得することです。これには、GenerateSchemaFiles をOnStart に設定して接続します。

Elasticsearch Connector for CData Sync

MaxResults

デフォルトのSearch API 使用時にElasticsearch から返される結果の最大数。

解説

このプロパティはElasticsearch に対応します。 index.max_result_window index setting.デフォルト値は、Elasticsearch のデフォルトリミットである10000 です。

この値は、Scroll API 使用時には適用されません。本API を使用するためにScrollDuration を設定。

クエリでLIMIT が指定されている場合、LIMIT はMaxResults よりも小さい場合に有効です。そうでない場合、返される結果数はMaxResults 値に制限されます。

結果ウィンドウが大きすぎるというエラーを受け取った場合には、Elasticsearch の設定よりも大きいMaxResults 値によるものです。 index.max_result_window index setting. MaxResults 値をindex.max_result_window index setting に合わせて変更するか、ScrollDuration を設定してScroll API を使用します。

Elasticsearch Connector for CData Sync

MaxRows

集計やGROUP BY を含まないクエリで返される最大行数を指定します。

解説

このプロパティのデフォルト値である-1 は、クエリに明示的にLIMIT 句が含まれていない限り、行の制限が適用されないことを意味します。 (クエリにLIMIT 句が含まれている場合、クエリで指定された値がMaxRows 設定よりも優先されます。)

MaxRows を0より大きい整数に設定することで、クエリがデフォルトで過度に大きな結果セットを返さないようにします。

このプロパティは、非常に大きなデータセットを返す可能性のあるクエリを実行する際に、パフォーマンスを最適化し、過剰なリソース消費を防ぐのに役立ちます。

Elasticsearch Connector for CData Sync

Other

特定の問題に対処するため、特殊なシナリオ向けの高度な接続プロパティを指定します。このプロパティは、サポートチームの指示がある場合にのみ使用してください。

解説

このプロパティにより、シニアユーザーはサポートチームのアドバイスに基づいて、特定の状況に対応する隠しプロパティを設定できます。 これらの設定は通常のユースケースには必要ありませんが、特定の要件に対応したり、追加の機能を提供したりすることができます。 複数のプロパティを定義するには、セミコロンで区切られたリストを使用します。

Note:特定のシナリオや問題に対処するためにサポートチームから助言があった場合にのみ、これらのプロパティを設定することを強く推奨します。

統合およびフォーマット

プロパティ説明
DefaultColumnSizeデータソースがメタデータにカラムの長さを提供しない場合に、文字列フィールドのデフォルトの長さを設定します。デフォルト値は2000です。
ConvertDateTimeToGMT=True日時の値を、マシンのローカルタイムではなくGMT グリニッジ標準時に変換します。デフォルト値はFalse(ローカルタイムを使用)です。
RecordToFile=filename基底のソケットデータ転送を指定のファイルに記録します。

Elasticsearch Connector for CData Sync

PageSize

Elasticsearch から返されるリクエストあたりの結果数。

解説

PageSize は、クエリに対してElasticsearch からのリクエストあたりの受け取られる結果の数をコントロールできます。

デフォルト値は10000 です。これはElasticsearch のデフォルト制限をベースにしています(Elasticsearch の index.max_result_window index setting)。

Elasticsearch Connector for CData Sync

PaginationMode

Specifies whether to use PIT with search_after or scrolls to page through query results.

解説

PIT with search_after can only be used with Elasticsearch 7.10+ or OpenSearch 2.4.0+.

Elasticsearch Connector for CData Sync

PITDuration

Specifies the time unit to use for keep alive when retrieving results via PIT API.

解説

When a nonzero value is specified alongside setting PaginationMode to 'PIT', the PIT API will be used.

The time unit specified will be sent in each request made to Elasticsearch to specify how long the server should keep the PIT search context alive. The value specified only needs to be long enough to process the previous batch of results (not to process all the data). This is because the PITDuration value will be sent in each request, which will extend the context time.

Once all the results have been retrieved, the search context will be cleared.

The format for this value is: [integer][time unit]. For example: 1m = 1 minute.

Setting this property and ScrollDuration to '0' will cause the default Search API to be used. In such a case, the maximum number of results that can be returned are equal to MaxResults.

Supported Time Units:

Value Description
y Year
M Month
w Week
d Day
h Hour
m Minute
s Second
ms Milli-second

Elasticsearch Connector for CData Sync

PseudoColumns

テーブルカラムとして公開する擬似カラムを、'TableName=ColumnName;TableName=ColumnName' の形式の文字列で指定します。

解説

このプロパティを使用すると、Sync App がテーブルカラムとして公開する擬似カラムを定義できます。

個々の擬似カラムを指定するには、以下の形式を使用します。

Table1=Column1;Table1=Column2;Table2=Column3

すべてのテーブルのすべての擬似カラムを含めるには、次を使用してください:

*=*

Elasticsearch Connector for CData Sync

QueryPassthrough

このオプションを使用すると、正確なクエリをElasticsearch に渡すことができます。

解説

このプロパティをTrue に設定することで、Sync App がElasticsearch クエリを as-is でElasticsearch に渡すことができます。There are two options for submitting as-is queries to Elasticsearch:SQL and Search DSL.

SQL API

Elasticsearch version 6.3 and above supports a SQL API endpoint. When set to true, this option allows you to pass SQL queries directly to the Elasticsearch SQL API. Columns will be identified based on the metadata returned in the response.

Supported SQL syntax and commands can be found in the Elasticsearch documentation.

Note:SQL functionality is limited to what is supported by Elasticsearch.

Search DSL

Alternatively, queries can be submitted using Elasticsearch's Search DSL language, which includes Query DSL. This functionality is available in all versions of Elasticsearch.

サポートされるクエリ構文は次で説明されるクエリパススルー構文を使ったJSON です。

JSON パススルークエリ構文では、以下のエレメントがサポートされます:

エレメント名 関数
index クエリするElasticsearch インデックス(もしくはスキーマ)。これは、文字列値を取るJSON エレメントです。
type index内のクエリするElasticsearch タイプ(もしくはテーブル)。これは、文字列値を取るJSON エレメントです。
docid index.type内のクエリするドキュメントのId。これは、文字列値を取るJSON エレメントです。
apiendpoint クエリするElasticsearch API エンドポイント。デフォルト値は'_search' です。これは、文字列値を取るJSON エレメントです。
requestdata そのままのElasticsearch DSL でElasticsearch にas is で渡されます。値はJSON オブジェクトで直接Elasticsearch により要求される形式にマップされます。

index、type、docid、およびapiendpointはrequestdata が送信されるURL を生成するために使われます。 URL は次の形式を使って生成されます: [Server]:[Port]/[index]/[type]/[docid]/[apiendpoint]。JSON パススルーエレメントのどれかが指定されていない場合は、URL には追加されません。

以下に、パススルークエリの例を示します。この例では、megacorp.employee でlast_name に'smith' を含むものから初めの10のドキュメントを取得します。結果はfirst_name の降順で並べられます。

{ 
  "index": "megacorp", 
  "type": "employee", 
  "requestdata": 
  {
    "from": 0,
    "size": 10,
    "query": {"bool":{"must":{"term":{"last_name":"smith"}}}},
    "sort": {"first_name":{"order":"desc"}}
  }
}

QueryPassthrough を使う場合、metadata はレスポンスで返されたデータによって決まります。RowScanDepth はmetadata (カラムおよびタイプ)を判断するためにスキャンされるレコードの量を規定します。 Metadata がレスポンスデータに依存するため、パススルークエリは、SQL 構文を使って実行された類似のクエリとは異なる結果を表示することがあります。

Elasticsearch Connector for CData Sync

ReplaceInvalidUTF8Chars

Specifies whether to replace invalid UTF8 byte sequences found in reads of indexed document content with the U+FFFD replacement character.

解説

Specifies whether to replace invalid UTF8 byte sequences found in reads of indexed document content with the U+FFFD replacement character.

Elasticsearch Connector for CData Sync

RowScanDepth

テーブルメタデータの生成時にスキャンする最大の行数。このプロパティを使って、provider がどのように配列を検出するかをより深くコントロールすることができます。

解説

このプロパティはテーブルメタデータの生成時にデータ内の配列を特定する場合に使われます。Elasticsearch はどんなフィールドも配列とすることができ、マッピングデータにおいてどのフィールドが配列であるかを特定しません。 これにより、RowScanDepth 列がクエリ、およびスキャンされ、配列を含むフィールドの有無を判断します。

QueryPassthrough がtrue に設定されている場合、テーブル内のカラムはリクエストで返されたデータをスキャンすることで判断されなければなりません。 この値はテーブルメタデータを判断するためにスキャンされる行数の最大値を設定します。デフォルト値は100です。

設定値が高い場合にはパフォーマンスが低下します。小さい値を設定すると、特にnull データがある場合やスキャンしたドキュメントが非常にヘテロジニアスな場合、データ型を正しく判定できない場合があります。

Elasticsearch Connector for CData Sync

ScrollDuration

Specifies the time unit to use for keep alive when retrieving results via the Scroll API.

解説

When a nonzero value is specified, the Scroll API will be used.

The time unit specified will be sent in each request made to Elasticsearch to specify how long the server should keep the Scroll search context alive. The value specified only needs to be long enough to process the previous batch of results (not to process all the data). This is because the ScrollDuration value will be sent in each request, which will extend the context time.

Once all the results have been retrieved, the search context will be cleared.

The format for this value is: [integer][time unit]. For example: 1m = 1 minute.

Setting this property and PITDuration to '0' will cause the default Search API to be used. In such a case, the maximum number of results that can be returned are equal to MaxResults.

Supported Time Units:

Value Description
y Year
M Month
w Week
d Day
h Hour
m Minute
s Second
ms Milli-second

Elasticsearch Connector for CData Sync

Timeout

provider がタイムアウトエラーを返すまでにサーバーからの応答を待機する最大時間を秒単位で指定します。

解説

タイムアウトは、クエリや操作全体ではなくサーバーとの個々の通信に適用されます。 例えば、各ページング呼び出しがタイムアウト制限内に完了する場合、クエリは60秒を超えて実行を続けることができます。

タイムアウトはデフォルトで60秒に設定されています。タイムアウトを無効にするには、このプロパティを0に設定します。

タイムアウトを無効にすると、操作が成功するか、サーバー側のタイムアウト、ネットワークの中断、またはサーバーのリソース制限などの他の条件で失敗するまで無期限に実行されます。

Note: このプロパティは慎重に使用してください。長時間実行される操作がパフォーマンスを低下させたり、応答しなくなる可能性があるためです。

Elasticsearch Connector for CData Sync

UseFullyQualifiedNestedTableName

Set this to true to set the generated table name as the complete source path when flattening nested documents using Relational DataModel .

解説

Set this to true to set the generated table name as the complete source path when flattening nested documents using Relational DataModel.

Elasticsearch Connector for CData Sync

UserDefinedViews

カスタムビューを定義するJSON 構成ファイルへのファイルパスを指定します。provider は、このファイルで指定されたビューを自動的に検出して使用します。

解説

UserDefinedViews を使用すると、UserDefinedViews.json というJSON 形式の構成ファイルを通じてカスタムビューを定義および管理できます。 これらのビューはSync App によって自動的に認識され、標準のデータベースビューのようにカスタムSQL クエリを実行できるようになります。 JSON ファイルは、各ビューをルート要素として定義し、その子要素として"query" を持ちます。この"query" にはビューのSQL クエリが含まれています。

次に例を示します。

{
	"MyView": {
		"query": "SELECT * FROM [CData].[Elasticsearch].Employee WHERE MyColumn = 'value'"
	},
	"MyView2": {
		"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
	}
}

このプロパティを使用して、1つのファイルに複数のビューを定義し、ファイルパスを指定できます。 次に例を示します。

UserDefinedViews=C:\Path\To\UserDefinedViews.json
UserDefinedViews でビューを指定すると、Sync App はそのビューだけを参照します。

詳しくは、ユーザー定義ビュー を参照してください。

Elasticsearch Connector for CData Sync

Third Party Copyrights

LZMA from 7Zip LZMA SDK

LZMA SDK is placed in the public domain.

Anyone is free to copy, modify, publish, use, compile, sell, or distribute the original LZMA SDK code, either in source code form or as a compiled binary, for any purpose, commercial or non-commercial, and by any means.

LZMA2 from XZ SDK

Version 1.9 and older are in the public domain.

Xamarin.Forms

Xamarin SDK

The MIT License (MIT)

Copyright (c) .NET Foundation Contributors

All rights reserved.

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

NSIS 3.10

Copyright (C) 1999-2025 Contributors THE ACCOMPANYING PROGRAM IS PROVIDED UNDER THE TERMS OF THIS COMMON PUBLIC LICENSE ("AGREEMENT"). ANY USE, REPRODUCTION OR DISTRIBUTION OF THE PROGRAM CONSTITUTES RECIPIENT'S ACCEPTANCE OF THIS AGREEMENT.

1. DEFINITIONS

"Contribution" means:

a) in the case of the initial Contributor, the initial code and documentation distributed under this Agreement, and b) in the case of each subsequent Contributor:

i) changes to the Program, and

ii) additions to the Program;

where such changes and/or additions to the Program originate from and are distributed by that particular Contributor. A Contribution 'originates' from a Contributor if it was added to the Program by such Contributor itself or anyone acting on such Contributor's behalf. Contributions do not include additions to the Program which: (i) are separate modules of software distributed in conjunction with the Program under their own license agreement, and (ii) are not derivative works of the Program.

"Contributor" means any person or entity that distributes the Program.

"Licensed Patents " mean patent claims licensable by a Contributor which are necessarily infringed by the use or sale of its Contribution alone or when combined with the Program.

"Program" means the Contributions distributed in accordance with this Agreement.

"Recipient" means anyone who receives the Program under this Agreement, including all Contributors.

2. GRANT OF RIGHTS

a) Subject to the terms of this Agreement, each Contributor hereby grants Recipient a non-exclusive, worldwide, royalty-free copyright license to reproduce, prepare derivative works of, publicly display, publicly perform, distribute and sublicense the Contribution of such Contributor, if any, and such derivative works, in source code and object code form.

b) Subject to the terms of this Agreement, each Contributor hereby grants Recipient a non-exclusive, worldwide, royalty-free patent license under Licensed Patents to make, use, sell, offer to sell, import and otherwise transfer the Contribution of such Contributor, if any, in source code and object code form. This patent license shall apply to the combination of the Contribution and the Program if, at the time the Contribution is added by the Contributor, such addition of the Contribution causes such combination to be covered by the Licensed Patents. The patent license shall not apply to any other combinations which include the Contribution. No hardware per se is licensed hereunder.

c) Recipient understands that although each Contributor grants the licenses to its Contributions set forth herein, no assurances are provided by any Contributor that the Program does not infringe the patent or other intellectual property rights of any other entity. Each Contributor disclaims any liability to Recipient for claims brought by any other entity based on infringement of intellectual property rights or otherwise. As a condition to exercising the rights and licenses granted hereunder, each Recipient hereby assumes sole responsibility to secure any other intellectual property rights needed, if any. For example, if a third party patent license is required to allow Recipient to distribute the Program, it is Recipient's responsibility to acquire that license before distributing the Program.

d) Each Contributor represents that to its knowledge it has sufficient copyright rights in its Contribution, if any, to grant the copyright license set forth in this Agreement.

3. REQUIREMENTS

A Contributor may choose to distribute the Program in object code form under its own license agreement, provided that:

a) it complies with the terms and conditions of this Agreement; and

b) its license agreement:

i) effectively disclaims on behalf of all Contributors all warranties and conditions, express and implied, including warranties or conditions of title and non-infringement, and implied warranties or conditions of merchantability and fitness for a particular purpose;

ii) effectively excludes on behalf of all Contributors all liability for damages, including direct, indirect, special, incidental and consequential damages, such as lost profits;

iii) states that any provisions which differ from this Agreement are offered by that Contributor alone and not by any other party; and

iv) states that source code for the Program is available from such Contributor, and informs licensees how to obtain it in a reasonable manner on or through a medium customarily used for software exchange.

When the Program is made available in source code form:

a) it must be made available under this Agreement; and

b) a copy of this Agreement must be included with each copy of the Program.

Contributors may not remove or alter any copyright notices contained within the Program.

Each Contributor must identify itself as the originator of its Contribution, if any, in a manner that reasonably allows subsequent Recipients to identify the originator of the Contribution.

4. COMMERCIAL DISTRIBUTION

Commercial distributors of software may accept certain responsibilities with respect to end users, business partners and the like. While this license is intended to facilitate the commercial use of the Program, the Contributor who includes the Program in a commercial product offering should do so in a manner which does not create potential liability for other Contributors. Therefore, if a Contributor includes the Program in a commercial product offering, such Contributor ("Commercial Contributor") hereby agrees to defend and indemnify every other Contributor ("Indemnified Contributor") against any losses, damages and costs (collectively "Losses") arising from claims, lawsuits and other legal actions brought by a third party against the Indemnified Contributor to the extent caused by the acts or omissions of such Commercial Contributor in connection with its distribution of the Program in a commercial product offering. The obligations in this section do not apply to any claims or Losses relating to any actual or alleged intellectual property infringement. In order to qualify, an Indemnified Contributor must: a) promptly notify the Commercial Contributor in writing of such claim, and b) allow the Commercial Contributor to control, and cooperate with the Commercial Contributor in, the defense and any related settlement negotiations. The Indemnified Contributor may participate in any such claim at its own expense.

For example, a Contributor might include the Program in a commercial product offering, Product X. That Contributor is then a Commercial Contributor. If that Commercial Contributor then makes performance claims, or offers warranties related to Product X, those performance claims and warranties are such Commercial Contributor's responsibility alone. Under this section, the Commercial Contributor would have to defend claims against the other Contributors related to those performance claims and warranties, and if a court requires any other Contributor to pay any damages as a result, the Commercial Contributor must pay those damages.

5. NO WARRANTY

EXCEPT AS EXPRESSLY SET FORTH IN THIS AGREEMENT, THE PROGRAM IS PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, EITHER EXPRESS OR IMPLIED INCLUDING, WITHOUT LIMITATION, ANY WARRANTIES OR CONDITIONS OF TITLE, NON-INFRINGEMENT, MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Each Recipient is solely responsible for determining the appropriateness of using and distributing the Program and assumes all risks associated with its exercise of rights under this Agreement, including but not limited to the risks and costs of program errors, compliance with applicable laws, damage to or loss of data, programs or equipment, and unavailability or interruption of operations.

6. DISCLAIMER OF LIABILITY

EXCEPT AS EXPRESSLY SET FORTH IN THIS AGREEMENT, NEITHER RECIPIENT NOR ANY CONTRIBUTORS SHALL HAVE ANY LIABILITY FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING WITHOUT LIMITATION LOST PROFITS), HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OR DISTRIBUTION OF THE PROGRAM OR THE EXERCISE OF ANY RIGHTS GRANTED HEREUNDER, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGES.

7. GENERAL

If any provision of this Agreement is invalid or unenforceable under applicable law, it shall not affect the validity or enforceability of the remainder of the terms of this Agreement, and without further action by the parties hereto, such provision shall be reformed to the minimum extent necessary to make such provision valid and enforceable.

If Recipient institutes patent litigation against a Contributor with respect to a patent applicable to software (including a cross-claim or counterclaim in a lawsuit), then any patent licenses granted by that Contributor to such Recipient under this Agreement shall terminate as of the date such litigation is filed. In addition, if Recipient institutes patent litigation against any entity (including a cross-claim or counterclaim in a lawsuit) alleging that the Program itself (excluding combinations of the Program with other software or hardware) infringes such Recipient's patent(s), then such Recipient's rights granted under Section 2(b) shall terminate as of the date such litigation is filed.

All Recipient's rights under this Agreement shall terminate if it fails to comply with any of the material terms or conditions of this Agreement and does not cure such failure in a reasonable period of time after becoming aware of such noncompliance. If all Recipient's rights under this Agreement terminate, Recipient agrees to cease use and distribution of the Program as soon as reasonably practicable. However, Recipient's obligations under this Agreement and any licenses granted by Recipient relating to the Program shall continue and survive.

Everyone is permitted to copy and distribute copies of this Agreement, but in order to avoid inconsistency the Agreement is copyrighted and may only be modified in the following manner. The Agreement Steward reserves the right to publish new versions (including revisions) of this Agreement from time to time. No one other than the Agreement Steward has the right to modify this Agreement. IBM is the initial Agreement Steward. IBM may assign the responsibility to serve as the Agreement Steward to a suitable separate entity. Each new version of the Agreement will be given a distinguishing version number. The Program (including Contributions) may always be distributed subject to the version of the Agreement under which it was received. In addition, after a new version of the Agreement is published, Contributor may elect to distribute the Program (including its Contributions) under the new version. Except as expressly stated in Sections 2(a) and 2(b) above, Recipient receives no rights or licenses to the intellectual property of any Contributor under this Agreement, whether expressly, by implication, estoppel or otherwise. All rights in the Program not expressly granted under this Agreement are reserved.

This Agreement is governed by the laws of the State of New York and the intellectual property laws of the United States of America. No party to this Agreement will bring a legal action under this Agreement more than one year after the cause of action arose. Each party waives its rights to a jury trial in any resulting litigation.

Copyright (c) 2026 CData Software, Inc. - All rights reserved.
Build 25.0.9540