Search

リバースETL

Version 24.3.9121

リバースETL

従来のETL（抽出、変換、ロード）処理は、分析およびレポーティング用にソースシステムから集中データストアにデータをコピーします。リバースETL はその逆で、中央リポジトリから運用システムにデータを戻します。リバースETL は、データ分析の結果を使って業務プロセスを改善し、カスタマーエクスペリエンスを向上し、意思決定を促進します。

リバースETL の基本的なプロセスは次のとおりです。

  • 分析目的でデータが集計および変換された中央データウェアハウスやデータレイクから、データを抽出します。

  • 抽出したデータを、システムでの利用に適した形に変換します。変換には、データの再フォーマット、フィルタリング、エンハンスが含まれます。

  • 変換されたデータを、さまざまな目的（レコードの更新やワークフローのトリガーなど）に使用可能な運用データベース、アプリケーション、またはその他のシステムにロードします。

CData Sync では、以下のデータソースでリバースETL 機能がサポートされています。

Note：リバースETL 機能に使用できるソースデータベースは、デルタスナップショットレプリケーションタイプが実装されているデータベース（つまり、SQL EXCEPT ステートメントを許容するソースデータベース）に制限されます。

Sync では、この機能はSalesforce とMicrosoft Dynamics 365 同期先でのみサポートされます（これらの同期先で使用できるレプリケーションの種類はリバースETL だけです）。

リバースETL 処理について

リバースETL は、データウェアハウスに変更をクエリし、そのクエリの結果を同期先に書き込むことで機能します。リバースETL ジョブを初めて実行すると、アプリケーションはデータウェアハウスのソーステーブルの初期スナップショットを作成し、その結果を同期先にロードします。以降の実行では、CData Sync が新しいスナップショットを作成し、前回のスナップショットと比較して変更を取り込みます。その後、これらの変更が同期先にロードされます。

デルタスナップショット機能を使用して、Sync は正しく挿入あるいは更新されない行を記録するエラーテーブルを保持し、行レベルで個々のエラーを確認できるようにします。この機能は、前回のスナップショットで失敗した行もクリーンアップします。

リバースETL を使用すると、データの転送方法を3つのモードから選択できます。

  • Insert - データソースに新しいレコードを挿入する場合は、このモードを選択します。Insert モードでは、ソーステーブルに一意のプライマリキーが必要です。新しいスナップショットを作成するたびに、そのキーによってCData Sync は新しい識別子（Id）を挿入していることを確認することができます。

  • Upsert - データソースの既存のレコードを更新し、新しいレコードを挿入する場合は、このモードを選択します。Upsert モードでは、ソーステーブルから同期先テーブルにレコードを一致させるキーを定義する必要があります。キーの種類は次のいずれかである必要があります：

    • 外部ID。これにより、Sync はSalesforce のUpsert API を使用してパフォーマンスを向上させることができます。Sync は、Salesforce テーブルで定義されている外部ID のリストを生成し、そのリストからID を選択できます。

    • 代替キー。これにより、Sync とMicrosoft Dynamics 365 間のデータ移動が容易になります。代替キーを作成すると、リバースETL ジョブのカラムマッピングタブで利用可能になります。

  • Update - データソースの既存のレコードを更新する場合は、このモードを選択します。Update モードは、Salesforce ID またはMicrosoft Dynamics 365 代替キーを使用してソーステーブルと同期先テーブルのレコードを一致させます。Salesforce ID またはDynamics 365 代替キーにマッピングするソースカラムを選択する必要があります。

リバースETL ジョブの作成

リバースETL ジョブを作成するには、ジョブパラメータを定義し、次に必須カラムとオプションカラム、および必要なキーを以下のようにマッピングする必要があります。

  1. ジョブ > ジョブを追加 > 新しいジョブを追加を選択します。この手順により、ジョブを追加ダイアログボックスが開きます。

  2. ジョブ名を入力します。

  3. まず同期先（Salesforce またはMicrosoft Dynamics 365）を選択します。次に、この例に示すようにデータソースを選択します。

    データソースおよび同期先を入力すると、ジョブを追加ダイアログボックスが展開し、上で示すように種類セクションと転送モードセクションが表示されます。種類セクションは、ジョブがリバースETL であることを示し、転送モードセクションでは、実行するデータ転送の種類を選択できます。転送モードについて詳しくは、リバースETL 処理についてを参照してください。

  4. 次へをクリックします。

  5. テーブルを設定ダイアログボックスで、スキーマ、データソーステーブル、および同期先テーブルを選択します。

  6. 次へをクリックします。

  7. マッピングを設定ダイアログボックスで、次のようにカラムとキーを設定します。

    1. キーを選びます（Upsert およびUpdateモードの場合のみ）。

    2. 必須カラムをマッピングします。

    3. 必要なカラムを追加します。

  8. ジョブを追加をクリックして、新しいジョブを作成します。ジョブが作成されると、以下に示すように、Sync のカラムマッピングタブにテーブルマッピングが表示されます。

ジョブ作成後は、次のセクションで説明するとおりジョブを管理できます。

ジョブの管理

リバースETL ジョブを追加したら、Sync のほかのジョブと同様に、ジョブページから実行および管理することができます。アプリケーションでジョブをクリックすると、Sync は標準タブ（概要、カラムマッピング、ジョブ履歴、イベント、高度な設定）を含むジョブページを開きます。次のセクションでは、概要タブ、カラムマッピングタブ、および高度な設定タブで、リバースETL ジョブの設定とマッピングを管理する方法について説明します。

Job の概要

ジョブの概要タブは、ジョブの種類や転送モードなど、設定の概要を表示します。以下の例は、ジョブの種類がリバースETL、転送モードがInsertMode です。

設定を編集するには、編集ボタンをクリックします。設定を編集ダイアログボックスで行うことができる唯一の変更は、ログファイルに対して異なる詳細レベルを選択することです。

カラムマッピング

先述したように、新しいジョブを追加すると、Sync は自動的にカラムマッピングタブを開きます。このページには、必須カラムとオプションカラムの両方に関する、データソースとSalesforce 同期先間のマッピングが表示されます。さらに、このページにはInsert モードのキーのマッピングが表示されます。

マッピングとテーブルの両方を編集できます。

マッピングを編集するには：

  1. 編集 > マッピングを編集を選択します。

  2. 新しいカラムを追加するか、必要なカラムとキーを変更します。

  3. 保存をクリックして変更を保存し、カラムマッピングページに戻ります。

ソーステーブルまたは同期先テーブルを編集するには：

  1. 編集 > テーブルを編集を選択します。これにより、テーブルを編集ダイアログボックスに戻ります。

  2. ソーステーブルまたは同期先テーブルを更新します。例えば、同期先とデータソースの両方でUser を選択します。次へをクリックします。

  3. マッピングを編集ダイアログボックスで、ジョブのカラムマッピングを再構築します。

  4. 保存をクリックして変更を保存し、カラムマッピングページに戻ります。

高度な設定オプション

高度な設定タブには、ジョブの高度なレプリケーションオプションが含まれています。現在、リバースETL ジョブでは、タブにはReset Strategy というオプションが1つ含まれています。Sync は、主キーを使用してテーブル内の行がいつ追加、変更、削除されたかを識別します。リバースETL ジョブでは、Reset Strategy レプリケーションオプションは、クエリでキーが変更された状況をどのように管理するかを定義します。

このオプションには2つの設定があります：

  • Full Reset：この設定を使用すると、Sync は、以前に複製された行を含むソーステーブルの完全な複製でスナップショットテーブルを置き換えます。重複エントリを作成する可能性があるため、Insert モードでこのオプションを使用することは避けてください。

  • Sparse Reset：この設定では、Sync は既存の行を変更したりエントリを複製したりせずに、スキーマの変更に合わせてスナップショットテーブルを更新します。そのため、Sparse Reset はInsert モードでの使用に適したオプションです。