In-Flight (ETL)


In-Flight (ETL)


ETL とは?

ETL とは、同期先への移行前にデータを移動して、”in-flight”(処理の途中で)変換するデータ抽出の手法です。ETL は次の3つの手順から命名されています。Extract(抽出)、Transform(変換)、Load(ロード)です。これまで、ETL はデータを移動、変換する上で最も人気のある手法でした。データベースストレージの限界のため、変換処理の前にデータ全体を移動することができなかったのです。データストレージの大幅な増大とクラウドコンピューティングの隆盛で、データ転送と変換の手法としては、徐々ELT(Extract(抽出)、Load(ロード)、Transform(変換))の人気がETL を上回りつつあります。それでも、同期先に転送する前にデータを加工しておきたい状況は存在します。CData Sync ではこうした変換のいくつかを容易に実行できます。

テーブルマッピング

ソースからデータを移動する際には、Sync が自動で同期先にテーブルを作成します。もしくは、タスク設定でテーブル名をクリックして、ドロップダウンメニューから[既存のテーブルにマップ]を選択し、同期先のテーブルを選択することで既存のテーブルにマップできます。Sync はカラムを同名で自動マッピングしようと試みます。その後、[カラムマッピング]セクションに移動して調整することができます。

カラムマッピング

[カラムマッピング]タブでは、ソーステーブルから取得するデータと、そのデータをターゲットテーブルでどのように表示するかについて、より自由に選択できます。ここから、カラムマッピングの削除または調整、同期先カラム名の変更、ソースへの変換の適用が可能です。

カラム名の変更

カラム名を変更するには、同期先のカラム名をクリックしてください。その後同期先のカラム名を自由に編集できます。変更を保存するには、[OK]をクリックしてください。

関数の適用

関数を適用するには、ドロップダウンメニューを選択し、利用可能なソースカラムから選択します。編集アイコンを選択すると、[カラムを編集]モーダルが開き、SQL 関数をソースカラムに適用できます。

カラムの追加

  1. [カラムを追加]ボタンを選択して同期先テーブルに新しいカラムを作成します。
  2. 新しいモーダルで、[ソースカラム]に値を割り当てます。これは、リテラル、既存のソースカラム、またはソースカラムの変換のいずれかになります。
  3. 同期先カラムに名前を付けて、[OK]を選択してマッピングに新しいカラムを追加します。

カラムの結合

上記の[関数の適用]セクションのとおり、CONCAT 関数を適用することでカラムを結合することができます。

以下の例は、FirstName とLastName ソースカラムの結合をFullName ターゲットカラムにマップする方法を示します。

カラムを追加

カラムの削除

カラムを削除するには、削除する行の右矢印アイコンにカーソルを合わせてX をクリックします。ソースカラムに”Select…” と表示され、クエリからカラムが削除されレプリケーションされないことを示します。

フィルタ

  • [ルールを追加]ボタンを選択して新しい条件を作成します。カラム、操作、および値を選択して作成した条件をクエリに追加します。
  • [グループを追加]を選択して新しいグループを作成します。条件のグループは、クエリに追加されるときにかっこ内に含まれます。
  • [AND/OR]を切り替えて、複数の条件とグループの両方、またはどちらかを組み合わせるために使用する演算子を変更します。
  • [削除]を選択してフィルタから条件やグループを削除します。