In-Flight (ETL)

Version 22.0.8483


In-Flight (ETL)


ETL(Extract(抽出)、Transform(変換)、Load(ロード)は、同期先への移行前にデータを移動して、in-flight(処理の途中で)変換するデータ抽出の手法です。

ETL とELT の違い

これまで、ETL はデータを移動、変換する上で最も人気のある手法でした。しかし、クラウドコンピューティングの隆盛とデータストレージの大幅な増大で、データ転送と変換の手法としては、徐々にETL の人気をELT(Extra(抽出)、Load(ロード)、Transform(変換)) が上回りつつあります。

ETL とELT の主な違いは、手順を実行する順序です。ただし、ELT にはそれ以外の利点もあります。

  • パフォーマンス:現代のデータベースには膨大なストレージが備わっているため、ELT は変更を実装する前に更新されたデータをすべて移動することができます。データを事前に整形したり加工する必要がないので、これまでのETL の手法と比べて変換のスピードや効率が大幅に上昇します。

  • シンプルさ:大量のデータを移動する必要がある際には、ELT は変換処理をストリーム化してシンプルにします。

それでも、同期先に転送する前にデータを加工しておきたい状況は存在します。こうしたケースでは、CData Sync は変換を容易に実行できます。

テーブルのマッピング

ソースからデータを移動する際には、Sync が自動で同期先にテーブルを作成します。もしくは、タスク設定でテーブル名をクリックして、ドロップダウンメニューから既存のテーブルにマップを選択し、同期先のテーブルを選択することで既存のテーブルにマップできます。Sync は、同じ名前で自動的にカラムをマッピングしようとします。その後、カラムマッピングセクションに移動して調整することができます。

カラムのマッピング

カラムマッピングタブでは、ソーステーブルから取得するデータと、そのデータをターゲットテーブルでどのように表示するかについて、より自由に設定できます。ここから、カラムマッピングの削除または調整、同期先カラム名の変更、ソースへの変換の適用、その他が可能です。次のセクションで説明します。

カラム名の変更

カラム名を変更するには、同期先のカラム名をクリックしてください。その後同期先のカラム名を自由に編集できます。変更を保存して続行するには、OK をクリックしてください。

関数の適用

関数を適用するには、ドロップダウンメニューをクリックし、利用可能なソースカラムから選択します。編集アイコンを選択すると、カラムを編集モーダルが開き、SQL 関数をソースカラムに適用できます。

カラムの追加

  1. カラムを追加をクリックして同期先テーブルに新しいカラムを作成します。

  2. 新しいモーダルで、ソースカラムに値を割り当てます。これは、リテラル、既存のソースカラム、またはソースカラムの変換のいずれかになります。

  3. 同期先カラムに名前を付けて、OK をクリックしてマッピングに新しいカラムを追加します。

カラムの結合

関数の適用セクションで説明されているとおり、CONCAT 関数を適用することでカラムを結合できます。

次の例は、FirstNameLastName ソースカラムの結合をFullName ターゲットカラムにマップする方法を示します。

カラムを追加

カラムの削除

カラムを削除するには、削除する行の右矢印アイコンにカーソルを合わせてX をクリックします。ソースカラムにSelect… と表示され、クエリからカラムが削除されレプリケーションされないことを示します。

フィルタの設定

以下に説明するとおり、さまざまなオプションを設定して変換をフィルタできます。

  • ルールを追加をクリックして新しい条件を作成します。カラム、操作、および値を選択して作成した条件をクエリに追加します。

  • グループを追加をクリックして新しいグループを作成します。条件のグループは、クエリに追加されるときにかっこ内に含まれます。

  • AND/ORを切り替えて、複数の条件、グループ、その両方を組み合わせるために使用する演算子を変更します。

  • 削除をクリックしてフィルタから条件やグループを削除します。