SQL Transformation

Version 22.0.8483


SQL Transformation


SQL Transformation は、パイプラインでSQL クエリをミッドストリーム処理(ETL)します。このタイプのTransformation は、外部のSQL スクリプトまたはSQL エディタで作成したSQL クエリを処理します。これらのクエリを使用して、データベースから行を挿入、削除、更新、取得できます。SQL Transformation はクエリを処理し、行とデータベースエラーを返します。

変換の作成

新しい変換を追加するには、

  1. 変換を作成をクリックします。このアクションにより[新しい変換を作成]モーダルが開きます。

  2. 変換名を入力して関連付ける接続を選択します。

    変換を追加

  3. 作成をクリックします。

変換の詳細ページについて

変換の詳細ページは2つのセクションで構成されています。

  • 接続:接続を表示します。編集はできません。

  • ジョブ設定:次のセクションで説明する4つのタブで構成されています。

タスクタブ

タスクタブでは、変換の一部として実行されるクエリを管理できます。設定をクリックして、変換を入力してください。セミコロン(;)で区切ることで、複数のステートメントを入力できます。複数のステートメントを入力すると、ステートメントは順次実行される個別のタスクにパースされます。ログは実行されるステートメント毎に記録されます。

トリガータブ

トリガータブでは、変換をスケジュールに従って実行、または特定のジョブの完了後に実行するよう設定できます。After Job を設定する場合、変換のトリガーとなるジョブを選択し、(オプションで)そのジョブ内のタスクのリストを選択します。タスクが選択されていない場合、変換はジョブ完了後に実行されます。1つ以上のタスクが選択されている場合、同期先に新しいデータがレプリケートされた場合のみ、ジョブ完了後に変換が実行されます。

通知タブ

通知タブでは、ジョブ完了時にメール通知を送信するようSync を設定できます。メール通知の設定およびメールサーバーの構成の詳細は、通知を参照してください。

ログと履歴タブ

ログと履歴タブでは、現在実行中の変換をモニタし以前の実行をレビューできます。Verbosity の各レベルに含まれる情報とログファイルの取得方法についての詳細は、ログと履歴を参照してください。

全データベース用サンプルクエリ

次のSQL クエリは、レコードの重複排除を行います。

CREATE OR REPLACE TABLE dbo.Accounts_Deduplicated as (
  SELECT *, row_number() over (partition by id order by modified desc) as duplicate_rank 
  FROM dbo.Accounts
);	
DELETE FROM dbo.Accounts_Deduplicated	WHERE duplicate_rank > 1;