SQL Transformation

Version 25.3.9414


SQL Transformation


SQL Transformation は、パイプラインでSQL クエリをミッドストリーム処理(ETL)します。このタイプのTransformation は、外部のSQL スクリプトまたはSQL エディタで作成したSQL クエリを処理します。これらのクエリを使用して、データベースから行を挿入、削除、更新、取得できます。SQL Transformation はクエリを処理し、行とデータベースエラーを返します。

SQL Transformation の作成

SQL Transformation を追加するには:

  1. Sync を開き変換ページに移動します。

  2. 変換を追加 > 新しい変換を追加を選択します。

  3. 変換を追加ダイアログボックスで、フィールドに以下のように入力します。

    • 名前:変換の名前を入力。

    • 種類:変換の種類としてSQL を選択。

    • 同期先:変換を実行する同期先を選択。

  4. 変換を追加ボタンをクリックします。

変換を作成したら、オプションメニュー()から変換を管理できます。

SQL Transformation 設定の指定

変換の設定を編集するには、変換の行末で… > 編集を選択します。設定ページには、設定を管理できる3つのタブがあります。

  • 概要

  • クエリ

  • コメント

概要タブ

概要タブでは、一般的な設定、トリガー、およびE メールアラートを管理できます。このページでは、変換の最後の実行の詳細も確認できます。

設定カテゴリ

設定カテゴリでは、次のようにジョブの自動再試行、ログファイルの詳細レベル、およびコマンドタイムアウトを指定できます。

  1. 変換の行末にある… > 編集を選択します。このアクションにより設定を編集ダイアログボックスが開きます。

  2. (オプション)1つ以上のタスクが失敗した場合にSync の変換を再試行する場合は、有効化済みを選択します。失敗したタスクのみが再度実行されます。

  3. ログファイルの詳細レベルのレベルを選択します。デフォルトレベルはInfo です。

  4. コマンドタイムアウトフィールドにタイムアウト値を入力します。

  5. 保存をクリックします。

トリガーカテゴリ

トリガーカテゴリでは、次のように、変換を実行する特定のスケジュールを設定できます。

  1. トリガーカテゴリで設定をクリックします。このアクションによりトリガーダイアログボックスが開きます。

  2. 希望するトリガーの種類を指定します。以下の種類から選択できます:

    • なし - スケジュールオプションをオフにし、手動で変換を開始できるようにします。

    • スケジュール実行 - 変換を実行するためのスケジュールを設定できます。この設定により、間隔毎時何分フィールドも有効になります。間隔の設定には、より細かな設定を選択することが可能です。

      • - オプションが有効になり、変換を実行する時間を分単位(10、15、20、または30分ごと)で指定できます。

      • 毎時 - 毎時何分 フィールドが有効になり、毎時何分(0-59)に変換が実行されるかを設定できます。例えば、毎時15分に変換を実行することができます。

      • 毎日 - 時刻 フィールドが有効になり、変換を実行する毎日の特定の時間を設定できます。

      • 毎週 - この設定により、および時刻の2つのフィールドが有効になり、変換を実行する特定の曜日と時間を指定できます。

      • 毎月 - およびフィールドが有効になります。ただし、では、各月の特定の日付(1から31の値、または最終日)と時間を選択します。

      • カスタム - Cron ステートメントフィールドが有効になり、変換の実行を開始するためのcron ジョブを記述できます。

      スケジュール実行は、複数のジョブを実行している場合に便利です。どのジョブの後に変換を実行するかを指定できないため、複数のジョブに対してジョブ後オプションを使用することはできません。

    • ジョブ後 - 利用可能なすべてのジョブをリスト表示するジョブドロップダウンリストを有効にします。変換を実行するための特定のジョブを選択できます。

      ジョブフィールドの特定のタスクを選択をクリックすると、データに対して実行するさまざまなタスクを指定することも可能です。実行するタスクを選択します。

  3. 保存をクリックします。

Note:トリガーのスケジュールを無効化するには、トリガーカテゴリのトグルスイッチを左にスライドします(無効化するとスイッチがグレーになります)。

ラベルカテゴリ

このカテゴリを使用すると、ラベルを追加できます:

  1. ラベルカテゴリでラベルを追加をクリックします。TransformationName - ラベルを追加ダイアログボックスが開きます。現在使用可能なラベルをリストから検索して選択することも、新しいラベルを追加することもできます。

  2. 新しいラベルを追加するには、ラベルを検索または追加テキストボックスにラベルを入力し、追加をクリックします。

    以下に示すように、新しいラベルが利用可能なラベルのリストに表示されます。

  3. 保存をクリックします。

これらの手順を完了すると、新しいラベルが設定ページのラベルカテゴリボックスに表示されます。

通知カテゴリ

通知カテゴリでは、次のように変換のE メールアラートを設定できます。

  1. アラートを設定したい変換の行末にある… > 編集を選択します。

  2. 通知カテゴリにある設定をクリックします。

  3. 通知ダイアログボックスにある次のオプションを設定します。

    • 宛先 - アラートを送信するE メールアドレス。

    • 件名 - アラートメールの件名。

    • エラーのみ - ジョブでエラーが発生した場合のみアラートメールを送信するように指定するために選択できるオプション。このオプションを選択しない場合、Sync は各ジョブの実行後にアラートを送信します。

  4. 保存をクリックします。

Note:アラートを無効化するには、通知トグルスイッチを左にスライドします(無効化するとスイッチがグレーになります)。トグルスイッチは、カテゴリボックスの通知の右側に表示されます。

クエリタブ

このタブでは、変換の一部として実行されるクエリを追加および管理できます。

クエリの追加

クエリを追加するには:

  1. クエリを追加をクリックして、クエリを追加ダイアログボックスを開きます。

  2. テキストボックスにクエリを入力します。複数のステートメントがある場合は、各ステートメントをセミコロンで区切ってください。

  3. クエリを追加をクリックします。クエリの追加が成功すると、Sync は、クエリページの上部に成功した旨のメッセージを表示します。

クエリを実行する場合は、クエリページの上部にある実行をクリックします。

クエリを追加して実行すると、クエリページにクエリのテーブルと最後の実行の日付が表示されます。

クエリの編集

クエリを編集するには:

  1. クエリの行末にある… > 編集を選択します。

  2. クエリを編集ダイアログボックスで、必要に応じてクエリを修正します。

  3. 保存をクリックします。

変換履歴タブ

このタブには、変換ジョブの実行に関する詳細が表示されます。詳細には、実行日ステータス影響を受けたレコード、および処理時間が含まれます。レポートをステータス(すべてのステータス成功失敗、またはエラー)で絞り込むことも可能です。さらに、履歴をエクスポートをクリックして、履歴をエクスポートできます。

コメントタブ

このタブでは、ジョブに関連するメモを記録および追跡できます。各コメントにはタイムスタンプが付きます。右上隅のドロップダウンメニューを使用して、タイムスタンプに基づいて並べ替え順序を変更できます。オプションには、新しい順(デフォルト)または古い順があります。また、行末のコメントを編集アイコン()や*コメントを削除**アイコン()をクリックして、コメントを編集または削除することもできます。

全データベース用サンプルクエリ

次のSQL クエリは、レコードの重複排除を行います。

CREATE OR REPLACE TABLE dbo.Accounts_Deduplicated as (
  SELECT *, row_number() over (partition by id order by modified desc) as duplicate_rank 
  FROM dbo.Accounts
);	
DELETE FROM dbo.Accounts_Deduplicated	WHERE duplicate_rank > 1;