DBT Transformation
Version 25.3.9414
Version 25.3.9414
DBT Transformation
CData Sync はdbt Core(dbt Labs™ が提供するデータ構築ツール)と統合され、パワフルなTransformation が作成できるようになりました。この統合により、Transformation の開発・制御・実行が可能になり、サポートされている同期先データベースでPython モデルを構築できます。
プロジェクトリポジトリを完全に制御することができ、SQL SELECT ステートメントを記述しデータを変換してモデルを構築できます。Sync は、選択した同期先でこれらのTransformation を実行するためのパイプラインを作成するだけです。
単純なTransformation を実行するだけであれば、基本的なSQL Transformation で十分です。しかし、高度なモデリングが必要な場合は、dbt Core モデルを使用するTransformation の方がより盤石な機能を提供します。例えば、モデルに依存関係が含まれている場合、dbt Core プロジェクトを使用するTransformation はそれらの依存関係を認識して尊重し、モデルを正しい順序で構築できるようにします。
サポートされている同期先
DBT Transformation は、次の同期先でサポートされています。
-
Snowflake
-
Amazon Redshift
-
Databricks
-
PostgreSQL
-
Google BigQuery
dbt Core の詳細
DBT Transformation 用ツールのセットアップ
DBT Transformation を有効にするには、最初にdbt Core とその他のツールをセットアップする必要があります。
-
Git for Windows およびWindows 版Python 3.7 以降をインストールします。
Note:Git のようなアプリケーションは必要ありません。ただし、バージョン管理、プロジェクト共有、ソースコードの管理などができるため、このようなリポジトリが推奨されます。
Sync のDBT Transformation 設定で後ほど使用するためにGit で以下の情報を見つけてコピーしてください。
-
Git リポジトリURL - リポジトリのURL はGit リポジトリウィンドウで確認できます。Code をクリックしてClone ダイアログを開きます。URL はダイアログのHTTPS タブにあります。URL フィールドの右端にあるコピーアイコンをクリックして、URL をコピーします。後ほどSync で使用するためにアイコンを保存してください。
-
パーソナルアクセストークン - パーソナルアクセストークンを取得するには:
- Git ウィンドウの右上にある自分のプロファイルアイコンをクリックし、Settings を選択してProfile settings ページを開きます。
- Developer Settings -> Personal access tokens を選択します。New personal access token ペインが開きます。
- Select scopes カテゴリにあるrepo チェックボックスを選択します(この項目では他の条件も設定できますが、必須ではありません)。例えば、Expiration カテゴリでトークンの有効期限を選択したい(または有効期限なし)場合があります。
- ページの一番下のGenerate token をクリックします。生成されたトークンは後でSync で使用するためにコピーして保存してください。
パーソナルアクセストークンの取得についての詳細は、個人用アクセス トークンの作成 を参照してください。
-
-
Sync がインストールされているマシンに、dbt Core と同期先用のアダプタープラグインをインストールします。プラグインは、前述のリストにある同期先ごとに用意されています。
-
Git リポジトリをローカルマシンにクローンして、dbt プロジェクトをローカルにダウンロードします。Sync はセットアップ時や各実行前にリポジトリをクローンし、プロジェクトのあらゆる変更がSync の次の実行に反映されることを保証します。
-
Sync でTransformation を作成します(YML またはSQL ファイルを含むdbt プロジェクトを使用します)。次のセクションで説明します。
DBT Transformation の作成
dbt transformation を作成するには:
-
Sync を開き変換ページに移動します。
-
変換を実行するジョブを選択します。続いて、変換を追加ボタンをクリックします。
-
変換を追加ダイアログボックスで、フィールドに以下のように入力します。
-
名前:変換の名前を入力。
-
種類:変換の種類としてdbt Core を選択。
-
プロジェクトフォルダ:次のオプションのいずれか1つを選択。デフォルトオプションはLocal です。
-
Local:既存のローカルプロジェクトフォルダのパスを入力。このオプションでは、フォルダパスフィールドにdbt プロジェクトのフォルダページも入力する必要があります。
-
Github:先ほどGit で作成したプロジェクトのURL を入力。このオプションでは、次の情報を入力します:
-
Git リポジトリURL:Git リポジトリURL を次の形式で入力。https://github.com/Owner/Repository.git
-
トークン: 先ほどGit でコピーしたパーソナルアクセストークンを入力。
-
-
-
Destination Schema - 任意の同期先スキーマを追加。
-
-
変換を追加ボタンをクリックします。
dbt Cloud の詳細
dbt Cloud へのCData Sync の接続
dbt Cloud は、dbt プロジェクトでのコードの記述、実行、テスト、およびバージョン管理をブラウザから行える統合開発環境(IDE)です(コマンドラインの使用は不要です)。
dbt Cloud に接続するには:
-
Sync の設定ページの高度な設定タブを開き、dbt Cloud 設定セクションに移動します。
-
編集アイコンをクリックして、dbt Cloud 設定ダイアログボックスを開きます。
-
dbt Cloud 設定セクションでアカウント識別子(Id)を入力します。アカウントId がわからない場合は、次の手順で取得できます:
-
dbt Cloud アカウントインフォメーションセンターにログインします。
-
左側のメニューペインの下部にあるプロファイル画像と名前をクリックします。このアクションにより別のメニューが開きます。
-
Your Profile > Account を選択します。アカウントId は、以下に示すようにAccount ID フィールド(Account information セクション内)に表示されます:

-
-
トークンフィールドに、dbt Cloud パーソナルアクセストークン(PAT)またはサービストークンを入力します。
-
PAT がない場合は、dbt Cloud アカウントインフォメーションセンターでAccount Settings > API Tokens > Personal Tokens を選択することで作成できます。新しく作成したトークンをコピーしてSync に戻り、dbt Cloud 設定ダイアログボックスのトークンフィールドにペーストします。
-
サービストークンがない場合は、Account Settings > Service Tokens > New Token を選択することで作成できます。新しく作成したトークンをコピーしてSync に戻り、dbt Cloud 設定ダイアログボックスのトークンフィールドにペーストします。
-
-
dbt Cloud 設定ダイアログボックスにベースURL を入力します。

Note:ベースURL を確認するには、dbt Cloud アカウントインフォメーションセンターを開きYour Profile > Account > Access URLs を選択します。ベースURL は、Access URL テキストボックスに表示されます。
-
接続テストをクリックして接続されることを確認します。接続に成功したら、保存をクリックして情報を保存します。
DBT Cloud Transformation の作成
dbt Cloud transformation を作成するには:
-
Sync を開き変換ページに移動します。
-
変換を実行するジョブを選択します。続いて、変換を追加ボタンをクリックします。
-
変換を追加ダイアログボックスで、フィールドに以下のように入力します。
-
名前:変換の名前を入力。
-
種類:変換の種類としてdbt Cloud を選択。
-
dbt ジョブ:ドロップダウンリストからdbt ジョブを選択。
-
-
変換を追加ボタンをクリックします。
DBT Transformation 設定の指定
変換の設定を編集するには、変換の行末で… > 編集を選択します。設定ページには、設定を管理できる3つのタブがあります。
- 概要
- 変換履歴
- コメント
概要タブ
概要タブでは、一般的な設定、トリガー、およびE メールアラートを管理できます。このページでは、変換の最後の実行の詳細も確認できます。
設定カテゴリ
設定カテゴリでは、次のようにジョブの自動再試行、ログファイルの詳細レベル、およびコマンドタイムアウトを指定できます。
-
変換の行末にある… > 編集を選択します。このアクションにより設定を編集ダイアログボックスが開きます。

-
(オプション)1つ以上のタスクが失敗した場合にSync の変換を再試行する場合は、有効化済みを選択します。失敗したタスクのみが再度実行されます。
-
ログファイルの詳細レベルのレベルを選択します。
-
コマンドタイムアウトフィールドにタイムアウト値を入力します。
-
保存をクリックします。
トリガーカテゴリ
トリガーカテゴリでは、次のように、変換を実行する特定のスケジュールを設定できます。
-
トリガーカテゴリで設定をクリックします。このアクションによりトリガーダイアログボックスが開きます。
-
希望するトリガーの種類を指定します。以下の種類から選択できます:
-
なし - スケジュールオプションをオフにし、手動で変換を開始できるようにします。
-
スケジュール実行 - 変換を実行するためのスケジュールを設定できます。この設定により、間隔と毎時何分フィールドも有効になります。間隔の設定には、より細かな設定を選択することが可能です。
-
分 - 毎 オプションが有効になり、変換を実行する時間を分単位(10、15、20、または30分ごと)で指定できます。
-
毎時 - 毎時何分 フィールドが有効になり、毎時何分(0-59)に変換が実行されるかを設定できます。例えば、毎時15分に変換を実行することができます。
-
毎日 - 時刻 フィールドが有効になり、変換を実行する毎日の特定の時間を設定できます。
-
毎週 - この設定により、日および時刻の2つのフィールドが有効になり、変換を実行する特定の曜日と時間を指定できます。
-
毎月 - 日および時フィールドが有効になります。ただし、日では、各月の特定の日付(1から31の値、または最終日)と時間を選択します。
-
カスタム - Cron ステートメントフィールドが有効になり、変換の実行を開始するためのcron ジョブを記述できます。
スケジュール実行は、複数のジョブを実行している場合に便利です。どのジョブの後に変換を実行するかを指定できないため、複数のジョブに対してジョブ後オプションを使用することはできません。
-
-
ジョブ後 - 利用可能なすべてのジョブをリスト表示するジョブドロップダウンリストを有効にします。変換を実行するための特定のジョブを選択できます。
ジョブフィールドの特定のタスクを選択をクリックすると、データに対して実行するさまざまなタスクを指定することも可能です。実行するタスクを選択します。
-
-
保存をクリックします。
Note:トリガーのスケジュールを無効化するには、トリガートグルスイッチを左にスライドします(無効化するとスイッチがグレーになります)。トグルスイッチは、カテゴリボックスのトリガーの右側に表示されます。
ラベルカテゴリ
このカテゴリを使用すると、ラベルを追加できます:
-
ラベルカテゴリでラベルを追加をクリックします。dbtTransformationName - ラベルを追加ダイアログボックスが開きます。現在使用可能なラベルをリストから検索して選択することも、新しいラベルを追加することもできます。
-
新しいラベルを追加するには、ラベルを検索または追加テキストボックスにラベルを入力し、追加をクリックします。

以下に示すように、新しいラベルが利用可能なラベルのリストに表示されます。

-
保存をクリックします。
これらの手順を完了すると、新しいラベルが設定ページのラベルカテゴリボックスに表示されます。
通知カテゴリ
通知カテゴリでは、次のように変換のE メールアラートを設定できます。
-
アラートを設定したい変換の行末にある… > 編集を選択します。
-
通知カテゴリにある設定をクリックします。
-
通知ダイアログボックスにある次のオプションを設定します。
-
宛先 - アラートを送信するE メールアドレス。
-
件名 - アラートメールの件名。
-
エラーのみ - ジョブでエラーが発生した場合のみアラートメールを送信するように指定するために選択できるオプション。このオプションを選択しない場合、Sync は各ジョブの実行後にアラートを送信します。
-
-
保存をクリックします。
Note:アラートを無効化するには、通知トグルスイッチを左にスライドします(無効化するとスイッチがグレーになります)。トグルスイッチは、カテゴリボックスの通知の右側に表示されます。
変換履歴タブ
このタブには、変換ジョブの実行に関する詳細が表示されます。詳細には、実行日、ステータス、影響を受けたレコード、実行時間、およびインスタンスID が含まれます。レポートをステータス(すべてのステータス、成功、失敗、またはエラー)で絞り込むことも可能です。さらに、履歴をエクスポートをクリックして、履歴をエクスポートできます。
コメントタブ
このタブでは、ジョブに関連するメモを記録および追跡できます。各コメントにはタイムスタンプが付きます。右上隅のドロップダウンメニューを使用して、タイムスタンプに基づいて並べ替え順序を変更できます。オプションには、新しい順(デフォルト)または古い順があります。