バッチ処理

CData ADO.NET Provider for Google BigQuery では、GoogleBigQueryDataAdapters を通じて、Google BigQuery の一括ロードサポートを活用することができます。Batch API を使用して、関連するSQL データ操作ステートメントを同時に実行できます。本製品はバッチ内のすべてのSQL クエリを単一のリクエストに変換します。

ADO.NET Batch API の使用

バッチ更新を実行するには、次の基本的な手順を実行します。

GoogleBigQueryCommand オブジェクトで、パラメータ化されたカスタムSQL ステートメントを定義します。
GoogleBigQueryCommand オブジェクトのUpdatedRowSource プロパティを"UpdateRowSource.None" に設定します。
GoogleBigQueryCommand オブジェクトをGoogleBigQueryDataAdapter に割り当てます。
パラメータをコマンドに追加します。
GoogleBigQueryDataAdapter のUpdate メソッドを呼び出します。変更を含むDataSet またはDataTable を渡します。

バッチサイズの制御

要求のサイズ、ネットワークリソース、サーバーのパフォーマンスなどの要因に応じて、より小さなバッチ要求をいくつか実行することでパフォーマンスを向上させることができます。各バッチのサイズは、GoogleBigQueryDataAdapter のUpdateBatchSize プロパティを正の整数に設定することで制御できます。

一括INSERT

次のコードはレコードを一括で挿入する単一のバッチを準備します。そして、新しいレコードのId を取得します。この例では、"Added" 状態の新しいDataRows の一括INSERT を実行します。

GoogleBigQueryDataAdapter adapter = new GoogleBigQueryDataAdapter();

using (GoogleBigQueryConnection conn = new GoogleBigQueryConnection("InitiateOAuth=GETANDREFRESH;ProjectId=NameOfProject;DatasetId=NameOfDataset;")) {
  conn.Open();
  adapter.InsertCommand = conn.CreateCommand();
  adapter.InsertCommand.CommandText = "INSERT INTO [publicdata].[samples].github_nested (repository.name) VALUES (@repository.name)";
  adapter.InsertCommand.UpdatedRowSource = UpdateRowSource.None;
  adapter.InsertCommand.Parameters.Add("@repository.name", "repository.name");

  DataTable batchDataTable = new DataTable();
  batchDataTable.Columns.Add("repository.name", typeof(string));
  batchDataTable.Rows.Add("EntityFramework");
  batchDataTable.Rows.Add("CoreCLR");
  adapter.UpdateBatchSize = 2;
  adapter.Update(batchDataTable);

  GoogleBigQueryCommand cmd = new GoogleBigQueryCommand("SELECT * FROM LastResultInfo#TEMP", conn);
  adapter = new GoogleBigQueryDataAdapter(cmd);
  DataTable res = new DataTable();
  adapter.Fill(res);
  foreach (DataRow row in res.Rows) 
    foreach(DataColumn col in res.Columns)
      Console.Write("{0}: {1}", col.ColumnName, row[col]);
}

VB.NET

 
Dim adapter As New GoogleBigQueryDataAdapter()

Using conn As New GoogleBigQueryConnection("InitiateOAuth=GETANDREFRESH;ProjectId=NameOfProject;DatasetId=NameOfDataset;")
  conn.Open()
  adapter.InsertCommand = conn.CreateCommand()
  adapter.InsertCommand.CommandText = "INSERT INTO [publicdata].[samples].github_nested (actor.attributes.email) VALUES (@repository.name)"
  adapter.InsertCommand.UpdatedRowSource = UpdateRowSource.None
  adapter.InsertCommand.Parameters.Add("@repository.name", "repository.name")

  Dim batchDataTable As New DataTable()
  batchDataTable.Columns.Add("repository.name", GetType(String))
  batchDataTable.Rows.Add("CoreCLR")
  batchDataTable.Rows.Add("EntityFramework")
  adapter.UpdateBatchSize = 2
  adapter.Update(batchDataTable)

  Dim cmd As New GoogleBigQueryCommand("SELECT * FROM LastResultInfo#TEMP", conn)
  adapter = New GoogleBigQueryDataAdapter(cmd)
  Dim res As New DataTable()
  adapter.Fill(res)
  For Each row As DataRow In res.Rows 
    For Each col As DataColumn In res.Columns
      Console.WriteLine("{0}: {1}", col.ColumnName, row(col))
    Next
  Next
End Using

一括更新

バッチ更新では、さらに、更新する各行の主キーが必要です。次の例では、"Modified" 状態のすべてのDataRow レコードに対してバッチを実行します。

GoogleBigQueryDataAdapter adapter = new GoogleBigQueryDataAdapter();

using (GoogleBigQueryConnection conn = new GoogleBigQueryConnection("InitiateOAuth=GETANDREFRESH;ProjectId=NameOfProject;DatasetId=NameOfDataset;")) { 
  conn.Open();
  adapter.UpdateCommand = conn.CreateCommand();
  adapter.UpdateCommand.CommandText = "UPDATE [publicdata].[samples].github_nested SET [email protected] WHERE Id=@Id";
  adapter.UpdateCommand.Parameters.Add("@repository.name", "repository.name");
  adapter.UpdateCommand.Parameters.Add("@Id", "Id");
  adapter.UpdateCommand.UpdatedRowSource = UpdateRowSource.None; 
  DataTable batchDataTable = new DataTable();
  batchDataTable.Columns.Add("repository.name", typeof(string));
  batchDataTable.Rows.Add("EntityFramework");
  batchDataTable.Rows.Add("CoreCLR");
  adapter.UpdateBatchSize = 2;
  adapter.Update(dataTable);
}

VB.NET

 
Dim adapter As New GoogleBigQueryDataAdapter()

Using conn As New GoogleBigQueryConnection("InitiateOAuth=GETANDREFRESH;ProjectId=NameOfProject;DatasetId=NameOfDataset;")
  conn.Open()
  adapter.UpdateCommand = conn.CreateCommand()
  adapter.UpdateCommand.CommandText = "UPDATE [publicdata].[samples].github_nested SET [email protected] WHERE Id=@Id"
  adapter.UpdateCommand.Parameters.Add("@repository.name", "repository.name")
  adapter.UpdateCommand.Parameters.Add("@Id", "Id")
  adapter.UpdateCommand.UpdatedRowSource = UpdateRowSource.None
  Dim batchDataTable As New DataTable()
  batchDataTable.Columns.Add("repository.name", GetType(String))
  batchDataTable.Rows.Add("CoreCLR")
  batchDataTable.Rows.Add("EntityFramework")
  adapter.UpdateBatchSize = 2
  adapter.Update(dataTable)
End Using

一括削除

次のコードは、レコードを一括で削除する単一のバッチを準備します。各行の主キーが必要です。次の例では、"Deleted" 状態のすべてのDataRow レコードに対してバッチを実行します。

GoogleBigQueryDataAdapter adapter = new GoogleBigQueryDataAdapter();

using (GoogleBigQueryConnection conn = new GoogleBigQueryConnection("InitiateOAuth=GETANDREFRESH;ProjectId=NameOfProject;DatasetId=NameOfDataset;")) {
  conn.Open();
  adapter.DeleteCommand = conn.CreateCommand();
  adapter.DeleteCommand.CommandText = "DELETE FROM [publicdata].[samples].github_nested WHERE Id=@Id";
  adapter.DeleteCommand.Parameters.Add("@Id", "Id");
  adapter.DeleteCommand.UpdatedRowSource = UpdateRowSource.None; 
  adapter.UpdateBatchSize = 2;
  adpater.Update(table);
}

VB.NET

Dim adapter As New GoogleBigQueryDataAdapter()

Using conn As New GoogleBigQueryConnection("InitiateOAuth=GETANDREFRESH;ProjectId=NameOfProject;DatasetId=NameOfDataset;")
  conn.Open()
  adapter.DeleteCommand = conn.CreateCommand()
  adapter.DeleteCommand.CommandText = "DELETE FROM [publicdata].[samples].github_nested WHERE Id=@Id"
  adapter.DeleteCommand.Parameters.Add("@Id", "Id")
  adapter.DeleteCommand.UpdatedRowSource = UpdateRowSource.None 
  adapter.UpdateBatchSize = 2
  adpater.Update(table)
End Using