バッチ処理

CData ADO.NET Provider for Databricks では、DatabricksDataAdapters を通じて、Databricks の一括ロードサポートを活用することができます。Batch API を使用して、関連するSQL データ操作ステートメントを同時に実行できます。本製品はバッチ内のすべてのSQL クエリを単一のリクエストに変換します。

ADO.NET Batch API の使用

バッチ更新を実行するには、次の基本的な手順を実行します。

DatabricksCommand オブジェクトで、パラメータ化されたカスタムSQL ステートメントを定義します。
DatabricksCommand オブジェクトのUpdatedRowSource プロパティを"UpdateRowSource.None" に設定します。
DatabricksCommand オブジェクトをDatabricksDataAdapter に割り当てます。
パラメータをコマンドに追加します。
DatabricksDataAdapter のUpdate メソッドを呼び出します。変更を含むDataSet またはDataTable を渡します。

バッチサイズの制御

要求のサイズ、ネットワークリソース、サーバーのパフォーマンスなどの要因に応じて、より小さなバッチ要求をいくつか実行することでパフォーマンスを向上させることができます。各バッチのサイズは、DatabricksDataAdapter のUpdateBatchSize プロパティを正の整数に設定することで制御できます。

一括INSERT

次のコードはレコードを一括で挿入する単一のバッチを準備します。。この例では、"Added" 状態の新しいDataRows の一括INSERT を実行します。

DatabricksDataAdapter adapter = new DatabricksDataAdapter();

using (DatabricksConnection conn = new DatabricksConnection("Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;")) {
  conn.Open();
  adapter.InsertCommand = conn.CreateCommand();
  adapter.InsertCommand.CommandText = "INSERT INTO [CData].[Sample].Customers (CompanyName) VALUES (@CompanyName)";
  adapter.InsertCommand.UpdatedRowSource = UpdateRowSource.None;
  adapter.InsertCommand.Parameters.Add("@CompanyName", "CompanyName");

  DataTable batchDataTable = new DataTable();
  batchDataTable.Columns.Add("CompanyName", typeof(string));
  batchDataTable.Rows.Add("Jon Deere");
  batchDataTable.Rows.Add("RSSBus Inc.");
  adapter.UpdateBatchSize = 2;
  adapter.Update(batchDataTable);
}

VB.NET

 
Dim adapter As New DatabricksDataAdapter()

Using conn As New DatabricksConnection("Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;")
  conn.Open()
  adapter.InsertCommand = conn.CreateCommand()
  adapter.InsertCommand.CommandText = "INSERT INTO [CData].[Sample].Customers (City) VALUES (@CompanyName)"
  adapter.InsertCommand.UpdatedRowSource = UpdateRowSource.None
  adapter.InsertCommand.Parameters.Add("@CompanyName", "CompanyName")

  Dim batchDataTable As New DataTable()
  batchDataTable.Columns.Add("CompanyName", GetType(String))
  batchDataTable.Rows.Add("RSSBus Inc.")
  batchDataTable.Rows.Add("Jon Deere")
  adapter.UpdateBatchSize = 2
  adapter.Update(batchDataTable)
End Using

一括更新

バッチ更新では、さらに、更新する各行の主キーが必要です。次の例では、"Modified" 状態のすべてのDataRow レコードに対してバッチを実行します。

DatabricksDataAdapter adapter = new DatabricksDataAdapter();

using (DatabricksConnection conn = new DatabricksConnection("Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;")) { 
  conn.Open();
  adapter.UpdateCommand = conn.CreateCommand();
  adapter.UpdateCommand.CommandText = "UPDATE [CData].[Sample].Customers SET CompanyName=@CompanyName WHERE _id=@_id";
  adapter.UpdateCommand.Parameters.Add("@CompanyName", "CompanyName");
  adapter.UpdateCommand.Parameters.Add("@_id", "_id");
  adapter.UpdateCommand.UpdatedRowSource = UpdateRowSource.None; 
  adapter.UpdateBatchSize = 2;
  adapter.Update(dataTable);
}

VB.NET

 
Dim adapter As New DatabricksDataAdapter()

Using conn As New DatabricksConnection("Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;")
  conn.Open()
  adapter.UpdateCommand = conn.CreateCommand()
  adapter.UpdateCommand.CommandText = "UPDATE [CData].[Sample].Customers SET CompanyName=@CompanyName WHERE _id=@_id"
  adapter.UpdateCommand.Parameters.Add("@CompanyName", "CompanyName")
  adapter.UpdateCommand.Parameters.Add("@_id", "_id")
  adapter.UpdateCommand.UpdatedRowSource = UpdateRowSource.None
  adapter.UpdateBatchSize = 2
  adapter.Update(dataTable)
End Using

一括削除

次のコードは、レコードを一括で削除する単一のバッチを準備します。各行の主キーが必要です。次の例では、"Deleted" 状態のすべてのDataRow レコードに対してバッチを実行します。

DatabricksDataAdapter adapter = new DatabricksDataAdapter();

using (DatabricksConnection conn = new DatabricksConnection("Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;")) {
  conn.Open();
  adapter.DeleteCommand = conn.CreateCommand();
  adapter.DeleteCommand.CommandText = "DELETE FROM [CData].[Sample].Customers WHERE _id=@_id";
  adapter.DeleteCommand.Parameters.Add("@_id", "_id");
  adapter.DeleteCommand.UpdatedRowSource = UpdateRowSource.None; 
  adapter.UpdateBatchSize = 2;
  adpater.Update(table);
}

VB.NET

Dim adapter As New DatabricksDataAdapter()

Using conn As New DatabricksConnection("Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;")
  conn.Open()
  adapter.DeleteCommand = conn.CreateCommand()
  adapter.DeleteCommand.CommandText = "DELETE FROM [CData].[Sample].Customers WHERE _id=@_id"
  adapter.DeleteCommand.Parameters.Add("@_id", "_id")
  adapter.DeleteCommand.UpdatedRowSource = UpdateRowSource.None 
  adapter.UpdateBatchSize = 2
  adpater.Update(table)
End Using