バッチ処理
CData ADO.NET Provider for Elasticsearch では、ElasticsearchDataAdapters を通じて、Elasticsearch の一括ロードサポートを活用することができます。Batch API を使用して、関連するSQL データ操作ステートメントを同時に実行できます。本製品 はバッチ内のすべてのSQL クエリを単一のリクエストに変換します。
ADO.NET Batch API の使用
バッチ更新を実行するには、次の基本的な手順を実行します。
- ElasticsearchCommand オブジェクトで、パラメータ化されたカスタムSQL ステートメントを定義します。
- ElasticsearchCommand オブジェクトのUpdatedRowSource プロパティを"UpdateRowSource.None" に設定します。
- ElasticsearchCommand オブジェクトをElasticsearchDataAdapter に割り当てます。
- パラメータをコマンドに追加します。
- ElasticsearchDataAdapter のUpdate メソッドを呼び出します。変更を含むDataSet またはDataTable を渡します。
バッチサイズの制御
要求のサイズ、ネットワークリソース、サーバーのパフォーマンスなどの要因に応じて、より小さなバッチ要求をいくつか実行することでパフォーマンスを向上させることができます。各バッチのサイズは、ElasticsearchDataAdapter のUpdateBatchSize プロパティを正の整数に設定することで制御できます。
一括INSERT
次のコードはレコードを一括で挿入する単一のバッチを準備します。 そして、新しいレコードのId を取得します。 この例では、"Added" 状態の新しいDataRows の一括INSERT を実行します。
C#
ElasticsearchDataAdapter adapter = new ElasticsearchDataAdapter(); using (ElasticsearchConnection conn = new ElasticsearchConnection("Server=127.0.0.1;Port=9200;")) { conn.Open(); adapter.InsertCommand = conn.CreateCommand(); adapter.InsertCommand.CommandText = "INSERT INTO [CData].[Elasticsearch].Employee (Name) VALUES (@Name)"; adapter.InsertCommand.UpdatedRowSource = UpdateRowSource.None; adapter.InsertCommand.Parameters.Add("@Name", "Name"); DataTable batchDataTable = new DataTable(); batchDataTable.Columns.Add("Name", typeof(string)); batchDataTable.Rows.Add("Jon Doe"); batchDataTable.Rows.Add("Floppy Disks"); adapter.UpdateBatchSize = 2; adapter.Update(batchDataTable); ElasticsearchCommand cmd = new ElasticsearchCommand("SELECT * FROM LastResultInfo#TEMP", conn); adapter = new ElasticsearchDataAdapter(cmd); DataTable res = new DataTable(); adapter.Fill(res); foreach (DataRow row in res.Rows) foreach(DataColumn col in res.Columns) Console.Write("{0}: {1}", col.ColumnName, row[col]); }
VB.NET
Dim adapter As New ElasticsearchDataAdapter()
Using conn As New ElasticsearchConnection("Server=127.0.0.1;Port=9200;")
conn.Open()
adapter.InsertCommand = conn.CreateCommand()
adapter.InsertCommand.CommandText = "INSERT INTO [CData].[Elasticsearch].Employee (Id) VALUES (@Name)"
adapter.InsertCommand.UpdatedRowSource = UpdateRowSource.None
adapter.InsertCommand.Parameters.Add("@Name", "Name")
Dim batchDataTable As New DataTable()
batchDataTable.Columns.Add("Name", GetType(String))
batchDataTable.Rows.Add("Floppy Disks")
batchDataTable.Rows.Add("Jon Doe")
adapter.UpdateBatchSize = 2
adapter.Update(batchDataTable)
Dim cmd As New ElasticsearchCommand("SELECT * FROM LastResultInfo#TEMP", conn)
adapter = New ElasticsearchDataAdapter(cmd)
Dim res As New DataTable()
adapter.Fill(res)
For Each row As DataRow In res.Rows
For Each col As DataColumn In res.Columns
Console.WriteLine("{0}: {1}", col.ColumnName, row(col))
Next
Next
End Using
一括更新
バッチ更新では、さらに、更新する各行の主キーが必要です。次の例では、"Modified" 状態のすべてのDataRow レコードに対してバッチを実行します。
C#
ElasticsearchDataAdapter adapter = new ElasticsearchDataAdapter(); using (ElasticsearchConnection conn = new ElasticsearchConnection("Server=127.0.0.1;Port=9200;")) { conn.Open(); adapter.UpdateCommand = conn.CreateCommand(); adapter.UpdateCommand.CommandText = "UPDATE [CData].[Elasticsearch].Employee SET Name=@Name WHERE Id=@Id"; adapter.UpdateCommand.Parameters.Add("@Name", "Name"); adapter.UpdateCommand.Parameters.Add("@Id", "Id"); adapter.UpdateCommand.UpdatedRowSource = UpdateRowSource.None; DataTable batchDataTable = new DataTable(); batchDataTable.Columns.Add("Name", typeof(string)); batchDataTable.Rows.Add("Jon Doe"); batchDataTable.Rows.Add("Floppy Disks"); adapter.UpdateBatchSize = 2; adapter.Update(dataTable); }
VB.NET
Dim adapter As New ElasticsearchDataAdapter()
Using conn As New ElasticsearchConnection("Server=127.0.0.1;Port=9200;")
conn.Open()
adapter.UpdateCommand = conn.CreateCommand()
adapter.UpdateCommand.CommandText = "UPDATE [CData].[Elasticsearch].Employee SET Name=@Name WHERE Id=@Id"
adapter.UpdateCommand.Parameters.Add("@Name", "Name")
adapter.UpdateCommand.Parameters.Add("@Id", "Id")
adapter.UpdateCommand.UpdatedRowSource = UpdateRowSource.None
Dim batchDataTable As New DataTable()
batchDataTable.Columns.Add("Name", GetType(String))
batchDataTable.Rows.Add("Floppy Disks")
batchDataTable.Rows.Add("Jon Doe")
adapter.UpdateBatchSize = 2
adapter.Update(dataTable)
End Using
一括削除
次のコードは、レコードを一括で削除する単一のバッチを準備します。各行の主キーが必要です。次の例では、"Deleted" 状態のすべてのDataRow レコードに対してバッチを実行します。
C#
ElasticsearchDataAdapter adapter = new ElasticsearchDataAdapter();
using (ElasticsearchConnection conn = new ElasticsearchConnection("Server=127.0.0.1;Port=9200;")) {
conn.Open();
adapter.DeleteCommand = conn.CreateCommand();
adapter.DeleteCommand.CommandText = "DELETE FROM [CData].[Elasticsearch].Employee WHERE Id=@Id";
adapter.DeleteCommand.Parameters.Add("@Id", "Id");
adapter.DeleteCommand.UpdatedRowSource = UpdateRowSource.None;
adapter.UpdateBatchSize = 2;
adpater.Update(table);
}
VB.NET
Dim adapter As New ElasticsearchDataAdapter()
Using conn As New ElasticsearchConnection("Server=127.0.0.1;Port=9200;")
conn.Open()
adapter.DeleteCommand = conn.CreateCommand()
adapter.DeleteCommand.CommandText = "DELETE FROM [CData].[Elasticsearch].Employee WHERE Id=@Id"
adapter.DeleteCommand.Parameters.Add("@Id", "Id")
adapter.DeleteCommand.UpdatedRowSource = UpdateRowSource.None
adapter.UpdateBatchSize = 2
adpater.Update(table)
End Using