このページでは、CData Cloud でのSplunk への接続の確立 のガイド、利用可能なリソースに関する情報、および使用可能な接続プロパティのリファレンスについて説明します。

Splunk への接続

接続の確立 は、CData Cloud にデータベースを作成するためのSplunk への認証方法と必要な接続プロパティの設定方法について示します。

CData Cloud サービスからデータにアクセス

利用可能な標準サービスを経由してSplunk からデータにアクセスする方法と、CData Cloud の管理については、CData Cloud ドキュメント で詳しく説明します。

Database タブで対応するアイコンを選択して、Splunk に接続します。必須プロパティはSettings にリストされています。Advanced タブには、通常は必要ない接続プロパティが表示されます。

Splunk API への接続

URL を、有効なSplunk サーバーに指定する必要があります。デフォルトでは、Cloud はポート8089 でリクエストを行います。

デフォルトでは、Cloud はサーバーとのTLS / SSL ネゴシエーションを試みます。

Splunk への認証

Splunk データを認証する方法は2つあります。Splunk クレデンシャルでログインする方法と、Splunk 認証トークンを使用する方法です。

Splunk クレデンシャル

Splunk クレデンシャルで認証するには、User とPassword をログインクレデンシャルに設定します。

Splunk トークン

認証トークンを介してSplunk にアクセスすると、Representational State Transfer（REST）コールを使用してSplunk プラットフォームにアクセスできます。 Splunk Enterprise では、CLI を使用することも可能です。これらの方法はいずれも、クレデンシャルを介して認証することなくインスタンスにアクセスし、リクエストを行うことを可能にします。

Note： サーチヘッドクラスター（利用可能なすべてのヘッドクラスターにアクセスするために同じトークンを使用できます）にアクセスする場合を除き、アクセスするインスタンスごとに個別のトークンを持つ必要があります。

Splunk トークンで認証するには：

1. Splunk UI で、Users and Authentication -> Tokens に移動して割り当てられた認証トークンにアクセスします。取得していない場合は、アクセスしたいインスタンスの管理者にリクエストしてください。
2. AuthScheme をAccessToken に設定し、AccessToken プロパティをSplunk トークンに設定します。

SSL 設定のカスタマイズ

デフォルトでは、Cloud はサーバーの証明書をシステムの信頼できる証明書ストアと照合してSSL / TLS のネゴシエーションを試みます。

別の証明書を指定するには、利用可能なフォーマットについてSSLServerCert プロパティを参照してください。

Firewall またはProxy 経由の接続

HTTP プロキシ

Windows のシステムプロキシ経由の接続では、接続プロパティを追加で設定する必要はありません。他のプロキシに接続するには、ProxyAutoDetect をfalse に設定します。

さらにHTTP プロキシへの認証には、ProxyServer とProxyPort に加えてProxyAuthScheme、ProxyUser、およびProxyPassword を設定します。

その他のプロキシ

次のプロパティを設定します。

• プロキシベースのファイヤーウォールを使用するには、FirewallType、FirewallServer、およびFirewallPort を設定します。
• 接続をトンネルするには、FirewallType をTUNNEL に設定します。
• 認証するには、FirewallUser とFirewallPassword を設定します。
• SOCKS プロキシへの認証には、さらにFirewallType をSOCKS5 に設定します。

Cloud は、Splunk レポート、検索、データセット、およびデータモデルをリレーショナルデータベースのテーブルとしてモデル化します。SQL-92 クエリを使って読み出し/ 書き込みが可能です。

動的スキーマ生成

アカウント内のすべてのテーブルを操作できます。接続時に、Cloud はSplunk からメタデータを取得して動的にテーブルスキーマの変更を反映します。

CreateSchema ストアドプロシージャを呼び出して、静的スキーマを接続間で永続化できます。ストアドプロシージャは、スキーマをテキストファイルに保存します。テキストファイルはシンプルな形式で、スキーマのカスタマイズも容易になります。

テーブル

データセット、データモデル、および検索の更新とクエリの詳細については、テーブル を参照してください。

ビュー

Cloud はまた、次のSplunk オブジェクトを表すビュー を介してデータを表示します。

• レポート：Splunk で保存されたレポートを表すビューの例については、LookUpReport を参照してください。
• Data-model データセット：データセットを表すビューの例については、AlertsInInternalServer を参照してください。データセットビューのリストを取得するにはDatasets を参照してください。
• Table-type データセット：Splunk のテーブルデータセットを表すビューの例については、UploadedModel を参照してください。

Cloud はSplunk のデータを、標準のSQL ステートメントを使用してクエリできるリレーショナルデータベースのテーブルのリストとしてモデル化します。

CData Cloud - Splunk テーブル

Create, query, update, and delete data models in Splunk.

Select

Cloud は、Splunk API を使用してId カラムを参照する検索条件を処理します。このカラムは= 演算子のサーバー側の処理をサポートします。Cloud はクライアント側でCloud 内で他のフィルタを処理します。

例えば、次のクエリはSplunk API によってサーバー側で処理されます。

SELECT * FROM DataModels WHERE Id = 'SampleModel' 

Insert

Id カラムは挿入の最小要件です。挿入では、DataModels テーブルではId とAcceleration カラムのみが許容されます。

INSERT INTO DataModels (Id, Acceleration) VALUES ('initialname', '{"enabled":false,"earliest_time":"","hunk.file_format":"","hunk.dfs_block_size":0,"hunk.compression_codec":""}' )

Update

DataModels テーブルでは、Id が指定されている場合にAcceleration カラムの更新が可能です。Provisional 疑似カラムを設定することもできます。

UPDATE DataModels SET Provisional = 'true', Acceleration = '{"enabled":false,"earliest_time": "-1mon", "cron_schedule": "0 */12 * * *","hunk.file_format":"","hunk.dfs_block_size":0,"hunk.compression_codec":""}' WHERE Id = 'initialname' 

Delete

DataModels テーブルでは、Id が指定されている場合にレコードの削除が可能です。

DELETE FROM Datamodels WHERE Id = 'initialname' 

Columns

Pseudo-Columns

SELECT ステートメントのWHERE 句では、疑似カラムフィールドを使用して、データソースから返されるタプルを詳細に制御することができます。

Create, query, update, and delete datasets in Splunk.

Select

The Datasets table requires DataModelId in the WHERE clause. The DataModelId column supports server-side processing for the = operator. The Cloud processes other search criteria client-side within the Cloud.

SELECT * FROM DataSets  WHERE DataModelId = 'SampleModel' 

Insert

Splunk allows inserts only when DataModelId, ParentName, and ObjectName are all specified.

INSERT INTO [Datasets] (ObjectName, ParentName, DataModelId) VALUES ('SampleSet', 'BaseEvent', 'SampleModel')

Update

The Datasets table allows updates when DataModelId is specified. The columns that can be updated in this case are the following: Description and DisplayName.

When ObjectName is also specified, you can update the following columns: ObjectDisplayName, ParentName, Comment, Fields, Calculations, Constraints, Lineage, ObjectSearchNoFields, ObjectSearch, AutoextractSearch, PreviewSearch, AccelerationSearch, BaseSearch, and TsidxNamespace.

UPDATE Datasets SET Description = 'model description', DisplayName = 'Model Display Name' WHERE DataModelId = 'SampleModel' 

UPDATE Datasets SET ParentName = 'BaseEvent', BaseSearch = '| search (index=* OR index=_*) | fields _time, RootObject', AccelerationSearch = ' search (index=* OR index=_*) ' WHERE DataModelId = 'SampleModel' AND ObjectName = 'SampleSet' 

Delete

Datasets can be deleted by providing the DataModelId and the ObjectName of the dataset.

DELETE FROM Datasets WHERE DataModelId = 'SampleModel' AND ObjectName = 'SampleSet'

Columns

Create, query, update, and delete search jobs in Splunk.

Select

The Cloud will use the Splunk APIs to process the search Id (Sid) criteria specified in the WHERE clause. The Sid column supports server-side processing for the = operator. The Cloud processes other search criteria client-side within the Cloud.

SELECT * FROM SearchJobs
SELECT * FROM SearchJobs WHERE Sid = '123456789.1234' 

Insert

Splunk allows inserts only when EventSearch is specified. You can insert the Custom, EarliestTime, LatestTime, Label, and StatusBuckets columns and all pseudocolumns.

INSERT INTO SearchJobs (Custom, EventSearch, LatestTime, Timeout) VALUES ('custom1=test1, custom2=test2', ' from datamodel SampleModel', 'now', '60')

Update

The SearchJobs table allows updates of the Custom column only when Sid is specified.

UPDATE SearchJobs SET Custom = 'custom1=test3, custom2=test4' WHERE sid = '123456789.1234' 

Delete

SearchJobs can be deleted by providing the Sid.

DELETE FROM SearchJobs WHERE Sid = '123456789.1234'

Columns

Pseudo-Columns

SELECT ステートメントのWHERE 句では、疑似カラムフィールドを使用して、データソースから返されるタプルを詳細に制御することができます。

ビューは、データを示すという点でテーブルに似ていますが、ビューは読み取り専用です。

クエリは、ビューに対して通常のテーブルと同様に実行することができます。

CData Cloud - Splunk ビュー

A dataset object in the example InternalServer data model.

Select

This is an example of a dataset view. These views are generated from dataset objects inside a data model. The Cloud will use the Splunk APIs to process the following query components; the Cloud processes other parts of the query client-side in memory.

All columns support server-side processing for the following operators and functions:

• Operators: =, <, >, >=, <=, IN, IS NULL, IS NOT NULL, NOT
• Functions: AVG, SUM, MIN, MAX, COUNT, STDEV, STDEVP, VAR, VARP

LIMIT, ORDER BY, GROUP BY, and HAVING are also processed server-side. An exception is the case when in the selected columns, there are fields that are not in the GROUP BY, and GROUP BY, criteria, and limiting are handled client-side.

In the case when an unsupported criteria or function is used, all processing will be completed client-side (except selecting specified fields). This is also the case when a SELECT statement has a column that is not in the GroupBy clause.

For example, the Cloud uses the Splunk APIs to process the following queries.

SELECT Component, Timeendpos as Timeend FROM [AlertsInInternalServer] WHERE Component = 'Saved' OR EventType != '' AND Priority IS NOT NULL AND Linecount NOT IN ('1', '2') ORDER BY Priority DESC LIMIT 5 

SELECT AVG(Suppressed), Priority FROM [AlertsInInternalServer] GROUP BY Priority HAVING AVG(Suppressed) > 0 

Columns

An example lookup report representing a view based on a saved report in Splunk.

Select

This is an example of a report view. These views are generated from saved reports in Splunk.

The Cloud will use the Splunk APIs to process the following query components; the Cloud processes other parts of the query client-side in memory.

Saved Search

Runs a saved search, or report, and returns the search results of a saved search. If the search contains replacement placeholder terms, such as $replace_me$, the search processor replaces the placeholders with the strings you specify.

For example:

• SELECT * FROM mysearch WHERE replace_me = 'value'

Will generate the following search statement:

• | savedsearch mysearch replace_me="value"

All replacement placeholder terms will be dynamic and saved as Pseudo-Columns.

All columns support server-side processing for the following operators and functions:

• Operators: =, <, >, >=, <=, IN, IS NULL, IS NOT NULL, NOT, LIKE
• Functions: AVG, SUM, MIN, MAX, COUNT, STDEV, STDEVP, VAR, VARP

LIMIT, ORDER BY, GROUP BY, and HAVING are also processed server-side. An exception is the case when in the selected columns, there are fields that are not in the GROUP BY, and GROUP BY, criteria, and limiting are handled client-side.

In the case when an unsupported criteria or function is used, all processing will be completed client-side (except selecting specified fields). This is also the case when a SELECT statement has a column that is not in the GROUP BY clause.

For example, the Cloud processes the following queries server-side:

SELECT Country, Subregion as Sub FROM LookUpReport WHERE Iso2 != '123' OR continent = 'Europe' AND iso3 NOT IN ('example_1', 'example_2') ORDER BY Country DESC LIMIT 5 

SELECT AVG(Iso2), Subregion FROM LookUpReport GROUP BY Subregion HAVING AVG(Iso2) > 0 

Columns

An example of a table object inside a data model.

Select

This is an example of a view generated from a table object inside a data model. The Cloud will use the Splunk APIs to process the following query components; the Cloud processes other parts of the query client-side in memory.

All columns support server-side processing for the following operators and functions.

• Operators: =, <, >, >=, <=, IN, IS NULL, IS NOT NULL, NOT
• Functions: AVG, SUM, MIN, MAX, COUNT, STDEV, STDEVP, VAR, VARP

LIMIT, ORDER BY, GROUP BY, and HAVING are also processed server-side. An exception is the case when in the selected columns, there are fields that are not in the GROUP BY, and GROUP BY, criteria, and limiting are handled client-side.

In the case when an unsupported criteria or function is used, all processing will be completed client-side (except selecting specified fields). This is also the case when a SELECT statement has a column that is not in the GROUP BY clause.

For example, the following queries are processed server side:

SELECT Component, Timeendpos as Timeend FROM [UploadedModel] WHERE Component = 'Saved' OR DEST_CITY_MARKET_ID != '' AND DEST_AIRPORT_ID NOT IN ('1', '2') ORDER BY ORIGIN_AIRPORT_ID DESC LIMIT 5 

SELECT AVG(DEST_AIRPORT_ID), ORIGIN_AIRPORT_ID FROM [UploadedModel] GROUP BY ORIGIN_AIRPORT_ID HAVING AVG(DEST_AIRPORT_ID) > 0 

Columns

ストアドプロシージャはファンクションライクなインターフェースで、Splunk の単純なSELECT/INSERT/UPDATE/DELETE 処理にとどまらずCloud の機能を拡張します。

ストアドプロシージャは、パラメータのリストを受け取り、目的の機能を実行し、プロシージャが成功したか失敗したかを示すとともにSplunk から関連するレスポンスデータを返します。

CData Cloud - Splunk ストアドプロシージャ

The HTTP Event Collector (HEC) lets you send data and application events to a Splunk deployment over the HTTP and Secure HTTP (HTTPS) protocols.

Input

Result Set Columns

Create a data index.

Input

Result Set Columns

Create a saved search.

Input

Result Set Columns

Delete a data index.

Input

Result Set Columns

Update a data index.

Input

Result Set Columns

Update a saved search.

Input

Result Set Columns

このセクションで説明されているシステムテーブルをクエリして、スキーマ情報、データソース機能に関する情報、およびバッチ操作の統計にアクセスできます。

スキーマテーブル

以下のテーブルは、Splunk のデータベースメタデータを返します。

• sys_catalogs：利用可能なデータベースをリスト。
• sys_schemas：利用可能なスキーマをリスト。
• sys_tables：利用可能なテーブルおよびビューをリスト。
• sys_tablecolumns：利用可能なテーブルおよびビューのカラムについて説明。
• sys_procedures：利用可能なストアドプロシージャについて説明。
• sys_procedureparameters：ストアドプロシージャパラメータについて説明。
• sys_keycolumns：主キーおよび外部キーについて説明。
• sys_indexes：利用可能なインデックスについて説明。

データソーステーブル

以下のテーブルは、データソースへの接続方法およびクエリ方法についての情報を返します。

• sys_connection_props：利用可能な接続プロパティについての情報を返す。
• sys_sqlinfo：Cloud がデータソースにオフロードできるSELECT クエリについて説明。

クエリ情報テーブル

次のテーブルは、データ変更クエリのクエリ統計を返します。

• sys_identity：バッチ処理または単一の更新に関する情報を返す。

利用可能なデータベースをリストします。

次のクエリは、接続文字列で決定されるすべてのデータベースを取得します。

SELECT * FROM sys_catalogs

Columns

利用可能なスキーマをリストします。

次のクエリは、すべての利用可能なスキーマを取得します。

          SELECT * FROM sys_schemas
          

Columns

利用可能なテーブルをリストします。

次のクエリは、利用可能なテーブルおよびビューを取得します。

          SELECT * FROM sys_tables
          

Columns

利用可能なテーブルおよびビューのカラムについて説明します。

次のクエリは、DataModels テーブルのカラムとデータ型を返します。

SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='DataModels' 

Columns

利用可能なストアドプロシージャをリストします。

次のクエリは、利用可能なストアドプロシージャを取得します。

          SELECT * FROM sys_procedures
          

Columns

ストアドプロシージャパラメータについて説明します。

次のクエリは、SelectEntries ストアドプロシージャのすべての入力パラメータについての情報を返します。

SELECT * FROM sys_procedureparameters WHERE ProcedureName='SelectEntries' AND Direction=1 OR Direction=2

Columns

主キーおよび外部キーについて説明します。

次のクエリは、DataModels テーブルの主キーを取得します。

         SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='DataModels' 
          

Columns

外部キーについて説明します。

次のクエリは、他のテーブルを参照するすべての外部キーを取得します。

         SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'
          

カラム

主キーについて説明します。

次のクエリは、すべてのテーブルとビューから主キーを取得します。

         SELECT * FROM sys_primarykeys
          

Columns

利用可能なインデックスについて説明します。インデックスをフィルタリングすることで、より高速なクエリ応答時間でセレクティブクエリを記述できます。

次のクエリは、主キーでないすべてのインデックスを取得します。

          SELECT * FROM sys_indexes WHERE IsPrimary='false'
          

Columns

利用可能な接続プロパティと、接続文字列に設定されている接続プロパティに関する情報を返します。

このテーブルをクエリする際は、config 接続文字列を使用する必要があります。

jdbc:cdata:splunk:config:

この接続文字列を使用すると、有効な接続がなくてもこのテーブルをクエリできます。

次のクエリは、接続文字列に設定されている、あるいはデフォルト値で設定されているすべての接続プロパティを取得します。

SELECT * FROM sys_connection_props WHERE Value <> ''

Columns

Cloud がデータソースにオフロードできるSELECT クエリ処理について説明します。

SQL 構文の詳細については、SQL 準拠 を参照してください。

データソースのSELECT 機能

以下はSQL 機能のサンプルデータセットです。 SELECT 機能のいくつかの側面がサポートされている場合には、カンマ区切りのリストで返されます。サポートされていない場合、カラムにはNO が入ります。

次のクエリは、WHERE 句で使用できる演算子を取得します。

SELECT * FROM sys_sqlinfo WHERE Name = 'SUPPORTED_OPERATORS'

Columns

試行された変更に関する情報を返します。

次のクエリは、バッチ処理で変更された行のId を取得します。

         SELECT * FROM sys_identity
          

Columns

Authentication

SSL

Logging

Schema

Miscellaneous

このセクションでは、本プロバイダーの接続文字列で設定可能なAuthentication プロパティの全リストを提供します。

Whether to use Basic Authentication, AccessToken or HTTPEventCollectorToken Authentication when connecting to Splunk

Possible Values

データ型

string

デフォルト値

"Basic"

解説

• Basic: Set this to perform Basic authentication.
• AccessToken: Set this to perform Token Based Authentication via the AccessToken property.
• HTTPEventCollectorToken: Set this to perform Token Based Authentication for Event Controller via the HTTPEventCollectorToken property.

The Access Token used for accessing your Splunk account.

データ型

string

デフォルト値

""

解説

The Access Token used for accessing your Splunk account.

The HTTP Event Collector Token is used for accessing the HTTP Event Controller feature on your Splunk account.

データ型

string

デフォルト値

""

解説

The HTTP Event Collector Token is used for accessing the HTTP Event Controller feature on your Splunk account.

The URL to your Splunk endpoint.

データ型

string

デフォルト値

""

解説

The URL to your Splunk endpoint; for example, https://yoursitename.splunk.com:8089.

The port should be set to the Splunk management port (default 8089).

認証で使用されるSplunk ユーザーアカウント。

データ型

string

デフォルト値

""

解説

このフィールドは、Password とともに、Splunk サーバーに対して認証をするために使われます。

ユーザーの認証で使用されるパスワード。

データ型

string

デフォルト値

""

解説

User およびPassword を一緒に使用してサーバーで認証を行います。

このセクションでは、本プロバイダーの接続文字列で設定可能なSSL プロパティの全リストを提供します。

TLS/SSL を使用して接続するときに、サーバーが受け入れ可能な証明書。

データ型

string

デフォルト値

""

解説

TLS/SSL 接続を使用する場合は、このプロパティを使用して、サーバーが受け入れるTLS/SSL 証明書を指定できます。コンピュータによって信頼されていない他の証明書はすべて拒否されます。

このプロパティは、次のフォームを取ります：

これを指定しない場合は、マシンが信用するすべての証明書が受け入れられます。

すべての証明書の受け入れを示すには、'*'を使用します。セキュリティ上の理由から、これはお勧めできません。

このセクションでは、本プロバイダーの接続文字列で設定可能なLogging プロパティの全リストを提供します。

ログファイルの記述をどの程度の詳細さで記載するかを決定するverbosity レベル。

データ型

string

デフォルト値

"1"

解説

Verbosity レベルは、Cloud がLogfile にどの程度の詳細さで記載するかを決定します。1 から5 までのVerbosity レベルがサポートされています。より詳しい説明は、ログ ページに記載されています。

このセクションでは、本プロバイダーの接続文字列で設定可能なSchema プロパティの全リストを提供します。

このプロパティは、使用可能なスキーマのサブセットにレポートされるスキーマを制限します。例えば、BrowsableSchemas=SchemaA,SchemaB,SchemaC です。

データ型

string

デフォルト値

""

解説

スキーマをデータベースからリストすると、負荷がかかる可能性があります。接続文字列でスキーマのリストを提供すると、 パフォーマンスが向上します。

このセクションでは、本プロバイダーの接続文字列で設定可能なMiscellaneous プロパティの全リストを提供します。

Whether or not the CData ADO.NET Provider for Splunk should push the internal fields. These fields include: user, eventtype, etc.

データ型

bool

デフォルト値

false

解説

Whether or not the CData Cloud should push the internal fields. These fields include: user, eventtype, etc.

クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。

データ型

int

デフォルト値

-1

解説

クエリで集計またはGROUP BY を使用しない場合に返される行数を制限します。これはLIMIT 句よりも優先されます。

Specifies the number of concurrent requests. Only used when UseJobs is true.

データ型

string

デフォルト値

"5"

解説

This property allows you to issue multiple requests simultaneously, thereby improving performance. Default value is 5 threads. Setting a higher value can result in OutOfMemory issues.

Splunk から返されるページあたりの結果の最大数。

データ型

int

デフォルト値

10000

解説

Pagesize プロパティは、Splunk から返されるページあたりの結果の最大数に影響を与えます。より大きい値を設定すると、1ページあたりの消費メモリが増える代わりに、パフォーマンスが向上する場合があります。

このプロパティは、テーブルのカラムとして疑似カラムが含まれているかどうかを示します。

データ型

string

デフォルト値

""

解説

Entity Framework ではテーブルカラムでない疑似カラムに値を設定できないため、この設定はEntity Framework で特に便利です。この接続設定の値は、"Table1=Column1, Table1=Column2, Table2=Column3" の形式です。"*=*" のように"*" 文字を使用して、すべてのテーブルとすべてのカラムを含めることができます。

Set this property to control the number of rows scanned when TypeDetectionScheme is set to RowScan.

データ型

string

デフォルト値

"50"

解説

Determines the number of rows used to determine the column data types.

Setting a high value may decrease performance. Setting a low value may prevent the data type from being determined properly, especially when there is null data.

タイムアウトエラーがスローされ、処理をキャンセルするまでの秒数。

データ型

int

デフォルト値

60

解説

Timeout が0に設定されている場合は、操作がタイムアウトしません。処理が正常に完了するか、エラー状態になるまで実行されます。

Timeout の有効期限が切れても処理が完了していない場合は、Cloud は例外をスローします。

Determines how to determine the data type of columns.

Possible Values

データ型

string

デフォルト値

"RowScan"

解説

Specifies whether to use the jobs endpoint instead of the export endpoint. If set to true, the maximum number of returned rows is configured Splunk's limit.conf file.

データ型

bool

デフォルト値

false

解説

Whether to use the jobs endpoint instead of the export endpoint. While Jobs generally provide higher performance, the initial response time may be longer. If a Timeout error occurs, set the Timeout connection property to a higher value.