Massively Parallel Processing Installation and Configuration

Massively Parallel Processing (MPP) は、Kubernetes 用のパッケージマネージャであるHelm を使用してデプロイできます。このガイドでは、MPP Helm リポジトリの追加、MPP のインストール、カスタム設定によるアップグレード、values.yaml ファイルでの重要な値の設定について説明します。

CPU 使用率に応じてMPP ワーカーノード数を調整することをお勧めします。詳しくはMPP Sizing Recommendation をご覧ください。

Deployment and Configuration

Installation & Containerization

• CData Virtuality MPP はKubernetes (K8s) を使用してデプロイされます。

• Helm チャート経由でデプロイできるので、以下に簡単にインストールできます：

  • Azure Kubernetes Service (AKS)

  • Amazon Elastic Kubernetes Service (EKS)

• MPP エンジンはコンテナ化されており、Docker イメージは以下の場所にパブリッシュされています：

  • Docker Hub

  • Quay

• このシステムには3つのコアコンテナがあります：

  • Coordinator

  • Metastore

  • Worker(s)

Configuration Settings

• 初期設定はスクリプトベースです

• 主な構成は次のとおりです：

  • ワーカーノードの設定（CPU、メモリ割り当て）

  • メタストアのセットアップ

Pre-requisites

インストールを続行する前に、以下を確認してください：

• Kubernetes クラスタが実行中である；

• ローカルマシンにHelm がインストールされている；

• クラウドストレージの認証情報（AWS、Azure、Google Cloud、またはCDV ライセンスファイル）へのアクセス。

Step 1: Add the Helm Repository

MPP Helm リポジトリをHelm 構成に追加します：

このコマンドは、Helm が必要なときにMPP チャートを取得できるようにリポジトリを追加します。

Step 2: Install MPP

MPP をインストールするには、以下のコマンドを実行します：

これにより、デフォルト設定でMPP がインストールされます。次のステップで説明するように、values.yaml ファイルを使用して設定をカスタマイズすることもできます。

Step 3: Configure MPP with values.yaml

クラウドストレージの認証情報やその他の設定を定義するvalues.yaml ファイルを作成します。以下はサポートされているキーとその用途です：

• S3_ACCESS_KEY & S3_SECRET_KEY：ストレージにAmazon S3 を使用する場合は必須です。

• AZURE_ABFS_STORAGE_ACCOUNT & AZURE_ABFS_ACCESS_KEY：Azure Blob File System ストレージに必須です。

• GOOGLE_CLOUD_KEY_FILE_PATH：認証用のGoogle Cloud キーファイルへのパス。

• CDV_LICENSE_FILE_PATH：CDV を使用するためのライセンスファイルへのパス。

Step 4: Upgrade MPP with Custom Configurations

values.yaml を定義した後、次のコマンドを使用してカスタム設定を適用します：

これにより、指定した設定で既存のデプロイメントがアップグレードされます。

Verify the Installation

MPP が正しく動作していることを確認するには、Helm リリースのステータスを確認します：

実行中のポッドを確認するには：