IBM Cloud: Data EngineからAnalytics Engineへの移行・利用方法

Data EngineからAnalytics Engineへの移行

必要な準備

1. Analytics Engineのインスタンスを作成 IBM Cloudポータル上で「Analytics Engine」を検索し、オーダーページでインスタンスを作成します。（2024年3月現在、DallasとFrankfurtリージョンで利用可能）

2. データの準備 Data Engineで使用しているデータをIBM Cloud Object Storage (ICOS)に移動し、保存します。データソースや実行スクリプト、クエリ実行結果データをICOSに保存することが推奨されます。

Pythonスクリプトの準備

スクリプトの修正ポイント

• read_customer_data内の<#CosBucketPathWithFileName>：ソースデータファイルへのパスを指定します。形式は以下の通りです。
cos://<バケット名>.<サービス名>/<ファイル名>
例: cos://takason-bucket-for-analytics-engine.myservice/row-data.csv

• create_table内の<#TableName>：作成するテーブルの名前を指定します。

• query_to_fetch_data内の<#SQlQuery>：実行したいSQLクエリを指定します。

• upload_data内の<#CosBucketPathWithFileName>：出力データファイルのパスを指定します。 例: cos://takason-bucket-for-analytics-engine.myservice/sql-migrate.csv

Pythonスクリプトのアップロード

Analytics Engine APIを使ったクエリの実行例

• <APIエンドポイント>：Analytics EngineのService Credentials内のapplications_apiから取得します。

• <iam-bearer-token>：IBM Cloudドキュメントを参考にして取得します。

• <サービス名>：Pythonスクリプト内で指定したサービス名と同じものを指定します。

• <ICOS Direct エンドポイント>：ICOSの詳細画面から取得します。

• <api_key>：ICOSのService Credentials内のapikeyを指定します。

• <スクリプトへのパス>：ICOS上のPythonスクリプトへのパス（形式はcos://<バケット名>.<サービス名>/<ファイル名>）。

• <ランタイムバージョン>：Analytics Engine詳細画面のConfigurationに記載されているバージョンを指定します（例：3.3）。

ログ出力とトラブルシューティング

1. Analytics Engineと同じリージョンのLog AnalysisにPlatform Metricsを有効化します。

2. Log Analysisダッシュボードを開き、Sourcesをクリックしてibmanalyticsengineを選択します。