type
Post
status
Published
date
Oct 31, 2024
slug
summary
tags
IBM
ハンズオン
category
テクブログ
icon
password
IBM Cloud: Data EngineからAnalytics Engineへの移行・利用方法
2024年1月18日をもって、IBM CloudのData Engineは非推奨となり、2024年2月18日以降は新規インスタンスの作成ができなくなります。さらに、2025年1月18日をもってこのサービスは終了（EoS）するため、現在使用しているData Engineのインスタンスを後継サービスであるIBM Analytics Engineに移行する必要があります。本記事では、Analytics Engineの利用方法について説明します。
Data EngineからAnalytics Engineへの移行
必要な準備
- Analytics Engineのインスタンスを作成 IBM Cloudポータル上で「Analytics Engine」を検索し、オーダーページでインスタンスを作成します。（2024年3月現在、DallasとFrankfurtリージョンで利用可能）
- データの準備 Data Engineで使用しているデータをIBM Cloud Object Storage (ICOS)に移動し、保存します。データソースや実行スクリプト、クエリ実行結果データをICOSに保存することが推奨されます。
Pythonスクリプトの準備
Analytics Engineを使ってSQLバッチクエリを実行するには、以下のPythonスクリプトを使用します。
スクリプトの修正ポイント
read_customer_data内の<#CosBucketPathWithFileName>：ソースデータファイルへのパスを指定します。形式は以下の通りです。
cos://<バケット名>.<サービス名>/<ファイル名>例:
cos://takason-bucket-for-analytics-engine.myservice/row-data.csvcreate_table内の<#TableName>：作成するテーブルの名前を指定します。
query_to_fetch_data内の<#SQlQuery>：実行したいSQLクエリを指定します。
upload_data内の<#CosBucketPathWithFileName>：出力データファイルのパスを指定します。 例:cos://takason-bucket-for-analytics-engine.myservice/sql-migrate.csv
Pythonスクリプトのアップロード
修正したPythonスクリプトをICOSにアップロードします。アップロード場所は任意ですが、アーカイブ・データと同じICOSにアップロードすることが一般的です。
Analytics Engine APIを使ったクエリの実行例
Analytics Engine APIを使ってPythonスクリプト中のクエリを実行する手順は以下の通りです。
各項目は以下のように設定します。
<APIエンドポイント>：Analytics EngineのService Credentials内のapplications_apiから取得します。
<iam-bearer-token>：IBM Cloudドキュメントを参考にして取得します。
<サービス名>：Pythonスクリプト内で指定したサービス名と同じものを指定します。
<ICOS Direct エンドポイント>：ICOSの詳細画面から取得します。
<api_key>：ICOSのService Credentials内のapikeyを指定します。
<スクリプトへのパス>：ICOS上のPythonスクリプトへのパス（形式はcos://<バケット名>.<サービス名>/<ファイル名>）。
<ランタイムバージョン>：Analytics Engine詳細画面のConfigurationに記載されているバージョンを指定します（例：3.3）。
クエリの実行後、以下のAPIを使用してジョブの状態をチェックすることも可能です。
ログ出力とトラブルシューティング
クエリ実行中に失敗した場合は、Log Analysisを用いてログの詳細を確認することができます。以下の手順でPlatform Metricsを有効化し、ログを取得します。
- Analytics Engineと同じリージョンのLog AnalysisにPlatform Metricsを有効化します。
- Log Analysisダッシュボードを開き、
Sourcesをクリックしてibmanalyticsengineを選択します。
この際、認証エラーなどが発生した場合は、正しいAPIキーかどうかを確認しましょう。
以上が、IBM CloudのData EngineからAnalytics Engineへの移行手順とその利用方法に関する詳細なガイドです。これにより、スムーズな移行を実現し、引き続き効果的なデータ分析を行うことができるでしょう。
- Author:minami
- URL:https://www.minami.ac.cn/technology/130d7ae8-88e2-80b8-8df0-db750a1de0c2
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
