387-AWS SAP AWS 「理論・実践・一問道場」Athena

type

status

date

slug

summary

理論

Amazon AthenaとS3の効率的なデータ管理に関する知識

AWSで大規模なログデータを扱う際、クエリパフォーマンスとコストを最適化するためには、データ管理戦略が重要です。以下に汎用的なポイントをまとめます。

1. パーティション化の重要性

概要: データを特定のキー（例: 日付、時間）で分割することで、クエリが必要なデータだけをスキャンするように制限できる。

メリット:

クエリの実行速度が大幅に向上。
スキャンするデータ量が減少し、Athenaのコストを削減可能。

実装例:

Kinesis Data Firehoseでデータを日付や時間でパーティション化し、S3に保存。
Athenaテーブル定義でPARTITIONED BY句を使用。

2. コンパクション（データの統合）

概要: 小さなファイルが多数存在すると、Athenaクエリの効率が低下する。複数の小さいファイルを1つの大きなファイルに統合することで、クエリパフォーマンスを向上させる。

実装: AWS GlueまたはAWS Lambdaを使用して、定期的にファイルを統合。

3. 適切なファイル形式の選択

推奨形式:

ParquetやORCなどの列指向形式を使用することで、データスキャン量をさらに削減可能。

理由:

列指向形式は特定の列だけを読み込むため効率的。
データサイズが圧縮され、ストレージコストも削減。

4. ログのライフサイクル管理

概要: S3バケットに保存されたログのライフサイクルポリシーを設定し、古いログを自動的に削除またはGlacierに移動。

メリット:

ストレージコストを削減。
S3バケットの管理を簡素化。

5. データカタログの活用

AWS Glue Data Catalog:

データスキーマを管理するためのサービス。
Athenaクエリの前にカタログを更新することで、最新のパーティションをクエリに含められる。

まとめ

パーティション化: データ量を減らし、クエリ速度とコストを最適化。

ファイル形式: Parquetなどの列指向形式で効率化。

データ統合: 小さなファイルをまとめてクエリ性能を向上。

ログ管理: ライフサイクルポリシーで不要なデータを削減。

データカタログ: Glueを活用してパーティション情報を管理。

これらのベストプラクティスを活用することで、Athenaを効率的に運用し、大量データの管理を最適化できます。

実践

略

一問道場

質問 #387

ある会社が新しいウェブアプリケーションをデプロイしました。そのセットアップの一環として、AWS WAFを設定し、Amazon Kinesis Data Firehoseを介してログをAmazon S3に送信しています。会社はAmazon Athenaクエリを開発し、毎日1回実行して、過去24時間のAWS WAFログデータを返すようにしています。

ログの毎日のボリュームは一定ですが、時間が経つにつれて、同じクエリの実行時間が増加しています。

ソリューションアーキテクトは、クエリ時間の増加を防ぐソリューションを設計する必要があります。このソリューションは、運用のオーバーヘッドを最小限に抑える必要があります。

次のうち、要件を満たすソリューションはどれですか？

選択肢：

A. AWS Lambda関数を作成し、毎日のAWS WAFログを1つのログファイルに統合する。

B. AWS WAFが毎日異なるS3バケットにログを送信するように設定し、スキャンするデータ量を削減する。

C. Kinesis Data Firehoseの設定を更新して、Amazon S3内のデータを日付と時刻でパーティション化する。Amazon Redshiftの外部テーブルを作成し、Amazon Redshift Spectrumを設定してデータソースをクエリする。

D. Kinesis Data Firehoseの設定とAthenaテーブルの定義を変更して、データを日付と時刻でパーティション化する。Athenaクエリを変更して、関連するパーティションを参照するようにする。