理論

IoTデータ処理とSQLクエリにおけるコスト効率的なアプローチ

1. データストレージの選択

• Amazon S3
• 高耐久性と低コストを兼ね備えたオブジェクトストレージ。
• Hadoop Distributed File System (HDFS) の代替として有効。
• 短時間のクエリや断続的な使用に最適。

• HDFSとの違い
• HDFS：常時稼働するクラスターが必要 → コスト高。
• S3：サーバーレスでスケーラブル → コスト削減。

2. クエリツールの選択

• Amazon Athena
• S3内のデータに直接SQLクエリを実行可能なサーバーレスツール。
• Prestoをベースにしており、ORC形式に対応。
• 必要なクエリ実行分だけ課金されるため、断続的な使用に最適。

• S3との連携：HadoopやSparkなどのビッグデータフレームワークが、Amazon S3をHDFSのように扱える。

• データの永続性：HDFSと異なり、データはS3に保存されるため、クラスターが停止してもデータが失われない。

• アクセス管理：IAMロールやポリシーを使用してS3データへのアクセスを制御可能。

• 一貫性モデル：S3の最終的な整合性を補完するため、データの一貫性を向上させる「強い整合性ビュー」機能を提供。

• データ分析特化：ペタバイト規模のデータを高速に分析可能。

• SQLサポート：標準的なSQLを使ってデータにクエリを実行できる。

• スケーラブル：ノードを追加してパフォーマンスやストレージを拡張可能。

• 統合：ETLツールやBIツール（例：Tableau、QuickSight）と容易に統合可能。

• コスト効率：オンデマンド料金モデルで、ストレージとコンピューティングを分離可能（RA3インスタンス）。

• 直接クエリ：S3上のファイル（例：ORC、Parquet、CSV）をRedshiftからそのままクエリ可能。

• スケーラブル：クエリごとにスケーラブルなコンピューティングリソースを使用。

• 統合：Redshift内のデータとS3上のデータを統合して分析可能。

• 用途：大量データのオンデマンド分析や、データウェアハウスとデータレイクの組み合わせに適している。

実践

一問道場