理論

目的

データの流れと処理のステップ

1. データ収集:
• オンプレミスシステム（センサーデバイス）から、Amazon Kinesis Data Streamsに対してリアルタイムでデータを送信します。
• このデータは、1秒間に8KBの遺伝子データが送信されるという前提です。

2. データ分析:
• Kinesisクライアント（例えば、AWS SDKやKinesis Client Library（KCL））を使用して、Kinesis Data Streamsに送られたデータをリアルタイムで取得し、分析します。
• 分析の内容としては、データの変換、集約、フィルタリングなどが考えられます。

3. データ処理（分散処理）:
• Amazon EMR（Elastic MapReduce）を使用して、Kinesis Data Streamsから取得したデータをさらに高度な処理を行います。EMRは、HadoopやApache Sparkを利用して、大量のデータを並列処理するためのプラットフォームです。
• ここでは、データの集約、解析、機械学習モデルの適用など、複雑な処理を行います。

4. 結果の保存:
• Amazon Redshift（データウェアハウス）に、処理されたデータや分析結果を保存します。
• Redshiftは、大量のデータを効率的に格納し、高速でクエリを実行できるため、分析後のデータを管理するために最適です。

まとめた流れ

1. オンプレミスデバイス → Kinesis Data Streams
センサーがリアルタイムでデータをKinesis Data Streamsに送信。

2. Kinesisクライアント → データ分析
Kinesisクライアントがデータをリアルタイムで処理・分析。

3. EMR → 高度なデータ処理
Amazon EMRを使用して、大規模なデータの分散処理や複雑な計算を実行。

4. Amazon Redshift → 結果保存
処理結果をAmazon Redshiftに格納し、後でクエリや分析を行う。

実践

一問道場

• 受信した遺伝子データのほぼリアルタイムでの分析を提供する

• データは柔軟で、並列的で、耐久性があることを保証する

• 処理結果をデータウェアハウスに提供する