理論

1. リアルタイムデータストリーミングと処理のためのAWSサービス

Amazon Kinesis

• Amazon Kinesisは、リアルタイムでデータを取り込み、処理するためのフルマネージドサービスです。主に3つの主要コンポーネントがあります：
• Kinesis Data Streams: 大規模で高頻度なデータをリアルタイムでストリーミングし、後で分析するために保存できます。センサーからのデータストリームを取り込むのに適しています。
• Kinesis Data Firehose: データをリアルタイムで取り込み、指定されたデスティネーション（S3、Redshiftなど）に送信するサービスです。リアルタイム分析というよりは、データの集積や保存に役立ちます。
• Kinesis Data Analytics: ストリーミングデータをリアルタイムで分析し、SQLやアプリケーションを使ってデータを処理できます。簡単なデータ変換、フィルタリング、集計などをリアルタイムで行えます。

AWS Lambda

• AWS Lambdaは、サーバーレスでコードを実行できるサービスで、特定のイベント（この場合、Kinesis Data Streamsからのデータ）に応じて自動的にコードを実行します。Lambdaは、データがKinesisに到達した際にそれを処理し、分析を行うのに役立ちます。

• Lambdaの利用により、従来のサーバー管理を必要とせず、スケーラブルで効率的なリアルタイム分析が可能です。

Amazon SNS (Simple Notification Service)

• Amazon SNSは、通知サービスであり、電子メールやSMSなどでメッセージを送信するために使用されます。KinesisやLambdaで分析した結果、アラートが発生した際に、SNSを利用して即座に通知を送ることができます。SNSは、低レイテンシで大規模な通知配信をサポートしており、広範囲なアラート通知システムの構築に役立ちます。

2. リアルタイムデータストリーミングのアーキテクチャ設計

1. データのストリーミング:
• 企業が工場に設置したセンサーが環境データ（湿度、温度、光など）をリアルタイムで送信します。これらのデータはAmazon Kinesis Data Streamsを利用してAWSクラウドに取り込まれます。Kinesis Data Streamsは、高スループットでデータをリアルタイムで収集するのに最適です。

2. データの処理と分析:
• 取り込んだデータはAWS Lambdaを使用して処理されます。Lambda関数は、Kinesisからデータを取得し、分析を行います。例えば、センサー値がしきい値を超えた場合には、それを検出してアラートをトリガーします。
• また、Amazon Kinesis Data Analyticsを使用すると、SQLを用いてリアルタイムデータの分析や集計ができます。これにより、データのパターンを分析したり、異常検出を行ったりできます。

3. 通知の発行:
• もしデータが許容範囲外に入った場合、Amazon SNSを利用してアラートを運用チームに送信します。これにより、リアルタイムで問題に対応できるようになります。

4. 通知の受信:
• SNSの通知は、運用チームのメンバーが迅速に対応できるように電子メールやSMSで送られます。これにより、工場内で即時の対応が可能となります。

3. サービス選択のポイント

• Kinesis Data Streams vs Kinesis Data Firehose:
Kinesis Data Streamsは、ストリーミングデータをリアルタイムで消費して処理する場合に使用します。一方、Kinesis Data Firehoseは、データのストレージ先に対するストリームの配信に特化しています。リアルタイム分析が求められる場合は、Kinesis Data Streamsが最適です。

• AWS Lambda vs Kinesis Data Analytics:
Lambdaはサーバーレスで、データをストリームから処理するために柔軟にカスタマイズできます。Kinesis Data Analyticsは、SQLで簡単な分析を行うために特化しており、リアルタイムデータのストリーミング解析に最適ですが、複雑なカスタム処理が必要な場合はLambdaが有効です。

• SNS vs SES:
SNSは通知サービスであり、複数の受信者に簡単に通知を送信できるため、アラートや通知配信に最適です。SES（Simple Email Service）は主に電子メールの送信に使いますが、SNSはより多様な通知方法を提供します。

実践

一問道場

質問 #404