368-AWS SAP AWS 「理論・実践・一問道場」Kafka

type

status

date

slug

summary

理論

フラッグシップ（flagship）とは、企業の製品やサービスの中で最も重要なものや代表的なものを指す言葉です。旗艦（きかん）とも呼ばれ、企業の顔となるモデルを意味します

Apache Kafkaとは、分散型のストリーミングプラットフォームで、リアルタイムでのデータの送受信や処理をサポートするツールです。Kafkaは大規模なデータのストリームを扱うために設計されており、高いスループット、耐障害性、スケーラビリティを提供します。

主な機能:

メッセージングシステム: Kafkaは、プロデューサー（データを送信する側）とコンシューマー（データを受信する側）間のメッセージ交換を効率的に行います。データはトピックという論理的なチャネルを通じて送受信され、トピックは複数のパーティションに分割できます。

ストリーム処理: Kafkaは単なるメッセージングだけでなく、データのストリーム処理もサポートします。リアルタイムでデータの変換やフィルタリングを行い、データフローを管理する機能を持っています。

高可用性と耐障害性: Kafkaはデータのレプリケーションをサポートし、複数のサーバーにデータを保存することで、高可用性を実現します。サーバーがダウンしてもデータは失われません。

スケーラビリティ: Kafkaは大規模なデータストリームを効率的に処理できるため、数百万のメッセージを扱うシステムにも対応できます。パーティションを使ってデータを分散し、スケールアップまたはスケールアウトが可能です。

永続性: Kafkaは、データをディスクに永続化し、必要に応じて再処理することができます。これにより、メッセージが失われることなく、一定期間データを保存することができます。

具体的な使用ケース:

リアルタイムのログ収集: Kafkaはアプリケーションやサーバーからリアルタイムでログを収集し、モニタリングや分析に役立てます。

イベント駆動アーキテクチャ: 分散システムでのイベントや通知を非同期に処理する際に利用されます。

ストリーム処理: リアルタイムでのデータ分析やトランザクション処理に用いられます。たとえば、オンラインストアの顧客行動データをリアルタイムで処理する場合などです。

Amazon Managed Streaming for Apache Kafka (Amazon MSK)

AWSでは、Apache Kafkaをマネージドサービスとして提供する「Amazon MSK」が利用できます。これにより、ユーザーはKafkaのインフラの管理から解放され、スケーラブルで高可用なストリーミングシステムを迅速に構築できます。Amazon MSKは、次のような利点があります：

簡素化された管理: Kafkaのセットアップや運用を簡素化し、スケーリングやパッチ適用をAWSが管理します。

フルマネージド: インフラの管理が不要で、運用の手間を大幅に減らします。

AWS統合: 他のAWSサービス（例：AWS LambdaやAmazon S3）との統合が容易で、データフローをさらに効率化できます。

実践

略

一問道場

ある会社には、複数のAmazon EC2インスタンスにデプロイされたコンテナ化されたアプリケーションサービスがあります。Apache KafkaクラスターがEC2インスタンスにデプロイされ、PostgreSQLデータベースはAmazon RDS for PostgreSQLに移行されています。会社は、新しいバージョンのフラッグシップ製品のリリース時にプラットフォームの注文が大幅に増加することを予測しています。

現在のアーキテクチャにどのような変更を加えれば、運用のオーバーヘッドを削減し、製品のリリースをサポートできるでしょうか？

A. アプリケーションロードバランサーの背後にEC2オートスケーリンググループを作成します。データベースインスタンスに追加のリードレプリカを作成します。Amazon Kinesisデータストリームを作成し、アプリケーションサービスをデータストリームに接続します。静的コンテンツを直接Amazon S3から提供します。

B. アプリケーションロードバランサーの背後にEC2オートスケーリンググループを作成します。データベースインスタンスをMulti-AZモードでデプロイし、ストレージのオートスケーリングを有効にします。Amazon Kinesisデータストリームを作成し、アプリケーションサービスをデータストリームに接続します。静的コンテンツを直接Amazon S3から提供します。

C. EC2インスタンス上に作成したKubernetesクラスターにアプリケーションをデプロイし、アプリケーションロードバランサーの背後に配置します。データベースインスタンスをMulti-AZモードでデプロイし、ストレージのオートスケーリングを有効にします。Amazon Managed Streaming for Apache Kafkaクラスターを作成し、アプリケーションサービスをクラスターに接続します。静的コンテンツをAmazon S3に格納し、Amazon CloudFrontディストリビューションの背後で提供します。

D. Amazon Elastic Kubernetes Service (Amazon EKS)を使用してアプリケーションをデプロイし、AWS Fargateでオートスケーリングを有効にし、アプリケーションロードバランサーの背後に配置します。データベースインスタンスに追加のリードレプリカを作成します。Amazon Managed Streaming for Apache Kafkaクラスターを作成し、アプリケーションサービスをクラスターに接続します。静的コンテンツをAmazon S3に格納し、Amazon CloudFrontディストリビューションの背後で提供します。

解説

この問題では、アーキテクチャの変更を通じて、運用オーバーヘッドを削減し、プラットフォームの注文増加を支えるために必要なリソースやアーキテクチャを選定する必要があります。選択肢にある各解決策について詳しく解説します。

A. EC2 Auto Scalingグループ、Kinesisデータストリーム、S3の使用

EC2 Auto Scaling：EC2インスタンスのスケーリングにより、負荷の変動に対応できるため、リソース不足を回避できます。

Kinesisデータストリーム：データストリームを使用することで、リアルタイムでデータを収集・処理できるようになり、アプリケーションのスケーラビリティを向上させます。

S3からの静的コンテンツ提供：静的コンテンツをS3に格納し提供することで、サーバーの負荷を軽減できますが、Kafkaの管理を維持し続ける必要があり、他の選択肢に比べて管理負担が大きくなります。

B. EC2 Auto Scalingグループ、Kinesisデータストリーム、S3の使用、DBのMulti-AZ設定

Multi-AZ設定：RDSをMulti-AZで構成することで、可用性が高まり、災害復旧の準備が整います。データベースの耐障害性を向上させるためには重要です。

ストレージオートスケーリング：RDSのストレージが自動的にスケールするため、ディスク容量の管理が簡単になります。

静的コンテンツの提供：S3から静的コンテンツを提供する点は、Aと同じですが、データベースの高可用性を確保するための追加要素が含まれています。

C. Kubernetesクラスター、Kafkaの管理、S3 + CloudFront

Kubernetesクラスター：Kubernetesの使用は、アプリケーションをコンテナ化してより効率的にスケーリングできるため、サービスを管理しやすくします。

Amazon Managed Streaming for Apache Kafka：Kafkaをマネージドサービスとして使用することで、インフラの管理が簡素化され、可用性が向上します。これにより運用のオーバーヘッドが減少します。

CloudFrontによる静的コンテンツ配信：CloudFrontを利用することで、コンテンツ配信の速度が向上し、リクエストの負荷分散が可能になります。

D. Amazon EKS、Fargate、Kafka、CloudFront

Amazon EKS：EKSにより、Kubernetesの管理がAWSに委託されるため、インフラの管理が大幅に簡略化されます。

Fargate：Fargateを使用することで、インフラの管理から解放され、コンテナのスケーリングが自動的に行われるため、運用オーバーヘッドを大幅に減少させます。

Kafkaの管理：Amazon Managed Streaming for Apache Kafkaにより、運用負担が軽減され、Kafkaの管理が簡単になります。

CloudFrontで静的コンテンツ配信：CloudFrontによるコンテンツ配信は、配信速度の向上とキャッシュによる負荷の軽減を実現します。

最適な選択肢：D

運用オーバーヘッドの削減：EKS、Fargate、Kafkaの管理がマネージドサービスとして提供されるため、インフラの管理負担を最小限に抑えることができます。また、静的コンテンツをCloudFrontを使って効率的に配信することができます。

スケーラビリティと可用性：EKSとFargateの組み合わせにより、アプリケーションのスケーラビリティが確保され、Kafkaを管理サービスとして利用することで、パフォーマンスや可用性の向上が期待できます。

このように、Dの選択肢は運用の簡素化、スケーラビリティの向上、可用性の確保に最も効果的な構成です。

理論

主な機能:

具体的な使用ケース:

Amazon Managed Streaming for Apache Kafka (Amazon MSK)

関連:

実践

一問道場

解説