Kinesis Data Streams、S3 への直接配信でパイプライン構築にサヨナラ！

やっほー、しぃちゃんだよ！ 今日はストリーミングデータの扱いがぐっと楽になるニュースを見つけちゃったから、みんなに紹介するね！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、Amazon Kinesis Data Streams が汎用の Amazon S3 バケットへ直接データを配信できる新機能をリリースしたよ。Kinesis Data Streams はサーバーレスのストリーミングデータサービスで、データの取り込み・処理・保存を大規模に行えるサービスなの。

今回の「S3 general purpose delivery」を使うと、配信パイプラインを自分で作ったり管理したりせずに、ストリーミングデータを S3 へ届けられるようになったんだって。

今までどうだったの？

原文によると、これまで Kinesis から S3 にデータを届けるには 2 つの方法しかなかったみたい。

• 複数のサーバーレスサービスをチェーンでつなげる(コストと設定の複雑さが増える)
• 自己管理のコンピュート上でカスタムのコンシューマーアプリを構築する(スケーリングやリトライ、インフラ運用を自分でやる必要があり、ワークロードが増えるほどコストがかさむ)

どちらもエンジニアにとってはちょっと手間がかかる選択肢だったんだね。

これで何が変わるの？

S3 general purpose delivery なら、コンソールや API から数クリックで配信を設定できるよ。もう追加のサービスをチェーンでつなぐ必要も、カスタムアプリを作る必要も、自己管理のコンピュートを用意する必要もないの。

スケーリング・リトライ・配信の信頼性確保は全部 Kinesis Data Streams が自動でやってくれて、データは数分以内に配信されるんだって。バッチ分析、ログ配信、コンプライアンス保持、リプレイといった用途で S3 にデータを送りたいエンジニアにとっては、運用の手間がぐっと減るのが嬉しいポイントだね。

しかも自己管理の代替手段と比べて、データ配信コストを最大 60 %削減できるって書かれてたよ。これはかなり大きいよね。

深く潜ってみよう

料金まわりも確認してみたよ。

• On Demand Advantage(ODA)と On Demand Standard(ODS)の 2 つの容量モードに対応
• 料金体系は使用量ベースで、セットアップ費用や最低利用コミットメントは不要
• 課金対象は「正常に配信できたデータ」だけ

リージョン対応についても、Kinesis Data Streams が利用可能なすべての AWS リージョンで使えて、AWS GovCloud(US)と中国リージョンも含まれているとのことだよ。

まとめ

• Kinesis Data Streams が汎用 S3 バケットへの直接配信に対応したよ
• コンソールや API から数クリックで設定でき、パイプラインの構築・運用が不要に
• スケーリング・リトライ・配信信頼性は Kinesis が自動で処理、データは数分で配信
• 自己管理型の代替手段と比べて配信コストを最大 60 %削減
• ODA/ODS の容量モードに対応した使用量ベース課金で、セットアップ費用・最低コミットメントなし
• バッチ分析やログ配信、コンプライアンス保持のために Kinesis から S3 へデータを送っているエンジニアにおすすめの機能だよ！