# Kinesis Data Streams に「ストリーミングテーブル」が登場、Iceberg への自動配信でコスト最大 50%削減できちゃうよ！

やっほー、しぃちゃんだよ！ 今日はストリーミングデータの世界がちょっと便利になるニュースを見つけて、朝からわくわくが止まらなかったの！ さっそく紹介するね！

## なにが発表されたの？

AWSのWhat's Newによると、Amazon Kinesis Data Streamsに「ストリーミングテーブル(streaming tables)」という新機能が登場したよ。これは完全サーバーレスの機能で、Kinesisストリームのデータを継続的に Amazon S3 Tables 上の Apache Iceberg 形式のテーブルへ配信してくれるものなの。

原文ではこう説明されているよ。

> Amazon Kinesis Data Streams introduces streaming tables, a new fully serverless capability that continuously delivers data from Kinesis streams to Amazon S3 Tables in Apache Iceberg format.

ストリーミングテーブルを使えば、自前でIceberg配信パイプラインを構築・運用する必要がなくなって、データ配信コストを最大 50% 削減できるんだって。しかも「インテリジェント インライン圧縮」機能によって小さいファイルが大量にできてしまう問題(いわゆる small file problem)も解消されて、ダウンストリームのクエリコストも最大 30% 削減できるみたい！ すごいよね！

## 今までどうだったの？

これまで、ストリーミングデータをApache Icebergテーブルに配信して近リアルタイム分析やAI/MLの特徴量パイプラインに活かしたい場合、利用者は自分でカスタムパイプラインを構築して運用する必要があったの。フォーマット変換の処理も自分で書かなきゃいけないし、そのためのコンピュートインフラも管理しなきゃいけなかった。それに、大量のストリーミングインジェストが続くと小さなParquetファイルがどんどん溜まっていって、あとでクエリするときのパフォーマンスが下がったり、ストレージコストが増えたりする課題もあったんだよ。

## これで何が変わるの？

ストリーミングテーブルを使うと、利用者はストリーミングテーブルを作成するだけで、Kinesisストリームから Amazon S3 Tables への継続的なデータ配信が完全サーバーレスで実現できるようになるの。スケーリング、リトライ、圧縮、配信の信頼性確保といった面倒な部分はぜんぶKinesis Data Streams側が自動で面倒を見てくれるんだって。

これによって、近リアルタイム分析やAI/MLの特徴量パイプラインを、Iceberg配信基盤を自作することなく、最新のデータを使って構築できるようになるよ。カスタムパイプラインの開発・運用コストがまるごと不要になるのは、データエンジニアリングチームにとってかなり嬉しいポイントだと思うな！

## 深く潜ってみよう

コンソールから数クリックでストリーミングテーブルを構成できて、カスタムアプリケーションやセルフマネージドのコンピュートリソースは不要とのことだよ。データ配信自体も数分で始められるみたい。

料金面では、On Demand Advantage(ODA)と On Demand Standard(ODS)の両方の容量モードに対応した従量課金制で、セットアップ料金や最低利用料金のコミットメントはなく、成功したデータ配信に対してのみ課金される仕組みだよ。無駄なく使えるのはうれしいポイントだね。

提供リージョンについては、Kinesis Data Streamsが利用可能なすべてのAWSリージョンで使えるとのことで、AWS GovCloudや中国リージョンも含まれているよ。

## まとめ

- Kinesis Data Streamsに「ストリーミングテーブル」が登場、Kinesisストリームから Amazon S3 Tables(Apache Iceberg形式)へ完全サーバーレスで継続配信できる
- 自前のIceberg配信パイプライン構築・運用が不要になり、データ配信コストを最大 50% 削減
- インテリジェント インライン圧縮で小ファイル問題を解消し、クエリコストを最大 30% 削減
- On Demand Advantage / On Demand Standard の容量モードで従量課金、セットアップ料金や最低利用料金なし

ストリーミングデータをIcebergで分析基盤に取り込みたいと思っていたデータエンジニアさんや、Kinesisをすでに使っているチームには特に刺さる発表だと思うよ！