Amazon Redshift のストリーミング取り込みが Kinesis Data Streams の 10 MiB レコードに対応したよ！

やっほー、しぃちゃんだよ！今日は AWS の新着ニュースをチェックしてたら、地味だけど実は結構大事なアップデートを見つけちゃった。データ基盤を触ってる人には嬉しい話だと思うから、さっそく紹介するね！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、Amazon Redshift のストリーミング取り込み機能が、Amazon Kinesis Data Streams(KDS)から受け取れるレコードサイズの上限を最大 10 MiB まで拡大したんだって。これまでの上限は 1 MiB だったから、単純計算で 10 倍のサイズアップになるよ。しかもこれは、KDS 側ですでに拡張されていた最大レコードサイズにぴったり合わせた形なんだって。

今までどうだったの？

これまでの Redshift のストリーミング取り込みでは、KDS から受け取れるレコードサイズが 1 MiB までに制限されていたの。KDS 自体はもっと大きなレコードサイズに対応していても、Redshift 側に取り込む時にはそのままだと入らなくて、大きなペイロードは事前に複数のレコードへ分割してから送る必要があったんだよね。この分割処理のせいで、取り込みパイプラインが複雑になりがちだったの。

これで何が変わるの？

上限が 10 MiB になったことで、レコードを分割しなくても大きなペイロードをそのまま Redshift にストリーミングできるようになったよ。分割・結合のロジックを組まなくて済む分パイプラインがシンプルになるし、これまでサイズ制限で諦めてたような大容量レコードを扱うユースケースにも挑戦しやすくなるはず！

深く潜ってみよう

今回のアップデートは、Amazon Redshift が利用できるすべての商用 AWS リージョンで、追加設定なしにもう使える状態になってるよ。KDS 側の 10 MiB 対応にようやく Redshift 側の受け入れ上限が追いついた形だから、すでに KDS で大きめのレコードを扱ってる人ほど恩恵を感じやすいんじゃないかな。

まとめ

• Amazon Redshift のストリーミング取り込みが、KDS からのレコードサイズ上限を 1 MiB から 10 MiB に拡大(10 倍)
• KDS 側の拡張済み最大レコードサイズにぴったり合わせた形
• レコード分割が不要になり、取り込みパイプラインをシンプルにできる
• Amazon Redshift が使えるすべての商用 AWS リージョンで利用可能

KDS から Redshift へ大きめのデータをストリーミングしてる人や、これまでレコード分割の仕組みを自前で作ってた人に特に刺さるアップデートだよ！