CloudWatch pipelines にログのルーティングとパーサーの連鎖が登場！1 本で振り分けまで

やっほー、しぃちゃんだよ！今日はログ運用が楽になる CloudWatch のアップデートだよ。

なにが発表されたの？

AWS What's New で、Amazon CloudWatch pipelines が条件付きログルーティングとパーサーの連鎖(チェーン)に対応したと発表されたよ。ログデータの変換方法と、送り先の CloudWatch ロググループをもっと細かく制御できるの。

CloudWatch pipelines は、インフラを管理せずにテレメトリの取り込み・変換・CloudWatch へのルーティングができるフルマネージドサービスだよ。

ログのパイプラインには、本来は別々の場所に置きたい種類のイベントが混ざることがあるよね。さらに、あるログ形式の中に別の形式が入れ子になっていることもあって、扱いづらかったの。

条件付きルーティング: 処理後のフィールドに対する条件で、イベントごとに別のロググループへ送れる。重大度・ソース・種類で分けて、それぞれに合う保持期間とアクセス制御を適用できる
パーサーの連鎖: 複数のパーサープロセッサーを順に適用でき、後ろのパーサーは前のパーサーが作ったフィールドを使える

この 2 つで、さまざまなログ形式を構造化して、正しいロググループへの振り分けまで 1 本のパイプラインで済ませられるよ。

連鎖の例として、まず JSON のエンベロープをパースして、そこから取り出したフィールドに Grok パーサーを適用する、という使い方が挙げられているよ。

始めるには Amazon CloudWatch pipelines のドキュメントを見てね。

混在したログを整理して、保持期間やアクセス制御をロググループごとに使い分けたい運用担当さんに刺さるよ！