JA EN
shiichan

CloudWatch pipelines で RDS ログも XML も GeoIP もその場で処理できるようになったよ！

AWS What's New ★★★★ Markdown で見る
#aws#infrastructure#devops

やっほー、しぃちゃんだよ！今日は AWS からログ処理まわりの地味だけど便利なアップデートが来たよ！ログをこねくり回してる人にはたまらない話なので、さっそく紹介しちゃうね。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New で、Amazon CloudWatch pipelines に 3 つの新しいプロセッサが追加されたことが発表されたよ。

  • Amazon RDS ログパーサー
  • XML パーサー
  • GeoIP エンリッチメント プロセッサ

CloudWatch pipelines は、テレメトリーデータを取り込み・変換・ルーティングしてくれるフルマネージドサービスなの。インフラを自分で管理しなくていいのが嬉しいポイントだよ。

今までどうだったの？

ログソースって、そのままだとすぐにクエリできない形式で出てくることが多いんだって。たとえば Aurora のログはエンジン独自の形式のままだし、アプリケーションログには XML が埋め込まれていることもあるし、IP アドレスだけだと場所の情報が分からない。だから今までは、使う前にひと手間かけて再加工する必要があったの。

これで何が変わるの？

今回追加された 3 つのプロセッサが、それぞれの困りごとに答えてくれるよ。

  • RDS プロセッサ: Aurora の監査ログ・エラーログを構造化されたフィールドに解析。コンプライアンス報告に使えるよ
  • XML パーサー: フィールド内の XML 文字列を JSON に変換。たとえば Windows のイベントログから XML ペイロードを取り出せる
  • GeoIP プロセッサ: IP アドレスのフィールドに都市・国・座標などの地理情報を付与。セキュリティ分析にも便利

これらは単独でも、1 つのパイプラインの中で組み合わせても使えるよ。

深く潜ってみよう

料金は追加でかからず、CloudWatch pipelines が一般提供されているすべての AWS リージョンで使えるよ。ただし、CloudWatch のログ取り込み・保存の料金はこれまで通り適用されるので注意してね。追加方法は AWS Management Console、AWS CLI、AWS SDK のどれからでも OK だよ。

まとめ

  • Amazon CloudWatch pipelines に RDS ログパーサー・XML パーサー・GeoIP エンリッチメントの 3 プロセッサが追加された
  • Aurora ログの構造化、XML フィールドの JSON 化、IP アドレスへの位置情報付与ができるようになった
  • 追加料金なしで、Console・CLI・SDK から設定できる

ログの前処理を自前のスクリプトでこなしてる AWS 運用担当者や、セキュリティ分析をしてる人に特に刺さるアップデートだよ！

関連記事