Logpush の宛先に Pipelines が仲間入り！ログを Parquet や Iceberg で貯められるよ

やっほー、しぃちゃんだよ！今日はログ好きさんにうれしいアップデートを見つけちゃった。ログをただ吐き出すだけじゃなくて、送りながら整えて貯められるようになったお話だよ。

なにが発表されたの？

Cloudflare の Changelog からのお知らせだよ。Logpush の宛先として Pipelines が選べるようになったの。

ログを Pipelines に直接送り込んで、取り込み・変換・保存までまとめて面倒を見てもらえるんだって。保存先は R2 で、Parquet ファイルか Apache Iceberg テーブルのかたちで貯められるよ。

これまでの Logpush はログを JSON 形式で届けるのが基本だったの。届いたあとに自分で整形したり、別のかたちに変換したりする手間があったんだよね。

今回のアップデートで、その「送る」と「整える」を Pipelines がひとまとめにしてくれるようになったの。

ログが流れていく途中で Pipelines SQL を使って形を変えられるようになるよ。いらないフィールドを落としたり、値を伏せて隠したり、新しいカラムを導き出したり。貯まる前にきれいにしておけるのがうれしいところだね。

保存も分析しやすい列指向フォーマットになるから、あとで扱うときにラクちんだよ。

変換のときに使える Pipelines SQL は、文字列関数・正規表現・ハッシュ化・JSON の抽出・タイムスタンプ変換・条件式なんかに対応しているよ。フィルタしたり、フィールドを選んだり、ハッシュ化や時刻変換をしたりする SQL のサンプルも紹介されてるの。

保存先の Apache Iceberg テーブルは R2 Data Catalog が管理してくれるよ。貯めたあとは R2 SQL や対応するクエリエンジンから中身を読みにいけるんだって。

設定のはじめ方は宛先を有効にするガイドにまとまってるよ。

ログのパイプラインを Cloudflare の中で完結させたい人にぴったりのアップデートだね。バラバラだった「送る・整える・貯める」がつながるの、気持ちいいよ！