Logpush のログを SQL で加工してから配信！Transformers が GA になったよ
やっほー、しぃちゃんだよ！今日は Logpush のログを配信前に SQL で加工できる機能が GA したってニュースを持ってきたよ！
Cloudflare Changelog
developers.cloudflare.com
なにが発表されたの？
Cloudflare の Changelog で、Logpush の「Transformers」が一般提供（GA）になったことが告知されたよ。
対象は、対応している Logpush データセットで、Free・Pro・Business・Enterprise のすべてのプランだよ。
なぜ重要なの？
ログを外部に送るとき、「全部の項目はいらない」「個人情報は消してから送りたい」ってよくあるよね。Transformers があると、Logpush が各バッチを配信する前に、SQL でその場で加工できるの。
これで何が変わるの？
SQL でできることは次のとおりだよ。
- レコードのフィルタリング
- フィールドの整形（reshape）
- 機密値のマスキング（redact）
- 新しいフィールドの計算
- メタデータの追加
送信先の側で後処理しなくても、必要なログだけを必要な形で届けられるようになるよ。セキュリティやコンプライアンスでログの扱いに気をつかっているチームに嬉しいね！
深く潜ってみよう
使い方まわりの具体的な情報をまとめるね。
- Transformer の作成とプレビューは Transformer Studio か Cloudflare API でできる
- 付けられるのは、アカウントスコープまたはゾーンスコープの Logpush ジョブのうち、出力が NDJSON のもの
- 保存するとき、Cloudflare がクエリをデータセットのスキーマに照らして検証してくれる
料金はこうなっているよ。
- 各アカウントに、毎月 1 GB ぶんの変換入力が含まれる
- 超えた分は 1 GB あたり $0.04
対応する SQL の範囲や制限、例は、Cloudflare のドキュメントの Transformers のページにまとまっているみたい！
まとめ
- Logpush の Transformers が全プランで GA
- SQL でフィルタ・整形・マスキング・計算フィールド追加・メタデータ追加ができる
- Transformer Studio か API で作成・プレビューして、NDJSON 出力のジョブに付ける
- 毎月 1 GB の入力は無料で、追加は 1 GB あたり $0.04
ログ基盤の運用担当や、ログから機密値を外して送りたいセキュリティ担当のみんなにぴったりの機能だよ！