CloudflareがLogpushにTransformers機能を追加、SQLによるログのフィルタリングと加工が可能に

Cloudflareは、ログ転送サービス「Logpush」において、エクスポート前にデータを加工できる「Transformers」機能を一般公開しました。これまでLogpushはほぼリアルタイムにログを一括転送していましたが、本機能の導入により、転送パイプライン内でSQLクエリを適用できるようになります。これにより、特定の条件に合致しないレコードの除外や、機密情報のマスク処理、フィールドの追加・削除・リネームといった整形が可能になります。

実務上の利点として、分析基盤への送信前にデータを正規化できるほか、下流のシステムで即座に破棄されるような不要なログをフィルタリングすることで、データ転送量およびストレージコストの削減が見込めます。また、本アップデートに伴い、Logpush自体もすべてのセルフサービスプランで利用可能となりました。TransformersはデータセットごとにSQLを定義する仕様となっており、WHERE句によるレコードの絞り込みと、SELECT句による出力形式の制御をサポートしています。