Tips

【BigQuery初心者の日記 DAY2】パーティション分割テーブルークエリ課金額を節約するー

前回はパーティション分割テーブルのメリットについてまとめました。今回は具体的にどの程度クエリ課金額を節約できそうなのかを検証してみます。

検証してみる

パーティション分割テーブルの作成

パーティション列として、DATE型のカラムを使用しています。

パーティション列を使用してフィルタをかけてみる

何もしないと36.4GiBかかりますね。↑

WHERE句内でパーティション列として指定した列を含めてフィルタしてみると、176.8MiBまで下がりました。

直近数カ月のデータを取得するようなクエリをよく実行するような場合は、特定のDATE型の列等をパーティション列として指定しておくのが良さそうです。

注意点

現在は整数型の列もパーティション列として指定可能です。ただし、パーティション列として使用する列のデータの種類は4000までとなっていますので、user_id等を指定する場合はテーブル内でユニークユーザー数が4000を越えそうにないかを確認する必要があります。※今後、上限は変わる可能性があります。

【BigQuery初心者の日記 DAY1】パーティション分割テーブルのメリットパーティション分割テーブルって何 パーティション分割テーブルは、パーティションと呼ばれるセグメントに分割されたテーブルです。 テーブ...
Y.K
アナリティクス&デベロップメント所属。雪国出身。