【BigQuery】BigQuery Compressed Storageを導入・見積もりの算出

導入

BigQuery editionsでは、Compressed Storageの価格設定により、これまでの価格よりも安価に扱えるようになっております。

Compressed Storage

従来のBigQueryでは、論理的なデータサイズをもとに計算していました。

しかし、Compressed Storageでは圧縮したデータサイズをもとに料金算出する方法になっています。

実際の圧縮率では、個人差あるようですが10倍以上の圧縮率となっていることが多いようです。

下記、Compressed Storageとの比較表です。

	東京リージョン
(旧)Active logical (論理データサイズ)	0.023 USD/GB
(旧)Long-term logical (論理データサイズ)	0.016 USD/GB
(新)Active compressed (物理データサイズ)	0.052 USD/GB
(新)Long-term compressed (物理データサイズ)	0.026 USD/GB

利用について

Compressed StorageへのGAは 2023年7月5日です。

Compressed Storageへの切り替えは手動で実施する必要があります。

料金見積もりSQL

以下のクエリを叩いて、実際にどれくらいのコストがかかるのかを確認できます。

SELECT
    project_id,
    ROUND(SUM(total_logical_bytes/POW(1024, 3)),2) as total_logical_gigabytes,
    ROUND(SUM((total_physical_bytes/POW(1024, 3))+(fail_safe_physical_bytes/POW(1024, 3))) ,2) as total_physical_gigabytes,
    ROUND(SUM(total_logical_bytes)/SUM(total_physical_bytes-time_travel_physical_bytes),2) AS compression_ratio,
    ROUND(SUM((active_logical_bytes/POW(1024, 3))*active_logical_pricing+(long_term_logical_bytes/POW(1024, 3))*0.016),2) as total_logical_prices,
    ROUND(SUM(((active_physical_bytes/POW(1024, 3))+(fail_safe_physical_bytes/POW(1024, 3)))*active_physical_pricing+(long_term_physical_bytes/POW(1024, 3))*0.026),2) as total_physical_prices,
FROM
-- 対象のprojectのidを入れてください。
`project_id`.`region-asia-northeast1`.INFORMATION_SCHEMA.TABLE_STORAGE
group by
    project_id