【GCP BigQuery】データセット内の総サイズと長さの確認方法

【GCP BigQuery】

 

 

 

*****

 

  

はじめに

 

皆さんこんにちは、こんばんは。

techblogchan( @techblogchan )です。

 

GCPのコストダウンをしたいとなったときにサービスごとにどこに無駄なリソースを割いているのか確認したいですよね。

今回はBigQuery編。普段はあまりスポットを当てられないアクティブストレージの料金をへらすために要らなくなったデータセットの総データサイズを調べてどれくらいコストカットができるか考えていこうと思います!

  

 

*****

 

 

BigQuery アクティブストレージの料金は?

 

コストカットを考える前にまずはBigQueryの料金を再確認してみましょう。 

f:id:techblogchan:20191015092347p:plain

引用:Google Cloud

選択しているリージョンによって料金が変わることもあるので詳しく知りたい方は公式HPから確認してみてください!

 

今回焦点を当てているアクティブストレージは1GBあたり約2円(US マルチリージョンの場合)で、毎月10GBまで無料枠があるようです。

料金の確認も済んだところで実際どれくらいのストレージをBigQueryで使用しているのか調べてみましょう!

  

 

*****

 

 

 実際に調べてみよう

 

実際に、UI上で確認しようとしたのですが、、、

うーん、テーブルごとのサイズは確認できますが、データセット全体のサイズの確認はここではできないようです。

 

手で計算するのは流石に大変すぎるので、ここでは以下のクエリを走らせて確認をしてみようと思います。

Datasetの部分は調べたいデータセット名に変更してください。

    SELECT
    SUM(row_count) AS Rows,
    SUM(size_bytes)  / 1000000000 AS GBs
    FROM `Dataset.__TABLES__`

f:id:techblogchan:20191015093436p:plain

上のクエリを叩くとこんな感じで結果が出てくるかと思います!
これをGoogle Cloud Platform Pricing Calculatorに入れると、、、

f:id:techblogchan:20191015093726p:plain


月々のかかる費用が計算できます。データ量が多いのは把握していましたが意外と料金がかかっていることにびっくり、、

いらないテーブルは削除して上手に節約していきましょう〜!

  

 

*****

 

 

まとめ

 

今回はBigQueryのデータセット内の総サイズと長さを確認する方法を以下のブログを参考に考察しました!

 

vizhacker.net

 

意外と料金がかかっている部分を見直し、上手にクラウドサービスを活用していきましょう!

 

それではまた別の記事で!