BigQuery 【VSCode】SQLファイル保存時にフォーマットする機能(Formatter)を設定する
概要 リファクタリングをするタスクで、インデントがぐちゃぐちゃのソースコードがあり、一気に修正したいなと思い、フォーマッターをインストールしました。 今回の環境としては、 VScode BigQueryで使用するSQLファイル MacBoo...
BigQuery
BigQuery 
BigQuery 【BigQuery】STRING型のデータをDATE型にINSERTする
概要 2つのテーブル間でデータを連携するために、INSERTの仕方を実践します。 型が異なると変換の処理が必要なので、今回は頻出のSTRING→ DATEに着目して説明します。 状況 テーブルAからテーブルBにデータを抽出して、INSERT...
BigQuery 【BigQuery】GCSのCSVファイルを外部参照したテーブルを作成する
概要 BigQueryで特大のデータを扱いたい、しかし、ストレージのコストがかかってしまうので、テーブルで持ちたくないという時があります。 そういった時には、外部テーブルを利用すると良いかと思います。 その方法をこちらで説明します。 作成方...
BigQuery 【GCP】BigQuery見積もり
概要 GCPを利用する中で一番気を遣うのは、コストです。。 (事故ってしまうと、100万単位で持っていかれてしまうので。。) そこでコストの見積もり関連でまとめておこうと思います。 見積もり種別 Google Cloud 料金計算ツール B...
BigQuery 【BigQuery】データセット名を変更
概要 BigQueryでデータセットの名前を変えたいと思い、その時の思考と対処を書きます。 思考 データセットの名前をcwhにして作ってテーブルも作成して運用を始めたけど、cwhが他にも必要だ…としたら、cwh_hogehoge、cwh_f...
AWS 【GCP】【AWS】 サービスを比較する
はじめに GCPを使い始めて少し経って、AWSでいうとどのサービスに近しいのかな…とふと思ったので、対照表を書いてみようと思います。 一覧 サービス種別とGCP、AWSの対照表は以下になります。 サービス種別GCPAWS概要IaaSComp...
BigQuery 【BigQuery】割り当ての上限を設定する
概要 BigQueryのコスト管理に不安があったので、不用意なコストがかからないように上限を設定しようと思います。 操作方法 以下の順番に従って、操作して設定します。 > の画面に遷移する。 「BigQuery」でフィルタリングする。 「Q...
BigQuery 【BigQuery】コスト削減したので対応を書き出してみる
はじめに 担当PJで、GCPのコスト削減担当となったのでその時に実施した施策を書き記そうと思います。 そのPJでは、BigQueryに圧倒的にコストを費やしていたので、BigQueryをメインにコストを抑えようとしてみることにしました。 方...
BigQuery 【BigQuery】BigQuery Compressed Storageを導入・見積もりの算出
導入 BigQuery editionsでは、Compressed Storageの価格設定により、これまでの価格よりも安価に扱えるようになっております。 Compressed Storage 従来のBigQueryでは、論理的なデータサイ...
BigQuery 【BigQuery】ユーザー(サービスアカウント)が実行するクエリを監視する/
状況 某PJにジョインしていた際に、GCPで莫大な1クエリ300ドルもかかってしまいました。。 予防策として、BigQueryで実行するすべてのクエリを監視できる体制を整えたい。 アーキテクチャ Cloud Loggingで監査ログを収集。...