GCP 【研修資料】2024年版 各社研修資料まとめ
はじめに 無料公開している有名企業の近年の研修資料をまとめました。 改めて、学び直したい、自社研修だけでは不安という方にとってはありがたいですね。 是非参考にしてみてください！！ 対象者 新卒入社社員 研修担当のエンジニア 改めて基本から復...
クラウド
GCP 
CloudFunctions 【Cloud Functions】アラート制御/繰り返しのアラートに対処
概要 今回のテーマは、Cloud Fucntionsでアラート周りの設定についてです。 繰り返しアラートが発生してしまっている際の対応について言及していこうと思います。 Cloud Functionsを作成する際にこのあたりも考慮して実装で...
AWS 【Cloud Run】固定IPアドレスを使って、AWS RDSインスタンスに接続する
概要 固定IPアドレスを使って、GCPのCloud Runから、AWSのRDSインスタンスへ接続する必要があったので、その作業ログを記載します。 設定が必要なサービスは下記です。 Cloud NAT Cloud Routor IPアドレス ...
BigQuery 【VSCode】SQLファイル保存時にフォーマットする機能(Formatter)を設定する
概要 リファクタリングをするタスクで、インデントがぐちゃぐちゃのソースコードがあり、一気に修正したいなと思い、フォーマッターをインストールしました。 今回の環境としては、 VScode BigQueryで使用するSQLファイル MacBoo...
BigQuery 【BigQuery】STRING型のデータをDATE型にINSERTする
概要 2つのテーブル間でデータを連携するために、INSERTの仕方を実践します。 型が異なると変換の処理が必要なので、今回は頻出のSTRING→ DATEに着目して説明します。 状況 テーブルAからテーブルBにデータを抽出して、INSERT...
BigQuery 【BigQuery】GCSのCSVファイルを外部参照したテーブルを作成する
概要 BigQueryで特大のデータを扱いたい、しかし、ストレージのコストがかかってしまうので、テーブルで持ちたくないという時があります。 そういった時には、外部テーブルを利用すると良いかと思います。 その方法をこちらで説明します。 作成方...
BigQuery 【GCP】BigQuery見積もり
概要 GCPを利用する中で一番気を遣うのは、コストです。。 (事故ってしまうと、100万単位で持っていかれてしまうので。。) そこでコストの見積もり関連でまとめておこうと思います。 見積もり種別 Google Cloud 料金計算ツール B...
BigQuery 【BigQuery】データセット名を変更
概要 BigQueryでデータセットの名前を変えたいと思い、その時の思考と対処を書きます。 思考 データセットの名前をcwhにして作ってテーブルも作成して運用を始めたけど、cwhが他にも必要だ…としたら、cwh_hogehoge、cwh_f...
AWS 【AWS】 RDSのインスタンス上にあるDBに接続する
はじめに 普段GCPばかり触っている筆者ですが、AWSのRDSを使って、SQL Serverに接続する必要があり、ちょいと困ったので書き記そうと思います。 目的 クライアントツールDBeaverを使用して、クエリを実行できる環境を作ること。...
AWS 【GCP】【AWS】 サービスを比較する
はじめに GCPを使い始めて少し経って、AWSでいうとどのサービスに近しいのかな…とふと思ったので、対照表を書いてみようと思います。 一覧 サービス種別とGCP、AWSの対照表は以下になります。 サービス種別GCPAWS概要IaaSComp...
BigQuery 【BigQuery】割り当ての上限を設定する
概要 BigQueryのコスト管理に不安があったので、不用意なコストがかからないように上限を設定しようと思います。 操作方法 以下の順番に従って、操作して設定します。 > の画面に遷移する。 「BigQuery」でフィルタリングする。 「Q...
GCP 【IAM】ユーザーのリソースに対する権限を最低限に調整・管理する
概要/背景 管理の都合上、AフォルダからBフォルダにプロジェクトを移動しました。 しかし、AフォルダとBフォルダには権限の差分が生じてしまいます。 必要な権限を過不足なくBフォルダに付与する必要があります。 作業目標 不必要な権限がBフォル...
BigQuery 【BigQuery】コスト削減したので対応を書き出してみる
はじめに 担当PJで、GCPのコスト削減担当となったのでその時に実施した施策を書き記そうと思います。 そのPJでは、BigQueryに圧倒的にコストを費やしていたので、BigQueryをメインにコストを抑えようとしてみることにしました。 方...
BigQuery 【BigQuery】BigQuery Compressed Storageを導入・見積もりの算出
導入 BigQuery editionsでは、Compressed Storageの価格設定により、これまでの価格よりも安価に扱えるようになっております。 Compressed Storage 従来のBigQueryでは、論理的なデータサイ...
BigQuery 【BigQuery】ユーザー(サービスアカウント)が実行するクエリを監視する/
状況 某PJにジョインしていた際に、GCPで莫大な1クエリ300ドルもかかってしまいました。。 予防策として、BigQueryで実行するすべてのクエリを監視できる体制を整えたい。 アーキテクチャ Cloud Loggingで監査ログを収集。...
GCP 【Terraform】 planのログが多すぎて確認できない場合の対処
困りごと エラーログが大量に出てしまい、terraform planのログが埋もれてしまい確認できない。 環境 GCP terraform 状況 大半を占めているのは、以下のログ。 Error: Error when reading or ...
GCP 【Terraform】GCPで環境構築/インストール・設定方法
はじめに 新しいプロジェクトにジョインし、Terraform × GCP の環境構築を実施したので、手順を記録したいと思います。 Google Cloud CLI(macユーザー対象) パッケージのインストール プラットフォームを確認する。...