インフラ 【ストレージ】アーキテクチャの解説(ファイルストレージ・オブジェクトストレージ)
概要 ストレージってなんなの？とエンジニアなら思ったことがあるかと思います。 少しでもシステムに関わる人であれば、そもそもの構造を知っておくべきかと思います。 ということで、今回はストレージの種類、役割について解説します！ 各種ストレージの...
インフラ
インフラ 
Digdag 【Digdag】インストール手順/環境構築
概要 データ連携や配信等にDigdagを用いることがあります。 Digdagの文法チェックをローカルPCで行う必要があるためインストール手順を記載します。 Digdagとは何か Digdagとは、いろんな操作を定義に従い自動で実行するワーク...
BigQuery 【GCP】BigQuery見積もり
概要 GCPを利用する中で一番気を遣うのは、コストです。。 (事故ってしまうと、100万単位で持っていかれてしまうので。。) そこでコストの見積もり関連でまとめておこうと思います。 見積もり種別 Google Cloud 料金計算ツール B...
コスト 【AWS/GCP】クラウド破産が怖い/コスト管理を徹底しよう
概要 普段クラウドサービスを触っていると、通例とかでなんとなく操作してしまう時があります、、 変なところでループ処理が回っていたり、激重クエリがワークフローで実行されていたり、、 そんな事例を数々横目で見ていると、常にコストのことは気にかけ...
BigQuery 【BigQuery】データセット名を変更
概要 BigQueryでデータセットの名前を変えたいと思い、その時の思考と対処を書きます。 思考 データセットの名前をcwhにして作ってテーブルも作成して運用を始めたけど、cwhが他にも必要だ…としたら、cwh_hogehoge、cwh_f...
Terraform 【Terraform】差分がうまく出力されない
はじめに Terraformでリソース管理をしている中で、terraform planを実行して、正しく差分が出ず、その原因がわからないことはよくあります。 その一例としてここに記します。 よくあるケース $ terraform plan ...
BigQuery 【BigQuery】割り当ての上限を設定する
概要 BigQueryのコスト管理に不安があったので、不用意なコストがかからないように上限を設定しようと思います。 操作方法 以下の順番に従って、操作して設定します。 > の画面に遷移する。 「BigQuery」でフィルタリングする。 「Q...
GCP 【IAM】ユーザーのリソースに対する権限を最低限に調整・管理する
概要/背景 管理の都合上、AフォルダからBフォルダにプロジェクトを移動しました。 しかし、AフォルダとBフォルダには権限の差分が生じてしまいます。 必要な権限を過不足なくBフォルダに付与する必要があります。 作業目標 不必要な権限がBフォル...
BigQuery 【BigQuery】コスト削減したので対応を書き出してみる
はじめに 担当PJで、GCPのコスト削減担当となったのでその時に実施した施策を書き記そうと思います。 そのPJでは、BigQueryに圧倒的にコストを費やしていたので、BigQueryをメインにコストを抑えようとしてみることにしました。 方...