手順 APIを有効にしておく（特にCloud Identity-Aware Proxy APIは忘れがち） VPC network作成 GCE作成（ネットワークタグを付与） ファイアウォールでCloud Identity-Aware Proxyからのアクセス（35.235.240.0/20）とクライアントからのアクセスを許可（22…

概要 GCPでGCEのLinuxインスタンスで「追加ディスク」を交換したところSSH接続ができなくなったが、ディスクのマウント設定を変更したところ、アクセスできるようになった。 エラーメッセージ 以下のようなエラーが出た。 ポート22でVMに接続できません。 VM…

概要 BigQueryならJSONでネストされたデータであってもロードして、さらに簡単に正規化できる。 例えば、APIで取得したデータがJSON形式でネストされている場合でもひとまずBigQueryのテーブルに読み込み、BigQueryのUNNEST関数を使うことで簡単にネスト解除…

GCPではそれぞれのサービス毎にCloud APIを有効にすることでサービスが利用できるようになる。Cloudコンソールからのサービス利用であっても、Cloud APIが有効になっている必要がある。Cloudコンソールで操作しているように見えて、実際には裏側でAPIを叩い…

あるCloudSQLインスタンスに割り当てた内部IPを、別のCloudSQLインスタンスに割り当てることはできるのか？ この疑問を抱いた経緯は次のとおりである。 バージョンアップ済みのCloudSQLインスタンスをバージョンアップ前のバックアップで復元したいとする。…

GCPにはAWSでいうElastic IPに相当のサービスとして静的外部IPと静的内部IPがある。外部IPがグローバルIP、内部IPがプライベートIPである。 予約した内部IPに名前をつけて、1つのリソースとして扱うことができる。あるVMに割り当てた静的内部IPを他のVMに割…

GCPのAssociate Cloud Engineer（ACE）とProfessional Data Engineer（PDE）に合格しました。それぞれ22年8月と9月に受験して、無事一度で合格することができました。 勉強としては書籍とGoogle Cloudがパートナー会社向けに提供しているオンライントレーニ…

概要 AutoML Vision Apache Hadoop BigTable 何百万台ものコンピュータのCPUとメモリの使用量を時系列で保存したい BigTableのクラスタサイズを増やすタイミングが知りたい パフォーマンスのボトルネックがある場合 Bigtable インスタンスを作成した後にスト…

概要 「Google Cloudではじめるデータエンジニアリング入門」を読んだので、忘備としてメモしておく。 8章~11章のBigQueryへのデータ集約、BI、リアルタイム分析、発展的な分析はスキップする。 メモの順番は章立てと一致してない。なるべくサービス毎にメモ…