hackers-high.com python.civic-apps.com

概要 AutoML Vision Apache Hadoop BigTable 何百万台ものコンピュータのCPUとメモリの使用量を時系列で保存したい BigTableのクラスタサイズを増やすタイミングが知りたい パフォーマンスのボトルネックがある場合 Bigtable インスタンスを作成した後にスト…

概要 「Google Cloudではじめるデータエンジニアリング入門」を読んだので、忘備としてメモしておく。 8章~11章のBigQueryへのデータ集約、BI、リアルタイム分析、発展的な分析はスキップする。 メモの順番は章立てと一致してない。なるべくサービス毎にメモ…

概要 エンジニアのためのデータ分析基盤入門を読んで、重要そうなところをメモする。 データ分析基盤とは何か データ分析のために作られたシステム つまり、データ基盤とは異なるシステムである。 以下の書籍によると、データ基盤はデータ分析だけを目的にし…

概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データベース トランザクション データ処理 原子性 (Atomici…

概要 バージョン コマンド 記号 ファイル variable 変数の型 local output data provider リスト [] 組み込み関数 モジュール 三項演算子 count randomプロバイダ dynamicとfor_each ベストプラクティス 構造化、リソース参照パターン（２２〜２３章） 概要 …

概要 達人に学ぶDB設計徹底指南書を読んで、重要そうなところを忘備のため、メモする。 第9章まであるが、まずは第3章までメモ １章 POA v.s DOA POAはProcess Oritented Approachのこと。従来のシステム開発ではプロセス主流だった。現在ではDOA（Data Orie…

結論 Udemyだけではダメ、ぜったいにKiller.shの模擬試験もやる！ 道のり 21年12月、仕事でKubernetesに触れる。まったく知識がなく、さっぱりわからない 22年１月、Kubernetes完全ガイドを買う。インターネットで調べつつ、チラチラと本を読む。なんとなく…

目次 概要 講座の構成 1. Introduction 2. Core Concepts Master Node Woker Node ETCD Kube-API Server Kube Controller Manager Kube Scheduler Kube-Proxy 3. Scheduling Taints & Tolerations Node Selectors Node Affinity Resource Requirements & Res…