概要 AutoML Vision Apache Hadoop BigTable 何百万台ものコンピュータのCPUとメモリの使用量を時系列で保存したい BigTableのクラスタサイズを増やすタイミングが知りたい パフォーマンスのボトルネックがある場合 Bigtable インスタンスを作成した後にスト…

概要 「Google Cloudではじめるデータエンジニアリング入門」を読んだので、忘備としてメモしておく。 8章~11章のBigQueryへのデータ集約、BI、リアルタイム分析、発展的な分析はスキップする。 メモの順番は章立てと一致してない。なるべくサービス毎にメモ…

概要 エンジニアのためのデータ分析基盤入門を読んで、重要そうなところをメモする。 データ分析基盤とは何か データ分析のために作られたシステム つまり、データ基盤とは異なるシステムである。 以下の書籍によると、データ基盤はデータ分析だけを目的にし…

概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データベース トランザクション データ処理 原子性 (Atomici…

概要 達人に学ぶDB設計徹底指南書を読んで、重要そうなところを忘備のため、メモする。 第9章まであるが、まずは第3章までメモ １章 POA v.s DOA POAはProcess Oritented Approachのこと。従来のシステム開発ではプロセス主流だった。現在ではDOA（Data Orie…