2022-07-01から1ヶ月間の記事一覧
概要 エンジニアのためのデータ分析基盤入門を読んで、重要そうなところをメモする。 データ分析基盤とは何か データ分析のために作られたシステム つまり、データ基盤とは異なるシステムである。 以下の書籍によると、データ基盤はデータ分析だけを目的にし…
概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データベース トランザクション データ処理 原子性 (Atomici…
概要 バージョン コマンド 記号 ファイル variable 変数の型 local output data provider リスト [] 組み込み関数 モジュール 三項演算子 count randomプロバイダ dynamicとfor_each ベストプラクティス 構造化、リソース参照パターン(22〜23章) 概要 …