PostgreSQLのバージョンアップで参考になりそうな記事があったのでメモしておく。 techblog.gmo-ap.jp データだけでなく、権限やオーナーも確認しなくっちゃな。 検証時に確認ポイントとしていたのは以下の点です。 データベースのタイムゾーンがUTC+9になっ…

概要 PostgreSQLを使用する機会があったので勉強を始めてみました。 大事そうなところ、かつ忘れてしまいそうなところに絞ってメモしようと思います。 参照文献 オープンソースデータベース標準教科書 Ver.2.0.1 PostgreSQL 14.5文書 PostgreWeb PostgreSQL…

2022年10月にOracle Master Silver SQLに合格しました。 受験してみた感想 OracleのSQLを使用する上での最低限の知識を問う資格なのかなと思う。with句やPL/SQLが範囲外なのでホントに基本という感じ。 もっとアドバンスな内容の方が良かった気もするが、お…

Tableauでは、データソースの更新を抽出する方法は２種類ある。完全更新と増分更新である。デフォルトでは完全更新が行われる。 完全更新ではデータソースの全行が抽出されるためTableau側に完全に同じデータを反映される。但し、トランザクションデータなど…

DDTHとDDSPという表示形式があって、それを組み合わせたのがDDSPTH。 docs.oracle.com

アーキテクチャ 全体的なアーキテクチャを理解しよう。 まずローカルPCとクラウドに分類される。ローカルPCのドキュメントをクラウドに配置する（push）、あるいはクラウドから取ってくる（pull）。 ローカルPC内では、データがワークツリー、ステージ、リポ…

GCPではそれぞれのサービス毎にCloud APIを有効にすることでサービスが利用できるようになる。Cloudコンソールからのサービス利用であっても、Cloud APIが有効になっている必要がある。Cloudコンソールで操作しているように見えて、実際には裏側でAPIを叩い…

あるCloudSQLインスタンスに割り当てた内部IPを、別のCloudSQLインスタンスに割り当てることはできるのか？ この疑問を抱いた経緯は次のとおりである。 バージョンアップ済みのCloudSQLインスタンスをバージョンアップ前のバックアップで復元したいとする。…

GCPにはAWSでいうElastic IPに相当のサービスとして静的外部IPと静的内部IPがある。外部IPがグローバルIP、内部IPがプライベートIPである。 予約した内部IPに名前をつけて、1つのリソースとして扱うことができる。あるVMに割り当てた静的内部IPを他のVMに割…

主なデータ型 NUMBER：整数と少数 CHAR(n)：nバイトの固定長文字列 VARCHAR2(n)：nバイト以下の可変長文字列 BLOB：バイナリデータ（最大128テラバイト） CLOB：文字列（最大128テラバイト） DATE：年月日時分秒のデータ TIMESTAMP：年月日時分秒に少数秒を…

概要 SQLZOOは手を動かしながらSQLを無料で学べるサイト。 SQL ZooのSELECT in SELECTとJOINセクションにトライして、知らなかった点をメモしておく。 SELECT in SELECT 6. Bigger than every country in Europe ALL句 キーワード ALL で大小記号 >=、 >、 <…

# 概要 10番目の問題がわからなかった。。。。 # 1. ```SELECT count(1) "# of Stops"FROM stops``` # 2. ```SELECT idFROM stopsWHERE name = 'Craiglockhart'``` # 3. ```SELECT id, nameFROM stopsJOIN route ON stops.id = route.stopWHERE num = '4' AN…

概要 SQL ZooのUsing NULLはわりと簡単な問題が多かった。一応、回答例を残しておく。 1. SELECT name FROM teacher WHERE dept IS NULL 2. SELECT teacher.name, dept.name "Dept" FROM teacher INNER JOIN dept ON (teacher.dept=dept.id) 3. SELECT teach…

概要 SQL ZooのMore Joinセクションの難しめの問題の結果のみをメモ。 時間のあるときに他の人の回答と比較してみたいと思う。 10. 1962映画の主演者 SELECT title, name FROM movie JOIN casting ON movie.id = movieid JOIN actor ON actor.id = actorid W…

概要 UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 （事前準備）Dockerが重たいので、Airflow Standaloneで乗り切る Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので…

概要 AirflowのTutorialをやっても、短時間で理解できなさそうだったのでUdemyの講座を試してみました。 英語の講座だったのでちょっとしんどかったので、半分くらいのとこまでしかやってません。 超初歩はなんとなくわかりました。 https://www.udemy.com/c…

AirflowのQuick Startを参考にして、WSL Ubuntu 20.04上にAirflowをインストールする。 以下はQuick Startからの抜粋。 # Airflow needs a home. `~/airflow` is the default, but you can put it # somewhere else if you prefer (optional) export AIRFLOW…

本日（22年9月）、Terraform Associateに合格しました。 以前からTerraformを使いたいなと思って色々と試していましたが、試していると色々疑問がでてきて、これは一回体系的に勉強したほうが早いなと思い、せっかくなので試験を受けることにしました。 Terr…

WIN32APIってなに？ Windows上で動作するアプリを作るには、.NETフレームワークを利用する方法と、WIN32APIを利用する方法の2通りがあります Windowsプログラミングを行うためには、Windowsが提供している API を操作します。このAPIのことを、WindowsAPIと…

GCPのAssociate Cloud Engineer（ACE）とProfessional Data Engineer（PDE）に合格しました。それぞれ22年8月と9月に受験して、無事一度で合格することができました。 勉強としては書籍とGoogle Cloudがパートナー会社向けに提供しているオンライントレーニ…

先日、ふと思い立ってPythonエンジニア認定試験を受験し、合格しました。 もともと認定試験の存在は知っていたのですが、受験してもあまり有益でなさそうだと思って受験したことはありませんでした。暇だったのと、Pythonの試験ってどんな感じなのだろうとい…

概要 Terraformバージョン Terraformバージョンの指定 プロバイダーのバージョン制約・指定 .terraform.lock.hcl ファイル Terraformバージョン毎の違い AWSプロバイダの認証設定 Variable データ型 Variableへの代入 変数の読込み優先順位 Localについて Co…

hackers-high.com python.civic-apps.com

概要 AutoML Vision Apache Hadoop BigTable 何百万台ものコンピュータのCPUとメモリの使用量を時系列で保存したい BigTableのクラスタサイズを増やすタイミングが知りたい パフォーマンスのボトルネックがある場合 Bigtable インスタンスを作成した後にスト…

概要 「Google Cloudではじめるデータエンジニアリング入門」を読んだので、忘備としてメモしておく。 8章~11章のBigQueryへのデータ集約、BI、リアルタイム分析、発展的な分析はスキップする。 メモの順番は章立てと一致してない。なるべくサービス毎にメモ…

概要 エンジニアのためのデータ分析基盤入門を読んで、重要そうなところをメモする。 データ分析基盤とは何か データ分析のために作られたシステム つまり、データ基盤とは異なるシステムである。 以下の書籍によると、データ基盤はデータ分析だけを目的にし…

概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データベース トランザクション データ処理 原子性 (Atomici…

概要 バージョン コマンド 記号 ファイル variable 変数の型 local output data provider リスト [] 組み込み関数 モジュール 三項演算子 count randomプロバイダ dynamicとfor_each ベストプラクティス 構造化、リソース参照パターン（２２〜２３章） 概要 …

概要 達人に学ぶDB設計徹底指南書を読んで、重要そうなところを忘備のため、メモする。 第9章まであるが、まずは第3章までメモ １章 POA v.s DOA POAはProcess Oritented Approachのこと。従来のシステム開発ではプロセス主流だった。現在ではDOA（Data Orie…

結論 Udemyだけではダメ、ぜったいにKiller.shの模擬試験もやる！ 道のり 21年12月、仕事でKubernetesに触れる。まったく知識がなく、さっぱりわからない 22年１月、Kubernetes完全ガイドを買う。インターネットで調べつつ、チラチラと本を読む。なんとなく…