Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

2022-01-01から1年間の記事一覧

AZ-104 勉強メモ

契約形態 Azureダイレクト Azure EA Azureインオープン CSP 複数サブスクリプションのメリット 請求書の分割 アクセス権の分離 クォータ管理の分離 リソースマネージャとリソースプロバイダ リソースマネージャがAPIを受け付けて、リソースプロバイダがリソ…

PyCharm よく使うショートカット

キャレットを行頭に移動 Home キャレットを行末に移動 End 行を複製 Ctl + d 実行 Shift + F10 複数行コメントアウト Ctl + / import元に移動 Ctl + b pleiades.io

Protocol Buffersを試してみる

今回は、この辺りを参考にしながらプロトコルバッファ(Protobuf)を試してみる。 tech.raksul.com nansystem.com developers.google.com Protobufを調べていると、Message Packも目にすることが多い。 MessagePack、Protobufも両方ともシリアライズ・デシリ…

「Tableau徹底入門」を読んでみた

概要 「Tableau徹底入門」を読み、内容をまとめる。でも、第1章全体と第5章の一部のみしか読んでないです。。 第1章 データソースの作成 第5章 Tableauをさらに活用するための機能 読んでみての感想 表やグラフを作成する前段階のデータソース作成に関して、…

動画で学ぶJSTQB

JSTQBのシラバスはちょっとわかりにくいところがあるので、動画ないかなと探したところ↓のYouTubeに行きついた。 www.youtube.com テスト技法 気になっていたテスト技法をリストアップしてみるとこんな感じ。 静的テスト アドホック:レビュアーに成果物を見…

OSS-DB Silverに合格しました

概要 仕事でPostgreSQLを使用する機会があり、せっかくなので試験を受けてみました。 勉強方法は、内部構造から学ぶPostgreSQL 設計・運用計画の鉄則、OSS教科書の順に一読して、Udemyの模擬試験をやりました。その後にOSS教科書の模擬試験にトライしました…

CloudSQL for PostgreSQLのバックアップ

概要 CloudSQL for PostgreSQLのバックアップ方法がいくつかある。いったいどこまでバックアップされるのかがわからなかったので、それぞれを比較してみた。 用語 データベースフラグ CloudSQL for PostgreSQLではpostgresql.confといった設定ファイルにアク…

PostgreSQL text型配列のパターンマッチングのやり方

テキスト型配列ではそのままパターンマッチングができない。 テキスト型配列でパターンマッチングをするには、UNNEST関数でテキスト型配列のネストを解除し、ネスト解除したものに対してパターンマッチングを行う。 実際にやってみる。 まずテキスト型配列を…

バージョンアップで参考になりそうな記事

PostgreSQLのバージョンアップで参考になりそうな記事があったのでメモしておく。 techblog.gmo-ap.jp データだけでなく、権限やオーナーも確認しなくっちゃな。 検証時に確認ポイントとしていたのは以下の点です。 データベースのタイムゾーンがUTC+9になっ…

PostgreSQLを始めてみた

概要 PostgreSQLを使用する機会があったので勉強を始めてみました。 大事そうなところ、かつ忘れてしまいそうなところに絞ってメモしようと思います。 参照文献 オープンソースデータベース標準教科書 Ver.2.0.1 PostgreSQL 14.5文書 PostgreWeb PostgreSQL…

Oracle Master Silver SQLに合格しました

2022年10月にOracle Master Silver SQLに合格しました。 受験してみた感想 OracleのSQLを使用する上での最低限の知識を問う資格なのかなと思う。with句やPL/SQLが範囲外なのでホントに基本という感じ。 もっとアドバンスな内容の方が良かった気もするが、お…

【Tableau】増分更新によるデータ反映漏れについて

Tableauでは、データソースの更新を抽出する方法は2種類ある。完全更新と増分更新である。デフォルトでは完全更新が行われる。 完全更新ではデータソースの全行が抽出されるためTableau側に完全に同じデータを反映される。但し、トランザクションデータなど…

Oracleの日付表示形式「DDSPTH」ってなんなの?

DDTHとDDSPという表示形式があって、それを組み合わせたのがDDSPTH。 docs.oracle.com

ローカルにおけるGitコマンド

Git

アーキテクチャ 全体的なアーキテクチャを理解しよう。 まずローカルPCとクラウドに分類される。ローカルPCのドキュメントをクラウドに配置する(push)、あるいはクラウドから取ってくる(pull)。 ローカルPC内では、データがワークツリー、ステージ、リポ…

GCPのCloud APIについて

GCP

GCPではそれぞれのサービス毎にCloud APIを有効にすることでサービスが利用できるようになる。Cloudコンソールからのサービス利用であっても、Cloud APIが有効になっている必要がある。Cloudコンソールで操作しているように見えて、実際には裏側でAPIを叩い…

あるCloudSQLインスタンスに割り当てたプライベートIPを、別のCloudSQLインスタンスに割り当てることはできるのか?

あるCloudSQLインスタンスに割り当てた内部IPを、別のCloudSQLインスタンスに割り当てることはできるのか? この疑問を抱いた経緯は次のとおりである。 バージョンアップ済みのCloudSQLインスタンスをバージョンアップ前のバックアップで復元したいとする。…

GCPの静的IPについて

GCPにはAWSでいうElastic IPに相当のサービスとして静的外部IPと静的内部IPがある。外部IPがグローバルIP、内部IPがプライベートIPである。 予約した内部IPに名前をつけて、1つのリソースとして扱うことができる。あるVMに割り当てた静的内部IPを他のVMに割…

Oracle Master Silver SQLの勉強メモ

主なデータ型 NUMBER:整数と少数 CHAR(n):nバイトの固定長文字列 VARCHAR2(n):nバイト以下の可変長文字列 BLOB:バイナリデータ(最大128テラバイト) CLOB:文字列(最大128テラバイト) DATE:年月日時分秒のデータ TIMESTAMP:年月日時分秒に少数秒を…

SQL Zooを試してみた ~ SELECT in SELECTとJOIN

SQL

概要 SQLZOOは手を動かしながらSQLを無料で学べるサイト。 SQL ZooのSELECT in SELECTとJOINセクションにトライして、知らなかった点をメモしておく。 SELECT in SELECT 6. Bigger than every country in Europe ALL句 キーワード ALL で大小記号 >=、 >、 <…

SQL Zooを試してみた ~ Self Join

SQL

# 概要 10番目の問題がわからなかった。。。。 # 1. ```SELECT count(1) "# of Stops"FROM stops``` # 2. ```SELECT idFROM stopsWHERE name = 'Craiglockhart'``` # 3. ```SELECT id, nameFROM stopsJOIN route ON stops.id = route.stopWHERE num = '4' AN…

SQL Zooを試してみた ~ Using NULL

SQL

概要 SQL ZooのUsing NULLはわりと簡単な問題が多かった。一応、回答例を残しておく。 1. SELECT name FROM teacher WHERE dept IS NULL 2. SELECT teacher.name, dept.name "Dept" FROM teacher INNER JOIN dept ON (teacher.dept=dept.id) 3. SELECT teach…

SQL Zooを試してみた ~ More Join

SQL

概要 SQL ZooのMore Joinセクションの難しめの問題の結果のみをメモ。 時間のあるときに他の人の回答と比較してみたいと思う。 10. 1962映画の主演者 SELECT title, name FROM movie JOIN casting ON movie.id = movieid JOIN actor ON actor.id = actorid W…

AirflowがわからなかったのでUdemyで勉強してみた②

概要 UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 (事前準備)Dockerが重たいので、Airflow Standaloneで乗り切る Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので…

AirflowがわからなかったのでUdemyで勉強してみた

概要 AirflowのTutorialをやっても、短時間で理解できなさそうだったのでUdemyの講座を試してみました。 英語の講座だったのでちょっとしんどかったので、半分くらいのとこまでしかやってません。 超初歩はなんとなくわかりました。 https://www.udemy.com/c…

Airflowを試してみる ~ Quick Start

AirflowのQuick Startを参考にして、WSL Ubuntu 20.04上にAirflowをインストールする。 以下はQuick Startからの抜粋。 # Airflow needs a home. `~/airflow` is the default, but you can put it # somewhere else if you prefer (optional) export AIRFLOW…

Terraform Associateに合格しました

本日(22年9月)、Terraform Associateに合格しました。 以前からTerraformを使いたいなと思って色々と試していましたが、試していると色々疑問がでてきて、これは一回体系的に勉強したほうが早いなと思い、せっかくなので試験を受けることにしました。 Terr…

WIN32APIを試したい

WIN32APIってなに? Windows上で動作するアプリを作るには、.NETフレームワークを利用する方法と、WIN32APIを利用する方法の2通りがあります Windowsプログラミングを行うためには、Windowsが提供している API を操作します。このAPIのことを、WindowsAPIと…

GCPのAssociate Cloud EngineerとProfessional Data Engineerに合格しました

GCP

GCPのAssociate Cloud Engineer(ACE)とProfessional Data Engineer(PDE)に合格しました。それぞれ22年8月と9月に受験して、無事一度で合格することができました。 勉強としては書籍とGoogle Cloudがパートナー会社向けに提供しているオンライントレーニ…

Pythonエンジニア認定試験に合格しました

先日、ふと思い立ってPythonエンジニア認定試験を受験し、合格しました。 もともと認定試験の存在は知っていたのですが、受験してもあまり有益でなさそうだと思って受験したことはありませんでした。暇だったのと、Pythonの試験ってどんな感じなのだろうとい…

メモ ~ Udemy HashiCorp Certified: Terraform Associate 2022

概要 Terraformバージョン Terraformバージョンの指定 プロバイダーのバージョン制約・指定 .terraform.lock.hcl ファイル Terraformバージョン毎の違い AWSプロバイダの認証設定 Variable データ型 Variableへの代入 変数の読込み優先順位 Localについて Co…