Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

2022-10-01から1ヶ月間の記事一覧

CloudSQL for PostgreSQLのバックアップ

概要 CloudSQL for PostgreSQLのバックアップ方法がいくつかある。いったいどこまでバックアップされるのかがわからなかったので、それぞれを比較してみた。 用語 データベースフラグ CloudSQL for PostgreSQLではpostgresql.confといった設定ファイルにアク…

PostgreSQL text型配列のパターンマッチングのやり方

テキスト型配列ではそのままパターンマッチングができない。 テキスト型配列でパターンマッチングをするには、UNNEST関数でテキスト型配列のネストを解除し、ネスト解除したものに対してパターンマッチングを行う。 実際にやってみる。 まずテキスト型配列を…

バージョンアップで参考になりそうな記事

PostgreSQLのバージョンアップで参考になりそうな記事があったのでメモしておく。 techblog.gmo-ap.jp データだけでなく、権限やオーナーも確認しなくっちゃな。 検証時に確認ポイントとしていたのは以下の点です。 データベースのタイムゾーンがUTC+9になっ…

PostgreSQLを始めてみた

概要 PostgreSQLを使用する機会があったので勉強を始めてみました。 大事そうなところ、かつ忘れてしまいそうなところに絞ってメモしようと思います。 参照文献 オープンソースデータベース標準教科書 Ver.2.0.1 PostgreSQL 14.5文書 PostgreWeb PostgreSQL…

Oracle Master Silver SQLに合格しました

2022年10月にOracle Master Silver SQLに合格しました。 受験してみた感想 OracleのSQLを使用する上での最低限の知識を問う資格なのかなと思う。with句やPL/SQLが範囲外なのでホントに基本という感じ。 もっとアドバンスな内容の方が良かった気もするが、お…

【Tableau】増分更新によるデータ反映漏れについて

Tableauでは、データソースの更新を抽出する方法は2種類ある。完全更新と増分更新である。デフォルトでは完全更新が行われる。 完全更新ではデータソースの全行が抽出されるためTableau側に完全に同じデータを反映される。但し、トランザクションデータなど…

Oracleの日付表示形式「DDSPTH」ってなんなの?

DDTHとDDSPという表示形式があって、それを組み合わせたのがDDSPTH。 docs.oracle.com

ローカルにおけるGitコマンド

Git

アーキテクチャ 全体的なアーキテクチャを理解しよう。 まずローカルPCとクラウドに分類される。ローカルPCのドキュメントをクラウドに配置する(push)、あるいはクラウドから取ってくる(pull)。 ローカルPC内では、データがワークツリー、ステージ、リポ…

GCPのCloud APIについて

GCP

GCPではそれぞれのサービス毎にCloud APIを有効にすることでサービスが利用できるようになる。Cloudコンソールからのサービス利用であっても、Cloud APIが有効になっている必要がある。Cloudコンソールで操作しているように見えて、実際には裏側でAPIを叩い…

あるCloudSQLインスタンスに割り当てたプライベートIPを、別のCloudSQLインスタンスに割り当てることはできるのか?

あるCloudSQLインスタンスに割り当てた内部IPを、別のCloudSQLインスタンスに割り当てることはできるのか? この疑問を抱いた経緯は次のとおりである。 バージョンアップ済みのCloudSQLインスタンスをバージョンアップ前のバックアップで復元したいとする。…

GCPの静的IPについて

GCPにはAWSでいうElastic IPに相当のサービスとして静的外部IPと静的内部IPがある。外部IPがグローバルIP、内部IPがプライベートIPである。 予約した内部IPに名前をつけて、1つのリソースとして扱うことができる。あるVMに割り当てた静的内部IPを他のVMに割…

Oracle Master Silver SQLの勉強メモ

主なデータ型 NUMBER:整数と少数 CHAR(n):nバイトの固定長文字列 VARCHAR2(n):nバイト以下の可変長文字列 BLOB:バイナリデータ(最大128テラバイト) CLOB:文字列(最大128テラバイト) DATE:年月日時分秒のデータ TIMESTAMP:年月日時分秒に少数秒を…

SQL Zooを試してみた ~ SELECT in SELECTとJOIN

SQL

概要 SQLZOOは手を動かしながらSQLを無料で学べるサイト。 SQL ZooのSELECT in SELECTとJOINセクションにトライして、知らなかった点をメモしておく。 SELECT in SELECT 6. Bigger than every country in Europe ALL句 キーワード ALL で大小記号 >=、 >、 <…

SQL Zooを試してみた ~ Self Join

SQL

# 概要 10番目の問題がわからなかった。。。。 # 1. ```SELECT count(1) "# of Stops"FROM stops``` # 2. ```SELECT idFROM stopsWHERE name = 'Craiglockhart'``` # 3. ```SELECT id, nameFROM stopsJOIN route ON stops.id = route.stopWHERE num = '4' AN…

SQL Zooを試してみた ~ Using NULL

SQL

概要 SQL ZooのUsing NULLはわりと簡単な問題が多かった。一応、回答例を残しておく。 1. SELECT name FROM teacher WHERE dept IS NULL 2. SELECT teacher.name, dept.name "Dept" FROM teacher INNER JOIN dept ON (teacher.dept=dept.id) 3. SELECT teach…

SQL Zooを試してみた ~ More Join

SQL

概要 SQL ZooのMore Joinセクションの難しめの問題の結果のみをメモ。 時間のあるときに他の人の回答と比較してみたいと思う。 10. 1962映画の主演者 SELECT title, name FROM movie JOIN casting ON movie.id = movieid JOIN actor ON actor.id = actorid W…

AirflowがわからなかったのでUdemyで勉強してみた②

概要 UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 (事前準備)Dockerが重たいので、Airflow Standaloneで乗り切る Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので…