Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

2023-01-01から1年間の記事一覧

Learnings on GCP DevOps

What is the content? A memorandum on learning for GCP DevOps certification. SRE (Site Reliability Engineering) DevOps has five goals. reduce organizational silos Accept failure as normal Implement gradual changes Leverage tooling and autom…

Embulk実行用のDockerイメージ

概要 DockerコンテナでEmbulkを手軽に実行したかったので、試しに作成してみる。 準備 Embulkで実行するために必要なコンフィグファイル config.ymlとEmbulkのインプットとなるtest.csvを準備する。 config.ymlはCSVを読み取り、標準出力に表示する設定とす…

読書メモ「プロのためのLinuxシステム構築・運用技術」

概要 第1章 Linuxサーバーの基礎 第2章サーバー運用の基礎 第3章Linuxのストレージ管理 第4章Linuxのネットワーク管理 第5章プロセス管理 第6章Linuxサーバーの問題判別 6.1.3システムログの収集 概要 「プロのためのLinuxシステム構築・運用技術」を読んで…

読書メモ「ひと目でわかるAzure Active Directory」

概要 「ひと目でわかるAzure Active Directory 第3版」を読んで、自分なりに理解したことや調べたことをまとめておく。 主に、次のキーワードについて学んだ。 Azure AD Azure AD Domain Service Azure AD B2B Azure AD B2C Azure AD Connect Active Direct…

Azureでのアラート

概要 一般に以下の3種類のアラートを使用する。 ログアラート アクティビティログアラート メトリック アラート ログアラート LogAnalyticsワークスペースのテーブルに保管されたログに対して、クエリを実行し、該当する文字列を含んだログや、閾値を超える…

Azureでのログ収集

概要 Azureでのログの種類とログ収集方法 リソースログ 診断設定 アクティビティログ Azure Active Directoryログ 仮想マシンのログとデータ収集ルール NSG 診断設定 vs フローログ 概要 Azureでの各リソースのログ収集方法について、体系的に理解できていな…

Linux勉強メモ

概要 Linuxを触るので久しぶりに再勉強した内容をメモしておく。 概要 ssh 仮想マシン コンテナ ブートプロセス systemd ターゲット 主なターゲット ターゲットの居場所 ターゲットの管理 systemctl プロセス プロセス関連のコマンド ジョブ GUI環境 X Windo…

Terraform の for 文

Terraformのfor_each文はよく使うけれど、for文はほとんど使ったことがないので、試しにマップ型をfor文に渡してifフィルターをしてみた。 locals { names ={ foo = "abc" bar = "def" baz = "ghi" } } output "sample" { value = local.names } output "sam…

JavaScriptを触ってみた

クロスサイトスクリプトについて勉強しているときに、JavaScriptが登場したので、JavaScriptについてさわりの部分を調べてみた。 JavaScriptとは、動きのあるWebページを作成する際によく使われるプログラミング言語です。JavaScriptを使うことにより、Webペ…

WordpressでHPを作成したのでメモ

概要 GCP上にVMをたてて、WordpressでHPを作成したのでメモしておく。 メモ GCPは無料枠があるので、GCP上にVMをたててHPを作成することにした。 インスタンスグループを作成してロードバランサーでSSL終端しようとしたが、リダイレクトループが発生してしま…

セキュリティ関連キーワード

CIS ControlsとCIS Benchmarks データ損失防止(DLP) DLP(Data Loss Prevention)|セキュリティ用語解説|NRIセキュア DMARC DMARCとは?その仕組みと設定方法、SPFやDKIMとの関係 | Proofpoint JP パッチ管理ソフトウェア ホスト型ファイアーウォール [ht…

【更新中】PCCSEコース 

概要 Prisma Cloud Visibility, Compliance, and Governance: Onboarding and Setup Prisma Cloud Compute 詳細な保護 パブリック クラウド アカウントのオンボーディング ユーザ管理 ユーザ管理におけるリソース ロール ロール作成 ユーザ作成 SSO設定 一般…

Prisma Cloudの勉強方法

Prisma Cloudの勉強方法について調べてみた。公式の学習教材をBeaconのPrisma Cloudに関連するコースをやってみたが、これをやれっていけばわかるようになりそう。ただ、文章は英語にできるけど、ちょいちょい英語の動画があり、それが字幕とかも出せないの…

WordPressでヨガレッスンの予約サイトを作れないか調べてみた

概要 ヨガレッスンの予約のように事前に定めた時間割をもとに予約を行うサイトをWordPressで作れないか調べてみた。 調査した結果、WordPressにEvent ManagerとWP FullCalendarのプラグインを追加すれば、目的としていたレッスン予約サイトが作れそう。 ただ…

Ansible超基本メモ

概要 Ansible実践ガイド 第3版を読んでみて超基本的な内容のみメモする。雑なメモなので、正しい内容が確認したい場合は再度書籍を読む。 ちなみにAnsible実践ガイド 第3版は23年4月時点でKindle Unlimited対象だった。 Ansibleとは 構成管理ツール(リモー…

Cisco 841MルータでWiFi AP経由でインターネットにつなぐ

概要 Cisco 841Mルータでの初期設定や、インターネット接続に必要な設定についてメモしておく。 今回購入したもの サイト間VPNの設定を試してみたくて、Ciscoルータ 841Mを購入した。付属品は電源ケーブルだけなので、LANケーブルなどが別途必要。 すでにLAN…

読書メモ ~ SQL Server Transact-SQL プログラミング 実践開発ガイド

SQL

概要 インスタンス ユーザ インスタンス接続の認証方法 各ユーザの作成 スキーマ SQL Serverのツール SSMS SQL Server Profiler データベースオブジェクト システムテーブル システムストアドプロシージャ データ型 文字列型 数値型 日付型 キーと製薬 サー…

GCE Linuxインスタンスにてディスク交換後にSSH接続不可エラー

GCP

概要 GCPでGCEのLinuxインスタンスで「追加ディスク」を交換したところSSH接続ができなくなったが、ディスクのマウント設定を変更したところ、アクセスできるようになった。 エラーメッセージ 以下のようなエラーが出た。 ポート22でVMに接続できません。 VM…

BigQueryでのJSONロード

GCP

概要 BigQueryならJSONでネストされたデータであってもロードして、さらに簡単に正規化できる。 例えば、APIで取得したデータがJSON形式でネストされている場合でもひとまずBigQueryのテーブルに読み込み、BigQueryのUNNEST関数を使うことで簡単にネスト解除…

発音練習が必要な英単語

according to additional additionally ad-hoc after analysis analytics analyze annual application application assumption batch board browsing business collection continue coordination count customer dashboards data day-to-day definition desi…

ITプロジェクトで使用する英語表現

概要 IPプロジェクトで使用する英語表現をまとめ、今後英語表現調査にかかる時間を削減する。 英語表現 as in the past:以前のように、従来通り at the weekly meeting:週次会議で (in the meeting でもいいけど、at the meetingとはニュアンスが異なるら…

英語会議の準備

概要 会議あるいは出張で使いそうな英語をメモ。 覚えておきたいフレーズに★マークをつける。 自信の度合 下に行くほど、自信が低い。 I believe that I think that I feel that I suppose that It seems to me that ★ I would imagine that I may be wrong,…

読書メモ~Linuxのしくみ(更新中)

概要 「Linuxのしくみ」を読んで大事そうなところをメモ コンピューターシステムの階層 階層 ユーザープログラム OS外ライブラリ OSライブラリ カーネル ハードウェア 実際にはこんなに綺麗に階層化されてない 用語 プログラム Go言語などのコンパイラが多言…

ネイティブアプリとウェブビュー(Webview)

スマホアプリの表示部分を専用のプログラムで書く場合、そういったスマホアプリをネイティブアプリと呼んだりする。 一方、SafariやChromeなどのブラウザで表示できるHTMLを読み込み、通常のWebページと同じように見られる枠をつくることをWebviewと呼ぶ。 …

Webトラッキング

Webトラッキング https://it-trend.jp/marketing_automation_tool/article/458-0021 Webトラッキングとは、Webサイトを訪れたユーザーのネット上での行動を記録・追跡すること ユーザーがどこから流入したのか、どのくらいの時間閲覧したか等がわかる Webト…

Azure DevOps

概要 Azure DevOpsを業務で使いそうなので下記のUdemy講座を受講してみた。 重要そうなところをメモしておく。 Learn DevOps: Docker, Kubernetes, Terraform and Azure DevOps DockerやTerraformはなんとなくわかっているので、今回は以下のセクションに取…

Project Management

プロジェクト管理における3つの重要な制約 Scope Time Cost どれか一つでも変更があれば、ほかの制約に影響を与える 用語 Identified risks:既知のリスク。リスクを確認し、対応しなければならない Project Charter:プロジェクト憲章 Project sponsor Proj…

読書メモ~AWSで学ぶクラウドネイティブ実践入門

概要 「AWSで学ぶクラウドネイティブ実践入門」を読んで大事そうなところをメモしておく。 今回は第2章「AWSで構築するクラウドネイティブサービス」と第3章「コンテナサービスの構築」のみ読んだ。 第4章「CI/CDの構築」は今度時間があるときに読む。 ECRに…

読書メモ~良いコード/悪いコードで学ぶ設計入門

概要 「良いコード/悪いコードで学ぶ設計入門」を読んで大事そうなところをメモしておく。 書籍中で書かれているコードを一部Pythonに変換してみる。 クラス設計(第3章) インスタンス変数とメソッドの両方をクラス内で作成する インスタンスを生成する。…

AWSのコンテナサービス

AWSのコンテナサービスには、ECSとFargateがある。 といってもFargateはECSの起動タイプの1つなので包含関係にある。 ECSの起動方法はEC2とFargateの2種類で、EC2であればホストマシンとしてEC2を起動してそこの上でコンテナを動かす。 一方、Fargateはサー…