Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

[CircleCI] 新規リポジトリのセットアップ

[CircleCI] 新規リポジトリのセットアップ Bitbucketで新規リポジトリを作成して、CircleCIと連携させる流れについて忘備のためメモ。 Bitbucketで新規リポジトリを作成する。 CircleCIの[Projects]で該当のリポジトリに対し、[Set Up Project]をクリックし…

WindowsにリモートログインしてInSpecを実行する

Windowsマシンを構築した際に、リモート接続&PowerShellコマンド実行して、設定が想定通りになっているか確認したいことありますよね。 そういう場合は、Winrmで接続して、InSpecのpowershellリソースを使えばいけます(To: 未来の自分)。 WinrmでWindows…

DockerコンテナでつくるChef InSpec実行環境

なにも努力はいりません。GitHub上に公式が用意したDockerfileがあります。 ベースイメージがUbuntu 22.04なので個人的にとてもつかいやすい(軽量のベースイメージだと色々と入ってないものがあって面倒なので。) inspec/Dockerfile at main · inspec/insp…

Dockerコンテナのベースイメージの確認方法

このコンテナのOSなんだっけな?となって、何の気なしにDockerコンテナに入ってuname -r した。 ホストOSが表示されて「ん?」となったが、よく考えたらコンテナなので納得。 Debian系は/etc/os-releaseを確認すれば、ベースイメージを確認できる。 RedHat系…

pyproject.toml 知らんかった。

qiita.com nikkie-ftnext.hatenablog.com

AzureでのDNSサーバー=168.63.129.16、およびRHELのNetworkManagerについて

AzureでプライベートDNSゾーンを作成したら、名前解決してくれるDNSサーバもプライベートNW内に作るのかと思いきや、168.63.129.16がDNSとして稼働してるらしい。 https://learn.microsoft.com/ja-jp/azure/virtual-network/what-is-ip-address-168-63-129-1…

SAML連携したTableauにTableau Desktopから接続できない問題 ⇒ プライベート認証局によるサーバー証明書の署名で解決

SAML連携したTableau Serverに対して、Tableau Desktopから接続しようとしたところ、以下のエラーが出てうまくいかなかった。 Cannot connect to Tableau Server. Please check the server name and port and try again. Internet communication error: SSL …

挙動の違い:プロキシサーバ v.s.ファイアウォール

先日、ファイアウォールを経由させて外部に送信したHTTPリクエストが403エラーになったことがあった。 てっきり経由させているファイアウォールが403エラーを返してきたのかと思ったが、インターネットの向こう側にいるAWS ELBが返してきていた。 先輩に話し…

サブジェクト代替名 - Subject Alternative Names

サブジェクト代替名、知らんかった、、、 Tableau Prepで自己証明書を使う場合は、サブジェクト代替名を入れて、と記述があり、「???」となって調べたら、コモンネームよりもむしろサブジェクト代替名でホスト名との一致チェックをするっぽい。 参考⇩ 【…

シンボリックリンク@Windows

WindowsでもコマンドプロンプトやPowerShellでシンボリックリンクを張れることを知ったのでメモ。 コマンドプロンプトではmklink 、PowerShellでは New-Item コマンドを使う。 とりあえず、コマンドプロンプトのmklinkコマンドでディレクトリにシンボリック…

【Azure】RHEL VMでのディスク拡張

AzureでRHEL8のVMを構築した際に、デフォルトでパーティションに割り当てられている論理ボリューム(LV)だと足りなかったので、lvextend でLVを拡張してあげました。手順のメモを以下に記載します。 まずは lsblk で割り当てられているボリュームサイズを確認…

GKEでAirflowを動かす

要件 GKEでAirflowを動かして、外部NWからAirflow UIにアクセスしたい。 HTTPSで通信を暗号化したい。 構成 External HTTP(S) Load Balancingを使用した構成にする。こいつでHTTPS終端する。 GKEの観点だとIngressとService(NodePort)を使うことになる。 構…

Visual Studio Codeの設定

改行コードの設定 VS Codeのデフォルトの改行コードはCRLF (\r\n)。 LinuxのスクリプトにCRLFが混じっているとエラーになってしまうので、改行コードをLF (\n)にしておく。 /bin/bash^M: bad interpreter: そのようなファイルやディレクトリはありません atm…

【GCP】2種類のファイアウォールサービス

GCPの2種類のファイアウォールサービス GCPには2種類のファイアウォールサービスがある。 それが、VPC ファイアウォールルール と ファイアウォールポリシー。 それぞれの違いはこちらがわかりやすい、 blog.g-gen.co.jp Terraformだと、 google_compute_fir…

ADサーバ構築 ⇒ ドメイン参加 ⇒ GPO作成

ADサーバー構築 ↓ Windows ServerでADサーバーを構築する。 dev.classmethod.jp ドメイン参加 ↓ Windowsをドメイン参加させる。 server-network-info.blogspot.com GPO(グループポリシーオブジェクト) ↓ GPOを作成し、割り当てる。 ittrip.xyz mseeeen.msen.…

GCP DevOps Learning Log

Google SRE's best practicee https://sre.google/sre-book/table-of-contents/ Incident Document It should contain the followings. Incident timeline List of actions carried out to restore the service Command hierarchy: The roles such as Incide…

GCP Professional Cloud DevOps Engineerの勉強に参考になりそうなサイト

www.youtube.com DevOps とは: 研究とソリューション | Google Cloud sre.google github.com Google Professional Cloud DevOps Engineer Practice Exams examtopics.com docs.google.com blog.g-gen.co.jp cloud.google.com sre.google

Learnings on GCP DevOps

What is the content? A memorandum on learning for GCP DevOps certification. SRE (Site Reliability Engineering) DevOps has five goals. reduce organizational silos Accept failure as normal Implement gradual changes Leverage tooling and autom…

Embulk実行用のDockerイメージ

概要 DockerコンテナでEmbulkを手軽に実行したかったので、試しに作成してみる。 準備 Embulkで実行するために必要なコンフィグファイル config.ymlとEmbulkのインプットとなるtest.csvを準備する。 config.ymlはCSVを読み取り、標準出力に表示する設定とす…

読書メモ「プロのためのLinuxシステム構築・運用技術」

概要 第1章 Linuxサーバーの基礎 第2章サーバー運用の基礎 第3章Linuxのストレージ管理 第4章Linuxのネットワーク管理 第5章プロセス管理 第6章Linuxサーバーの問題判別 6.1.3システムログの収集 概要 「プロのためのLinuxシステム構築・運用技術」を読んで…

読書メモ「ひと目でわかるAzure Active Directory」

概要 「ひと目でわかるAzure Active Directory 第3版」を読んで、自分なりに理解したことや調べたことをまとめておく。 主に、次のキーワードについて学んだ。 Azure AD Azure AD Domain Service Azure AD B2B Azure AD B2C Azure AD Connect Active Direct…

Azureでのアラート

概要 一般に以下の3種類のアラートを使用する。 ログアラート アクティビティログアラート メトリック アラート ログアラート LogAnalyticsワークスペースのテーブルに保管されたログに対して、クエリを実行し、該当する文字列を含んだログや、閾値を超える…

Azureでのログ収集

概要 Azureでのログの種類とログ収集方法 リソースログ 診断設定 アクティビティログ Azure Active Directoryログ 仮想マシンのログとデータ収集ルール NSG 診断設定 vs フローログ 概要 Azureでの各リソースのログ収集方法について、体系的に理解できていな…

Linux勉強メモ

概要 Linuxを触るので久しぶりに再勉強した内容をメモしておく。 概要 ssh 仮想マシン コンテナ ブートプロセス systemd ターゲット 主なターゲット ターゲットの居場所 ターゲットの管理 systemctl プロセス プロセス関連のコマンド ジョブ GUI環境 X Windo…

Terraform の for 文

Terraformのfor_each文はよく使うけれど、for文はほとんど使ったことがないので、試しにマップ型をfor文に渡してifフィルターをしてみた。 locals { names ={ foo = "abc" bar = "def" baz = "ghi" } } output "sample" { value = local.names } output "sam…

JavaScriptを触ってみた

クロスサイトスクリプトについて勉強しているときに、JavaScriptが登場したので、JavaScriptについてさわりの部分を調べてみた。 JavaScriptとは、動きのあるWebページを作成する際によく使われるプログラミング言語です。JavaScriptを使うことにより、Webペ…

WordpressでHPを作成したのでメモ

概要 GCP上にVMをたてて、WordpressでHPを作成したのでメモしておく。 メモ GCPは無料枠があるので、GCP上にVMをたててHPを作成することにした。 インスタンスグループを作成してロードバランサーでSSL終端しようとしたが、リダイレクトループが発生してしま…

セキュリティ関連キーワード

CIS ControlsとCIS Benchmarks データ損失防止(DLP) DLP(Data Loss Prevention)|セキュリティ用語解説|NRIセキュア DMARC DMARCとは?その仕組みと設定方法、SPFやDKIMとの関係 | Proofpoint JP パッチ管理ソフトウェア ホスト型ファイアーウォール [ht…

【更新中】PCCSEコース 

概要 Prisma Cloud Visibility, Compliance, and Governance: Onboarding and Setup Prisma Cloud Compute 詳細な保護 パブリック クラウド アカウントのオンボーディング ユーザ管理 ユーザ管理におけるリソース ロール ロール作成 ユーザ作成 SSO設定 一般…

Prisma Cloudの勉強方法

Prisma Cloudの勉強方法について調べてみた。公式の学習教材をBeaconのPrisma Cloudに関連するコースをやってみたが、これをやれっていけばわかるようになりそう。ただ、文章は英語にできるけど、ちょいちょい英語の動画があり、それが字幕とかも出せないの…