Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

2023-11-01から1ヶ月間の記事一覧

Linuxにおけるリポジトリ、yumあるいはdnf

Linuxにおいてリポジトリとは、ダウンロードのためにパッケージ(.rpm, .deb)などを配置してくれているサーバのこと。 例えば、ニフクラさんは、rhui-rhel-8-for-x86_64-baseos-rhui-rpmsやrhui-rhel-8-for-x86_64-appstream-rhui-rpmsというリポジトリ(サー…

Pythonでのオブジェクト指向プログラミング

概要 Microsoft LearnにPythonでのオブジェクト指向プログラミングがわかりやすくまとめられていたので、概要をメモしておく。 https://learn.microsoft.com/ja-jp/training/modules/python-object-oriented-programming/ Python を使用したオブジェクト指向…

UDPパケット受信時の一般的な処理実装

◆外部公開しているシステムがUDPパケットを受信した場合 パケットを無視する。なにもしない。ログも吐かない。 ログを吐くとディスクをひっ迫させる攻撃を受けるリスクがある。 ◆外部公開しないシステムがUDPパケットを受信した場合パケットは無視するが、ig…

Pytestを試してみる

Pytestの概要 pytestはPython用のソフトウェアフレームワーク。記述したテストを文字列で発見して、自動的にテストを行ってくれる。Circle CIなどのCIツールと組み合わせることで、テスト自動化ができる。 pytestはpip install pytestでインストールする。 i…

Airflowを試してみる

Airflowの要点っぽいところ AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のようなイメージ。 DAG Task…

ncコマンドでUDPパケットを送信する

ncコマンドでUDPで送信するには、-uオプションを使用する。 これを知らずにTCPで送信し続けて、なぜ届かないの(?)となってた。 とはいえ、nc -vuz [宛先IPアドレス] [ポート番号]とかで、宛先IPアドレスへの到達性確認しようとしてもUDPパケットなので、パケ…

[CircleCI] 新規リポジトリのセットアップ

[CircleCI] 新規リポジトリのセットアップ Bitbucketで新規リポジトリを作成して、CircleCIと連携させる流れについて忘備のためメモ。 Bitbucketで新規リポジトリを作成する。 CircleCIの[Projects]で該当のリポジトリに対し、[Set Up Project]をクリックし…

WindowsにリモートログインしてInSpecを実行する

Windowsマシンを構築した際に、リモート接続&PowerShellコマンド実行して、設定が想定通りになっているか確認したいことありますよね。 そういう場合は、Winrmで接続して、InSpecのpowershellリソースを使えばいけます(To: 未来の自分)。 WinrmでWindows…

DockerコンテナでつくるChef InSpec実行環境

なにも努力はいりません。GitHub上に公式が用意したDockerfileがあります。 ベースイメージがUbuntu 22.04なので個人的にとてもつかいやすい(軽量のベースイメージだと色々と入ってないものがあって面倒なので。) inspec/Dockerfile at main · inspec/insp…

Dockerコンテナのベースイメージの確認方法

このコンテナのOSなんだっけな?となって、何の気なしにDockerコンテナに入ってuname -r した。 ホストOSが表示されて「ん?」となったが、よく考えたらコンテナなので納得。 Debian系は/etc/os-releaseを確認すれば、ベースイメージを確認できる。 RedHat系…

pyproject.toml 知らんかった。

qiita.com nikkie-ftnext.hatenablog.com