「Linux」の記事 - Crieit

Raspberry Pi 5 に Ubuntu 24.04 LTS を入れて SSH するまで

2024-02-27T00:46:48+09:00

ついに日本でも、 Raspberry Pi 5 の技適対応モデルが発売された。

Raspberry Pi にインストールする OS と言えば、まずは Raspberry Pi OS (旧 Raspbian) だが、同じ Debian ベースの Ubuntu も Raspberry Pi 向けの公式イメージを出している。

但し、 Raspberry Pi 5 に対応しているのは、 Ubuntu 23.10 (コードネーム: mantic) 以降のみとなる。

現在リリース済みの 23.10 は「非LTS」バージョンとなり、サポートが 9ヶ月 (2024年6月まで) と短い。
常用するなら、サポートが 5年 (ESM なら 10年) と長い LTS バージョンが望ましいが、残念ながら 22.04 LTS Raspberry Pi 5 に非対応だ。

LTS バージョンの次回リリースは 24.04 LTS (コードネーム: noble / 2024年4月リリース予定) で、現在絶賛開発中だ。

そんな開発中の 24.04 LTS も、デイリースナップショットが手に入る。
そいつを使ってディスプレイやキーボードが無い状態で、インストールから SSH 接続までやってみよう。

Raspberry Pi 5 をターゲットに書いているが、 Raspberry Pi 3, 4, Raspberry Pi Zero 2 W でも同じ手順でできるはずだ。

なお、この記事は 24.04 LTS がリリースされたら、それに併せて内容に書き換えていくつもり。

TL;DR

microSD カードに Ubuntu の OS イメージを焼いたあと、 RasPi に挿す前に初回起動時の設定を書き換える
cloud-init の挙動を理解しよう
ディスプレイなし & 無線LAN Only だと少し工夫がいる
今回の記事の内容は、Raspberry Pi に Ubuntu を入れて SSH でログインするまでの A to B | Aqua Ware つぶやきブログの二番煎じ
- Ubuntu 24.04 LTS に合わせて内容はアップデートされている

準備するもの

Raspberry Pi 5
- Raspberry Pi 3, 4 でも同じ手順でいけるはず
4GB 以上の micorSD カード
- IOPS が高い、「アプリケーションパフォーマンスクラス」が A2 のものが良いだろう。値段や速度を考えると、実用上は 64GB 以上になるだろうか。
- 私は、ARCANITE 64GB microSDXCカード【A2】、UHS-I U3、V30、4K、C10 値段の割にパフォーマンスが良かったため、これを使った。
- 後述するが、最終的には NVMe SSD にした方が断然良い
microSD を書き込める PC (Win, Linux, mac)
インターネットに繋がる Wi-Fi またはイーサネットケーブル

以下もあると便利だが、今回の手順では無くても問題ない。

micro-HDMI で繋がるディスプレイ又は変換コネクタ
RasPi に繋げる USB キーボード

イメージファイルの取得

正式リリース前の Raspberry Pi 向けデイリースナップショットイメージは、以下のいずれかから手に入る。

今回は、サーバーOS的に SSH して使う事が目的なので、後者のサーバー版を利用する。

Raspberry Pi 向けデスクトップ版イメージ
- https://cdimage.ubuntu.com/daily-preinstalled/current/
Raspberry Pi や、汎用 64-bit ARM, RISC-V 向けサーバー版イメージ
- https://cdimage.ubuntu.com/ubuntu-server/daily-preinstalled/current/

リンク先から、 noble-preinstalled-server-arm64+raspi.img.xz を選択してダウンロードしよう。

24.04 LTS が正式リリースされれば、 Install Ubuntu on a Raspberry Pi | Ubuntu のページからダウンロードできるようになるはずだ。

ブータブル SD の焼き込み

ダウンロードしたイメージファイルを、ブート可能な状態で microSD に書き込む。
ダウンロードしたファイルをただ SD カードに保存するのではなく、専用のツールで書き込む必要があるぞ。

方法は色々あるのだが、今回は個人的にオススメな balenaEtcher を使った方法で紹介しよう。

microSD を SDカードスロットに挿す
balenaEtcher を DL & 起動する。
- DLする balenaEtcher は Portable 版で良い
前項でダウンロードするした ***.img.xz を選択して、書き込みを開始する
- ***.img.xz は、 ***.img ファイルを .xz 形式で圧縮したものなのだが、手動で解凍せず直接 balenaEtcher で選択してしまって問題ない。 balenaEtcher は書き込み時にオンザフライで解凍する。

なお、リリース済みの Ubuntu (や Raspberry Pi OS など) であれば、一般的に Raspberry Pi Imager というツールを使った方法がオススメされるのだが、DLが遅いからか、全体的に時間がかかるので私はあまりオススメしない。

system-boot パーティション内の cloud-init 等の設定を書き換える

作成した micorSD を早速 RasPi に挿す …前に 、初回セットアップ設定を書き換える。

一度書き込んだ microSD を再び PC に挿し直すと、 "system-boot" という 500MB 位の FAT32 パーティションが開けるはずだ。

ここには、 cloud-init という仕組みで初回起動時の設定を定義するファイルがいくつか含まれている。
これらを書き換えていく。

書き換え後のファイルはこちらの Gist に置いてあるので、結果だけ欲しい人はここから DL をば。

cloud-init の network-config

以下のように書き換える。
(元のファイルからの差分を diff のフォーマットで表示している。以降同様。)

--- network-config.org  
+++ network-config      
@@ -22,23 +22,11 @@
   ethernets:
     eth0:
       dhcp4: true
       optional: true

-#  wifis:
-#    wlan0:
-#      dhcp4: true
-#      optional: true
-#      access-points:
-#        myhomewifi:
-#          password: "S3kr1t"
-#        myworkwifi:
-#          password: "correct battery horse staple"
-#        workssid:
-#          auth:
-#            key-management: eap
-#            method: peap
-#            identity: "[email protected]"
-#            password: "passw0rd"
-#            ca-certificate: /etc/my_ca.pem
-
-#      regulatory-domain: GB
+  wifis:
+    wlan0:
+      dhcp4: true
+      access-points:
+        "SSID-of-myhomewifi":
+          password: "password-of-myhomewifi"

Ubuntu では Netplan を使ってネットワークが管理されるため、 Netplan の形式で記述する。

規定値では IPv4 の有線イーサネットのみ、 DHCP 自動取得で接続されるようになっている。
必要に応じて、上述のように Wi-Fi で接続する SSID 等の情報を追記したり、逆に有線LANを使わないなら ethernet: プロパティごと削除してしまってもよいだろう。

SSID やパスワードは、各自の環境のものに置き換えて書き換えてほしい。

コメントアウトされている wifi の記述例では、 wifis.wlan0.optional を true に設定しているが、もし Wi-Fi 単独でネットワークに接続するつもりならこの設定は行わないようにしよう。
さもないと、OS起動の度に2分も余計に時間かかる羽目になる。
これは、 systemd-networkd-wait-online.service デーモンが、(optional true を指定していない) 有効なネットワークの接続をタイムアウトするまで待機してしまうためだ。

network-config 自体のリファレンスはこちら。
https://cloudinit.readthedocs.io/en/23.4.1/reference/network-config.html

cloud-init の user-data

こちらは書き換え箇所が多いので、何箇所かに分けて説明していく。

まず最初はユーザー名まわり。

--- user-data.org
+++ user-data
@@ -17,13 +17,17 @@
 # Some additional examples are provided in comments below the default
 # configuration.

+# Override the `default_user` configuration from `/etc/cloud/cloud.cfg`. The `user` dictionary keys supported for the default_user are the same as the `users` schema.
+user:
+  name: newusername
+
 # On first boot, set the (default) ubuntu user's password to "ubuntu" and
 # expire user passwords
 chpasswd:
   expire: true
   users:
-  - name: ubuntu
-    password: ubuntu
+  - name: newusername
+    password: newpassword
     type: text

 ## Set the system's hostname. Please note that, unless you have a local DNS

規定では、 cloud-init パッケージの /etc/cloud/cloud.cfg ファイルの定義によって、 "ubuntu" というユーザーが作成される。

しかし、既知のユーザー名をそのまま使うのはセキュリティ的にも若干不安があるし、作成後のユーザー名を書き換えるのは若干面倒なので、作成されるデフォルトのユーザー名自体を、他の名前 (上記例だと "newusername") に書き換えてしまおう。

また、 chpasswd による、初回アクセス時のパスワード変更対象とするユーザー名も、併せて変更しておく。

次にホスト名とキーボード周りの設定。

@@ -31,14 +35,14 @@
 ## setting the hostname here will not make the machine reachable by this name.
 ## You may also wish to install avahi-daemon (see the "packages:" key below)
 ## to make your machine reachable by the .local domain
-#hostname: ubuntu
+hostname: ubuntu-raspi5

 ## Set up the keyboard layout. See localectl(1), in particular the various
 ## list-x11-* sub-commands, to determine the available models, layouts,
 ## variants, and options
-#keyboard:
-#  model: pc105
-#  layout: gb
+keyboard:
+  model: pc105
+  layout: jp
 #  variant:
 #  options: ctrl:nocaps

ここはまぁ、見た通りなので追加での説明はいらないかな。

お次は SSH まわり。

@@ -53,6 +57,8 @@
 #ssh_import_id:
 #- lp:my_launchpad_username
 #- gh:my_github_username
+ssh_authorized_keys:
+- ssh-rsa AAAA<中略>== rsa-key-of-user1

 ## Add users and groups to the system, and import keys with the ssh-import-id
 ## utility

ssh_authorized_keys に直接指定するか、ssh_import_id: のところで自分の GitHub のユーザー名を指定してインポートすることにより、デフォルトのユーザー (上記例だと "newusername") に登録する公開鍵を指定する。

SSH に登録するパスワードログインは規定で禁止されているので、この設定をしておかないと SSH による遠隔からのアクセスができない。

タイムゾーンや起動後の処理まわり。

@@ -82,8 +88,13 @@
 #- python3-gpiozero
 #- [python3-serial, 3.5-1]

+# locale and timezone
+timezone: Asia/Tokyo
+
 ## Write arbitrary files to the file-system (including binaries!)
-#write_files:
+write_files:
+- path: /etc/cloud/cloud-init.disabled
+  defer: true
 #- path: /etc/default/console-setup
 #  content: |
 #    # Consult the console-setup(5) manual page.

とりあえずタイムゾーンは日本標準時にしておこう。

次に、 write_files: のほうだが、これは次回以降のブート時に cloud-init が余計に起動しないようにするための設定だ。

cloud-init の設定の大半は、初回ブート時にただ一度だけ実行されるのだが、 cloud-init サービス自体は基本的に毎回常に起動して、サービスとして常駐しっぱなしになっている。
Modules で、 Module frequency: per always となっているモジュールの実行などは、ブートする度に毎回実行される。
そうすると、場合によっては cloud-init の実行ログがログイン画面を覆ってしまうことが毎回の起動ごとに発生して鬱陶しい。
このため、 /etc/cloud/cloud-init.disabled という空ファイルを作成しておくことで、次回以降の起動時に cloud-init を無効にしている。

defer: true が指定されている部分についてだが、これは cloud-init の初期化処理が大きく分けて Network (cloud_init_modules), Config (cloud_config_modules), Final (cloud_final_modules) という 3ステージに分かれていることに関係する。
write_files: モジュールは Ubuntu の既定だと Network ステージに実行されてしまい、このタイミングで cloud-init.disabled ファイルが作成されてしまうと、 Config や Final ステージの処理が実行されなくなってしまう。
このため、 defer オプションを true にして Final ステージで cloud-init.disabled ファイルが作成されるよう調整しているのだ。

なお、どのモジュールがどのステージで実行されるかは、 /etc/cloud/cloud.cfg で定義されている。
（各ディストリビューション毎の cloud.cfg のテンプレートソースはこちら）

最後に、コマンドの実行。
以下の 192.168.0.2 の部分は、 ssh で RasPi に接続するゲスト PC の IPアドレスに書き換えてくれ。

@@ -106,7 +117,9 @@
 #  permissions: '0644'

 ## Run arbitrary commands at rc.local like time
-#runcmd:
+runcmd:
+# after wlan0 is connected, write the arp entry to target machine on background job
+- [ sh, -c, 'sleep 2; ping -c 4 192.168.0.2' ]
 #- [ ls, -l, / ]
 #- [ sh, -xc, "echo $(date) ': hello world!'" ]
 #- [ wget, "http://ubuntu.com", -O, /run/mydir/index.html ]

このコマンドは、仮に ssh ゲストの IP アドレスが 192.168.0.2 であると仮定して、そこへ向かって Ping を打っている。
なぜなら、ゲストPC から RaspPi の IP アドレスを ARP コマンドで確実に調べられるようにするためだ。

RasPi に繋げるディスプレイがないことを前提とすると、 SSH するために DHCP によって RasPi に割り当てられた IP アドレスをどうやって調べるのか、と言う問題に直面する。

RasPi の MAC アドレスの先頭 24bit は、 Raspberry 財団の所持する OUI から割り当てられるはずなので、以下のいずれかになるはずだ。

28:CD:C1
2C:CF:67
B8:27:EB
D8:3A:DD
DC:A6:32
E4:5F:01

通常、 RasPi がオンラインになったときに、 ARPリクエストがブロードキャストされるため、同一ネットワーク内の PC の ARP テーブルに RasPi のレコードが追加され、以下のような arp コマンドで対象の IP アドレスを調べることができるようになる。。。 多くの場合は。

while(1) { arp -a | ?{ $_ -match '\s(28-cd-c1|2c-cf-67|b8-27-eb|d8-3a-dd|dc-a6-32|e4-5f-01)' }; Start-Sleep -Seconds 1}

ところが、 RasPi が Wi-Fi で繋いでいる先が (単なるアクセスポイントではなく) ルーターだったりすると、 RasPi が同じサブネット内に ARPリクエストをブロードキャストしたのにも関わらず、ルーターが無駄に気を利かせて ARPリクエストを代替して投げてしまい、同じサブネットの別の端末の ARP テーブルには、 RasPi の MAC アドレスのレコードが記録されないことがある。

そこで、 RasPi 側から SSH のアクセス元となる PC を指定して ping を投げることで、その PC の ARP テーブルに確実に RasPi が載るようにしている。

ここまで書き換えたら、 SD カードを取り外して RasPi に挿し、いよいよ起動する。

cloud-init 周りの補足

system-boot パーティション内の中身について、もう少し細かい仕組み周りを深堀りして補足したい。
興味が無ければ、読み飛ばしてしまって次の章に進んでもらって問題ない。

system-boot パーティション直下にある README というファイルを開くと、このパーティションに存在するファイルの概要が簡単に書いてある。

==================
The Boot Partition
==================

This file belongs to the boot partition of the Ubuntu Server for Raspberry Pi.

...

このパーティションには、Raspberry Pi に於ける BIOS の代替となる config.txt といった H/W 設定用のファイルや、 cloud-init の構成ファイルなどが含まれていることがわかる。

このうち、cloud-init は Infrastructure as Code (IaC) の一種だ。
その名の通り、 AWS などのクラウド上の仮想マシンの初期設定を念頭においた仕組みだが、それに留まらず、一般的な Linux インスタンスの初期設定に活用される。
設定内容は、YAML形式の設定ファイルを使用して記述し、クラウドやディストリビューションの違いをある程度吸収して初期設定を行うことができる。
Ubuntu の OS のイメージ内には、事前に cloud-init のサービス（デーモン）が組み込まれており、OS の起動時に何らかの方法で指定された設定ファイルを読み取って、初回設定処理が実行される仕組みとなっている。

Raspberry Pi 用の Ubuntu Server イメージでは、この cloud-init 用の設定ファイルが上記の system-boot パーティションから取得される。
イメージ内のデフォルト値の定義と、system-boot パーティション内のユーザー定義が組み合わされ、初期設定が進められるワケだ。

たとえば、今回 microSD に書き込んだイメージをそのまま書き換えずに Ubuntu を起動すると、ユーザー認証が以下のように構成される。

ubuntu というユーザーID
ubuntu というパスワード
初回起動時にパスワードの変更を求める
SSH サーバーの起動

このうち、 (1), (4) は、OSに組み込まれた /etc/cloud/cloud.cfg の定義によるもの。
そして、 (2), (3) は system-boot パーティション内の user-data ファイル内の以下の部分の定義によるモノだ。

#cloud-config
chpasswd:
  expire: true
  users:
  - name: ubuntu
    password: ubuntu
    type: text

このデフォルトの構成だと流石にセキュリティ的にアレなので、書き換えを行っている… というのが、前項の設定の真相となる。

Raspberry Pi に割り当てられた IP アドレスを調べられるようにして起動

こんな感じでひととおりファイルを書き換えたら、いよいよ RasPi を起動する。

…と、その前に、 ssh でつなぐ予定のゲスト端末で、管理者権限で以下のコマンドを実行し、端末内の「arp テーブル」をリセットする。

arp -d *

その後、ようやくだが RasPi に microSD を挿して起動させよう。
初回ブート時の設定を適用しながら起動してくれる。

ssh でつなぐ予定のゲスト端末の PowerShell で、以下のような arp コマンドのループを実行し、ゲストPC から RasPi の IPアドレスを調べよう。
初回起動され安定しただろうところ（SDカードの I/O 性能によるが 1～5分？）で、 RasPi の IP アドレスがヒットしてくるようになるはずだ。

while(1) { arp -a | ?{ $_ -match '\s(28-cd-c1|2c-cf-67|b8-27-eb|d8-3a-dd|dc-a6-32|e4-5f-01)' }; Start-Sleep -Seconds 1}

公開鍵の登録が適切に行えれば、その IP アドレスに対し SSH できるはずだ。

初回アクセス時は、以下のようなパスワード変更を求められる。

WARNING: Your password has expired.
You must change your password now and login again!
Changing password for newusername.

古いパスワード ("newpassword") と変更後のパスワードを改めて入れる。

おわりに

一般的な1列端子の microSD で最速な UHS-I SDR104 のバスインターフェースに Raspberry Pi 5 が対応したことや、最近の安価な microSD の I/O 速度もだいぶ向上したのも相まって、 RasPi 4B が登場した頃と比べると、体感できる I/O 性能が大きく向上している。
おかげで、起動やパッケージのインストール、更新などが快適になった。

だいぶ高価になってしまった価格的な面からも、 Raspberry Pi の非Zero/Pico シリーズは「Linuxが動くマイコン」から「小型のLinuxマシン」という面がより強くなったと感じる。
（それはどうなんだという気もするけど。）

更に RasPi 5 では PCI Express (PCIe) にも対応しているため、 NVMe で繋いだ SSD からブートさせると、更に桁違いの高速化が臨める。

近いうちに、そちらも試してみようと思う。

…ただ、どうせ PCIe に対応するなら、microSD Express に対応してくれれば、 NVMe 用 HAT とか買い足さんで済むから良かったのにな～…と、思わんでもない。
しかし、2019年にSD7.1の規格として登場してから4年も経った2024年現在その製品が売られているとこを見たことないので、まぁ無理な相談か。

EOF制御文字を削除する

2023-10-20T20:06:09+09:00

#末尾にEOF制御文字があれば、1行削除する
if tail -n 1 ${DATA} | grep -q "^¥Z$";
then
    sed -i "s/^¥Z$//g"  ${DATA} 
fi

OCIでディスク追加＆Linuxのパーティション/LVM拡張

2022-08-21T03:02:03+09:00

1.ディスク追加

1.1. 新規ブロックボリュームを作成

Webコンソールで、
「ストレージ」＞「ブロックボリューム」
から新規ディスク作成。

1.2. インスタンスにアタッチ

対象インスタンスに移動し、
「アタッチされたブロックボリューム」＞「ブロックボリュームのアタッチ」
アタッチメントタイプはiSCSIを選択。

1.3. アタッチされたディスクをOSに認識させる

コンソール上で「アタッチ済」になっていてもOSではまだ認識していない。

$ lsblk
NAME               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                  8:0    0   50G  0 disk
tqsda1               8:1    0  100M  0 part /boot/efi
tqsda2               8:2    0    1G  0 part /boot
mqsda3               8:3    0 45.5G  0 part
  tqocivolume-root 252:0    0 35.5G  0 lvm  /
  mqocivolume-oled 252:1    0   10G  0 lvm  /var/oled

iSCSIコマンドを新規ディスクのアタッチ対象サーバで実行する。

記載されているコマンドを1行ずつ、実行結果を確認しながら実行していく。
3行実行後に見てみると認識されている。

# lsblk
NAME               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                  8:0    0   50G  0 disk
tqsda1               8:1    0  100M  0 part /boot/efi
tqsda2               8:2    0    1G  0 part /boot
mqsda3               8:3    0 45.5G  0 part
  tqocivolume-root 252:0    0 35.5G  0 lvm  /
  mqocivolume-oled 252:1    0   10G  0 lvm  /var/oled
sdb                  8:16   0   50G  0 disk

MOUNTPOINTに何も記載されていないので、まだ新規追加されたディスクをOSは認識しているがマウントされていないので、このディスクに操作を行えない。

2. パーティショニング

パーティションテーブルの表示

# parted /dev/sda print
Model: ORACLE BlockVolume (scsi)
Disk /dev/sda: 53.7GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name                  Flags
 1      1049kB  106MB   105MB   fat16        EFI System Partition  boot, esp
 2      106MB   1180MB  1074MB  xfs
 3      1180MB  50.0GB  48.8GB                                     lvm

2.1 ①partedコマンドでパーティション作成

partedコマンドを使用して新しいパーティション作成。
fdiskコマンドは2TB以下の場合に利用。2TB以上の場合はpartedコマンド,gdiskコマンド。

# parted /dev/sdb
GNU Parted 3.2
Using /dev/sdb
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel
New disk label type? msdos
(parted) mkpart
Partition name?  []? userdata
File system type?  [ext2]? xfs
Start? 2048s
End? 10GB
(parted) quit
Information: You may need to update /etc/fstab.

2個目のパーティションを作成

# parted /dev/sdc
GNU Parted 3.2
Using /dev/sdc
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mkpart
Partition type?  primary/extended? primary
File system type?  [ext2]? xfs
Start? 10GB
End? 30GB
(parted) q
Information: You may need to update /etc/fstab.

ファイルシステムは以下が参考になる。
https://qiita.com/sion_cojp/items/c8e015db39ddbf43012e

# udevadm settle

状況把握

# parted /dev/sdc print
Model: ORACLE BlockVolume (scsi)
Disk /dev/sdc: 53.7GB
Sector size (logical/physical): 512B/4096B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  10.0GB  9999MB  primary
 2      10.0GB  30.0GB  20.0GB  primary

partedコマンドで作成したパーティションは以下の手順でファイルシステムを作成する。

# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1              isize=512    agcount=4, agsize=610304 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=2441216, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

もしファイルシステムがext4の場合は

mkfs.ext4

状況把握

# parted /dev/sdc print
Model: ORACLE BlockVolume (scsi)
Disk /dev/sdc: 53.7GB
Sector size (logical/physical): 512B/4096B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type      File system  Flags
 1      1049kB  10.0GB  9999MB  primary   xfs
 2      10.0GB  30.0GB  20.0GB  primary   xfs
 3      30.0GB  53.7GB  23.7GB  extended

partedコマンドで状況把握

# parted /dev/sdc print
Model: ORACLE BlockVolume (scsi)
Disk /dev/sdc: 53.7GB
Sector size (logical/physical): 512B/4096B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type      File system  Flags
 1      1049kB  10.0GB  9999MB  primary
 2      10.0GB  30.0GB  20.0GB  primary
 3      30.0GB  53.7GB  23.7GB  extended

2.2 ②fdiskコマンドでパーティション作成

2個目のパーティション作成。
fdiskコマンドは2TB以下の場合に利用。2TB以上の場合はgdiskコマンドやartedコマンド。

# fdisk  /dev/sdc

Welcome to fdisk (util-linux 2.32.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Command (m for help): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p):

Using default response p.
Partition number (1-4, default 1):
First sector (2048-104857599, default 2048):
Last sector, +sectors or +size{K,M,G,T,P} (2048-104857599, default 104857599): 54857599

Created a new partition 1 of type 'Linux' and of size 26.2 GiB.

Command (m for help): t
Selected partition 1
Hex code (type L to list all codes): 8e
Changed type of partition 'Linux' to 'Linux LVM'.


Command (m for help): n
Partition type
   p   primary (1 primary, 0 extended, 3 free)
   e   extended (container for logical partitions)
Select (default p):

Using default response p.
Partition number (2-4, default 2):
First sector (54857600-104857599, default 54857728):
Last sector, +sectors or +size{K,M,G,T,P} (54857728-104857599, default 104857599):

Created a new partition 2 of type 'Linux' and of size 23.9 GiB.

Command (m for help): t
Partition number (1,2, default 2):
Hex code (type L to list all codes): 8e

Changed type of partition 'Linux' to 'Linux LVM'.


Command (m for help): w　　     　←書き込み
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

fdiskコマンドで状況把握

# fdisk  -l /dev/sdc
Disk /dev/sdb: 50 GiB, 53687091200 bytes, 104857600 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 1048576 bytes
Disklabel type: dos
Disk identifier: 0x538e2757

Device     Boot    Start       End  Sectors  Size Id Type
/dev/sdb1           2048  54857599 54855552 26.2G 8e Linux LVM
/dev/sdb2       54857728 104857599 49999872 23.9G 8e Linux LVM

2.3 LVM作成

LVを作成していく。

2.3.1 Physical Volume作成

対象を確認。

# lsblk
sdb                     8:16   0   50G  0 disk
├─sdb1                  8:17   0 26.2G  0 part
├─sdb2                  8:18   0 23.9G  0 part

対象に対して作成

# pvcreate /dev/sdb1 /dev/sdb2
  Physical volume "/dev/sdb1" successfully created.
  Physical volume "/dev/sdb2" successfully created.

確認。

# pvs
  PV         VG           Fmt  Attr PSize   PFree
  /dev/sdb1               lvm2 ---  <26.16g <26.16g
  /dev/sdb2               lvm2 ---   23.84g  23.84g

2.3.2 Volume Group作成

作成。

# vgcreate vg01 /dev/sdb1
  Volume group "vg01" successfully created
# vgcreate vg02 /dev/sdb2
  Volume group "vg02" successfully created

確認。

# vgs
  VG           #PV #LV #SN Attr   VSize   VFree
  vg01           1   0   0 wz--n-  26.15g  26.15g
  vg02           1   0   0 wz--n- <23.84g <23.84g

2.3.3 Logical Volume作成

作成

# lvcreate -n lv01 -l +100%FREE vg01
  Logical volume "lv01" created.
# lvcreate -n lv02 -l +100%FREE vg02
  Logical volume "lv02" created.

確認

# lvs
  LV   VG           Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert      
  lv01 vg01         -wi-a-----  26.15g                                                 
  lv02 vg02         -wi-a----- <23.84g

2.4 ファイルシステムの作成＆マウント

作成したブロックデバイスにファイルシステムを作成する。
ファイルシステムがxfsの場合は以下。

# mkfs.xfs /dev/vg01/lv01
meta-data=/dev/vg01/lv01         isize=512    agcount=4, agsize=1713920 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=6855680, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=3347, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

# mkfs.xfs /dev/vg02/lv02
meta-data=/dev/vg02/lv02         isize=512    agcount=4, agsize=1562368 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=6249472, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=3051, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

もしファイルシステムがext4の場合は

mkfs.ext4

ファイルシステムの手動マウント。

# mount /dev/vg01/lv01 /mnt/newspace1
# mount /dev/vg02/lv02 /mnt/newspace2

または

# mount /dev/sdb1 /mnt/newspace

現在マウントされてるファイルシステム、マウントポイントを表示。

# mount|grep sdb1
/dev/sdb1 on /mnt/newspace type xfs (rw,relatime,seclabel,attr2,inode64,logbufs=8,logbsize=32k,noquota)

2.4.1 ファイルシステムの永続マウント

今のままだとOS再起動時にマウントされない。
/etc/fstabにエントリーを追加。

まずは情報確認。

# lsblk -fp
NAME                           FSTYPE      LABEL UUID                                   MOUNTPOINT
/dev/sda
tq/dev/sda1                    vfat              2314-8847                              /boot/efi
tq/dev/sda2                    xfs               a619a666-d067-48a1-84c0-597037623f97   /boot
mq/dev/sda3                    LVM2_member       5QtWJg-49vg-4Ces-2Iv3-MRP5-dNdG-nLQwgd
  tq/dev/mapper/ocivolume-root xfs               b74c7d6e-a842-4ab7-a47e-2ac332edaa3d   /
  mq/dev/mapper/ocivolume-oled xfs               0950a10f-ab7a-4ade-81df-abfe0b973620   /var/oled
/dev/sdb
  /dev/sdb1                    xfs               1f50f554-f853-4ca1-84a3-f478a42a8b5e   /mnt/newspace
  /dev/sdb2                    xfs               5a6d9dcc-ab9f-4dc0-a9a1-08f596d7b7a0   /mnt/newspace2

/etc/fstabに追加する。

####
UUID=1f50f554-f853-4ca1-84a3-f478a42a8b5e       /mnt/newspace   xfs     defaults        0 0

第１フィールド　UUID
第２フィールド　マウントポイント
第３フィールド　ファイルシステム（xfsやext4）
第４フィールド　オプションをカンマ区切りで記入。なければ「defaults」
第５フィールド　0
第６フィールド　xfsファイルシステムの場合は0。ext4ファイルシステムの場合、ルートファイルシステムには1を、その他は２を。

3.ディスク拡張

3.1.パーティション拡張

3.1.1 OCIコンソールからオンラインディスク拡張とOS認識

コンソールからオンラインでディスク拡張可能。今回は50GBから65GBに拡張した。

まずは現在OSが認識しているディスクサイズ。

# fdisk -l /dev/sdb
Disk /dev/sdb: 50 GiB, 53687091200 bytes, 104857600 sectors　　←50ギビバイト
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 1048576 bytes
Disklabel type: gpt
Disk identifier: 921F02F5-8639-4525-9738-B75553F5F587

Device        Start       End  Sectors  Size Type
/dev/sdb1      2048  19531775 19529728  9.3G Linux filesystem　　←9.3ギビバイト
/dev/sdb2  19531776 104857566 85325791 40.7G Linux filesystem　　←40.7ギビバイト

まだ50ギビバイトしかOSに認識されていないので、拡張した65ギビバイトまで認識されるように再スキャンさせる。

# echo 1>/sys/class/block/sdb/device/rescan 　　←sdbの部分は場合による。ブートボリュームの場合はsda

再度、確認する。

# fdisk -l /dev/sdb
GPT PMBR size mismatch (104857599 != 136314879) will be corrected by write.　　←余白ができた事が記載されている
The backup GPT table is not on the end of the device. This problem will be corrected by write.
Disk /dev/sdb: 65 GiB, 69793218560 bytes, 136314880 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 1048576 bytes
Disklabel type: gpt
Disk identifier: 921F02F5-8639-4525-9738-B75553F5F587

Device        Start       End  Sectors  Size Type
/dev/sdb1      2048  19531775 19529728  9.3G Linux filesystem
/dev/sdb2  19531776 104857566 85325791 40.7G Linux filesystem

3.1.2 パーティションを再定義

拡張させるパーティションは最後尾にいるパーティション。
パーティション拡張させる前にまずは既存のパーティション定義を削除する。

# fdisk -/dev/sdb
Command (m for help): p
Disk /dev/sdb: 55 GiB, 59055800320 bytes, 115343360 sectors
～
Device     Boot    Start       End  Sectors  Size Id Type
/dev/sdb1           2048  54857599 54855552 26.2G 8e Linux LVM
/dev/sdb2       54857728 104857599 49999872 23.9G 8e Linux LVM
～

Command (m for help): d
Partition number (1,2, default 2): 2

Command (m for help): p
Disk /dev/sdb: 55 GiB, 59055800320 bytes, 115343360 sectors
～
Device     Boot    Start       End  Sectors  Size Id Type
/dev/sdb1           2048  54857599 54855552 26.2G 8e Linux LVM

２個目のパーティションが削除され、１個しかパーティションがないことがわかる。
２個目のパーティションを再定義する。

Command (m for help): n
Partition type
   p   primary (1 primary, 0 extended, 3 free)
   e   extended (container for logical partitions)
Select (default p): p
Partition number (2-4, default 2): 2
First sector (54857600-115343359, default 54857728):
Last sector, +sectors or +size{K,M,G,T,P} (54857728-115343359, default 115343359):

　Created a new partition 2 of type 'Linux' and of size 28.9 GiB.
　Partition #2 contains a LVM2_member signature.

Do you want to remove the signature? [Y]es/[N]o: N

Command (m for help): p
　Disk /dev/sdb: 55 GiB, 59055800320 bytes, 115343360 sectors
Device     Boot    Start       End  Sectors  Size Id Type
　/dev/sdb1           2048  54857599 54855552 26.2G 8e Linux LVM
　/dev/sdb2       54857728 115343359 60485632 28.9G 83 Linux

Command (m for help): t
Partition number (1,2, default 2):
Hex code (type L to list all codes): 8e
　Changed type of partition 'Linux' to 'Linux LVM'.

Command (m for help): p
　Disk /dev/sdb: 55 GiB, 59055800320 bytes, 115343360 sectors
～
Device     Boot    Start       End  Sectors  Size Id Type
　/dev/sdb1           2048  54857599 54855552 26.2G 8e Linux LVM
　/dev/sdb2       54857728 115343359 60485632 28.9G 8e Linux LVM

現在の状態を確認

# df -h
Filesystem                  Size  Used Avail Use% Mounted on
/dev/mapper/vg02-lv02           24G  203M   24G   1% /mnt/newspace2
/dev/mapper/vg01-lv01           27G  219M   26G   1% /mnt/newspace1

# lsblk
NAME               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                  8:0    0   50G  0 disk
tqsda1               8:1    0  100M  0 part /boot/efi
tqsda2               8:2    0    1G  0 part /boot
mqsda3               8:3    0 45.5G  0 part
  tqocivolume-root 252:0    0 35.5G  0 lvm  /
  mqocivolume-oled 252:1    0   10G  0 lvm  /var/oled
sdb                  8:16   0   65G  0 disk
tqsdb1               8:17   0  9.3G  0 part /mnt/newspace
mqsdb2               8:18   0 47.9G  0 part /mnt/newspace2

比べてみると、lsblkでは拡張が認識されているものの、「df -h」の方はまだ認識されていない。
読み込ませる。

ここでリブート

3.2 LVM拡張

3.2.1 pvresize

Physical Volume
まずは確認。

# pvs
  PV         VG           Fmt  Attr PSize   PFree
  /dev/sdb1  vg01         lvm2 a--   26.15g    0
  /dev/sdb2  vg02         lvm2 a--  <23.84g    0

リサイズする。

# pvresize /dev/sdb2
  Physical volume "/dev/sdb2" changed
  1 physical volume(s) resized or updated / 0 physical volume(s) not resized

5GB拡張が反映されていることを確認。

# pvs
  PV         VG           Fmt  Attr PSize   PFree
  /dev/sdb1  vg01         lvm2 a--   26.15g    0
  /dev/sdb2  vg02         lvm2 a--  <28.84g 5.00g　　←5GB空きが反映されてる。

3.2.2 LVの拡張

まずは事前確認。

# vgs
  VG           #PV #LV #SN Attr   VSize   VFree
  vg01           1   1   0 wz--n-  26.15g    0
  vg02           1   1   0 wz--n- <28.84g 5.00g

# lvs
  LV   VG           Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lv01 vg01         -wi-ao----  26.15g
  lv02 vg02         -wi-ao---- <23.84g　　←まだ拡張されてない

拡張する。

# lvextend -l +100%FREE /dev/vg02/lv02
  Size of logical volume vg02/lv02 changed from <23.84 GiB (6103 extents) to <28.84 GiB (7383 extents).
  Logical volume vg02/lv02 successfully resized.

拡張されたことを確認。

# lvs
  LV   VG           Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lv01 vg01         -wi-ao----  26.15g
  lv02 vg02         -wi-ao---- <28.84g　　←5GB拡張された

3.3 ファイルシステムの拡張

まだこの状態だとマウントポイントは拡張されていない。

# df -hT
Filesystem                    Type      Size  Used Avail Use% Mounted on
～
/dev/mapper/vg02-lv02         xfs        24G  203M   24G   1% /mnt/newspace2

ファイルシステムを拡張する。この際、マウントポイントを引数にすることに注意する。

# xfs_growfs /mnt/newspace2
meta-data=/dev/mapper/vg02-lv02  isize=512    agcount=4, agsize=1562368 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=6249472, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=3051, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 6249472 to 7560192

マウントポイントが拡張されたことを確認。

# df -hT
Filesystem                    Type      Size  Used Avail Use% Mounted on
～
/dev/mapper/vg02-lv02         xfs        24G  203M   24G   1% /mnt/newspace2

# xfs_growfs /mnt/newspace2

# df -hT /mnt/newspace2
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/mapper/vg02-lv02         xfs        29G  239M   29G   1% /mnt/newspace2　　←拡張された

ちなみに、ファイルシステムがext4の場合は

# resize2fs

4. ディスク追加

/dev/sdb1と/dev/sdb2と/dev/sdb3のうち、/dev/sdb1と/dev/sdb3を統合する。つまり、/dev/vg01/lv01に/dev/sdb3を追加する。

# lsblk
～
vg01-lv01         253:1    0 26.2G  0 lvm  /mnt/newspace1
～

下記手順で実行。

4.1 pv

# pvs
  PV         VG           Fmt  Attr PSize   PFree
  /dev/sdb1  vg01         lvm2 a--   26.15g    0
  /dev/sdb2  vg02         lvm2 a--  <28.84g    0

# pvcreate /dev/sdb3
  Physical volume "/dev/sdb3" successfully created.

# pvs
  PV         VG           Fmt  Attr PSize   PFree
  /dev/sdb1  vg01         lvm2 a--   26.15g    0
  /dev/sdb2  vg02         lvm2 a--  <28.84g    0
  /dev/sdb3               lvm2 ---    5.00g 5.00g

4.2 vg

# vgs
  VG           #PV #LV #SN Attr   VSize   VFree
  vg01           1   1   0 wz--n-  26.15g    0
  vg02           1   1   0 wz--n- <28.84g    0

# vgextend vg01 /dev/sdb3
  Volume group "vg01" successfully extended

# vgs
  VG           #PV #LV #SN Attr   VSize   VFree
  vg01           2   1   0 wz--n- <31.15g <5.00g
  vg02           1   1   0 wz--n- <28.84g     0

4.3 lv

# lvs
  LV   VG           Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lv01 vg01         -wi-ao----  26.15g
  lv02 vg02         -wi-ao---- <28.84g

# lvextend -l +100%FREE /dev/vg01/lv01
  Size of logical volume vg01/lv01 changed from 26.15 GiB (6695 extents) to <31.15 GiB (7974 extents).
  Logical volume vg01/lv01 successfully resized.

# lvs
  LV   VG           Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lv01 vg01         -wi-ao---- <31.15g
  lv02 vg02         -wi-ao---- <28.84g

4.4 ファイルシステムの拡張

# df -hT
Filesystem                    Type      Size  Used Avail Use% Mounted on
～
/dev/mapper/vg01-lv01         xfs        27G  219M   26G   1% /mnt/newspace1

ファイルシステムを拡張する。この際、マウントポイントを引数にすることに注意する。

# xfs_growfs /mnt/newspace1
meta-data=/dev/mapper/vg01-lv01  isize=512    agcount=4, agsize=1713920 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=6855680, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=3347, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 6855680 to 8165376

マウントポイントが拡張されたことを確認。

# df -hT
Filesystem                    Type      Size  Used Avail Use% Mounted on
～
/dev/mapper/vg01-lv01         xfs        32G  255M   31G   1% /mnt/newspace1

メモ

物理ボリュームとしてラベルづけ
# pvcreate /dev/sdb1 /dev/sdb3
WARNING: xfs signature detected on /dev/sdb1 at offset 0. Wipe it? [y/n]: y
  Wiping xfs signature on /dev/sdb1.
WARNING: xfs signature detected on /dev/sdb3 at offset 0. Wipe it? [y/n]: y
  Wiping xfs signature on /dev/sdb3.
  Physical volume "/dev/sdb1" successfully created.
  Physical volume "/dev/sdb3" successfully created.

  ボリュームグループ名を「vg01」として作成
  # vgcreate vg01 /dev/sdb1 /dev/sdb3
  Volume group "vg01" successfully created

  論理ボリューム名を「lv01」として作成
  # lvcreate -n lv01 -l +100%FREE vg01
  Logical volume "lv01" created.

  ファイルシステム追加
# mkfs -t xfs /dev/vg01/lv01

マウント
# mount /dev/vg01/lv01 /mnt/newspace

MySQLでDBサーバ構築してレプリケーションさせる

2022-07-28T02:01:52+09:00

参考
① https://videohub.oracle.com/media/MySQL%208.0%20入門セミナー%20～インストール編%20for%20Linux%20&%20アーキテクチャ編～%20%282022年6月16日%29/1_ph7s6hxj
②MySQL公式ドキュメント：https://dev.mysql.com/doc/refman/8.0/ja/linux-installation.html

1. MySQLを開始

1.1. リポジトリをダウンロード

この記事では、Oracle Linuxを使用している。

[opc@mysql-master1 ~]$ cat /etc/oracle-release
Oracle Linux Server release 8.6

yumリポジトリを利用する。
https://dev.mysql.com/
から、MySQLサーバのOSバージョンと合致したリポジトリをネットに接続可能な端末にダウンロードし、MySQLサーバに配置する。

画面左部の「Downloads」タブをクリックし切り替わった画面のMySQL Yum Repositoryをクリック。
すると、複数種類のリポジトリが表示されるので、利用するMySQLサーバのOSバージョンと合致したリポジトリを選択する必要がある。

[opc@mysql-master1 ~]$ cat /etc/oracle-release
Oracle Linux Server release 8.6

ダウンロードしたら、利用予定のMySQLサーバに転送する。

[root@mysql-master1 tmp]# ll
total 16
-rw-r--r--. 1 kiban kiban 14432 Jul 23 15:12 mysql80-community-release-el8-4.noarch.rpm
drwx------. 3 root  root     17 Jul 23 15:05 systemd-private-e967423d4c9e455a88d0cd2ee0f307be-chronyd.service-2MooXe
drwx------. 3 root  root     17 Jul 23 15:05 systemd-private-e967423d4c9e455a88d0cd2ee0f307be-unified-monitoring-agent.service-RX6Cai
drwxr-xr-x. 2 root  root      6 Jul 21 17:08 unified-monitoring-agent

以上

1.2. MySQLのインストール

先述の1.1節で配置したインストーラーを用いてインストール開始する。

まずはインストーラを解凍し、解凍が無事に完了したらちゃんと解凍されていることを確認も行う。

[root@mysql-master1 tmp]# rpm -Uvh mysql80-community-release-el8-4.noarch.rpm
warning: mysql80-community-release-el8-4.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql80-community-release-el8-4  ################################# [100%]

[root@mysql-master1 tmp]# yum repolist enabled |grep 'mysql'
mysql-connectors-community       MySQL Connectors Community
mysql-tools-community            MySQL Tools Community
mysql80-community                MySQL 8.0 Community Server

RHEL8などLinux8ベースのOSの場合のみ同梱されているMySQLの無効化を行う。

[root@mysql-master1 tmp]# yum module disable mysql
MySQL 8.0 Community Server                                                            70 MB/s | 2.3 MB     00:00
MySQL Connectors Community                                                           5.8 MB/s |  74 kB     00:00
MySQL Tools Community                                                                 26 MB/s | 459 kB     00:00
Dependencies resolved.
=====================================================================================================================
 Package                    Architecture              Version                       Repository                  Size
=====================================================================================================================
Disabling modules:
 mysql

Transaction Summary
=====================================================================================================================

Is this ok [y/N]: y
Complete!

MySQLのインストールを実施。

[root@mysql-master1 tmp]# yum install mysql-community-server
Last metadata expiration check: 0:02:03 ago on Sat 23 Jul 2022 03:22:37 PM GMT.
Dependencies resolved.
=====================================================================================================================
 Package                                  Architecture     Version                 Repository                   Size
=====================================================================================================================
Installing:
 mysql-community-server                   x86_64           8.0.29-1.el8            mysql80-community            53 M
Installing dependencies:
 mysql-community-client                   x86_64           8.0.29-1.el8            mysql80-community            14 M
 mysql-community-client-plugins           x86_64           8.0.29-1.el8            mysql80-community           2.4 M
 mysql-community-common                   x86_64           8.0.29-1.el8            mysql80-community           636 k
 mysql-community-icu-data-files           x86_64           8.0.29-1.el8            mysql80-community           2.1 M
 mysql-community-libs                     x86_64           8.0.29-1.el8            mysql80-community           1.5 M

Transaction Summary
=====================================================================================================================
Install  6 Packages

Total download size: 74 M
Installed size: 347 M
Is this ok [y/N]: y
Downloading Packages:
(1/6): mysql-community-common-8.0.29-1.el8.x86_64.rpm                                 25 MB/s | 636 kB     00:00
(2/6): mysql-community-client-plugins-8.0.29-1.el8.x86_64.rpm                         62 MB/s | 2.4 MB     00:00
(3/6): mysql-community-icu-data-files-8.0.29-1.el8.x86_64.rpm                         76 MB/s | 2.1 MB     00:00
(4/6): mysql-community-libs-8.0.29-1.el8.x86_64.rpm                                   64 MB/s | 1.5 MB     00:00
(5/6): mysql-community-client-8.0.29-1.el8.x86_64.rpm                                 95 MB/s |  14 MB     00:00
(6/6): mysql-community-server-8.0.29-1.el8.x86_64.rpm                                 98 MB/s |  53 MB     00:00
---------------------------------------------------------------------------------------------------------------------
Total                                                                                123 MB/s |  74 MB     00:00
MySQL 8.0 Community Server                                                           3.0 MB/s | 3.1 kB     00:00
Importing GPG key 0x3A79BD29:
 Userid     : "MySQL Release Engineering <[email protected]>"
 Fingerprint: 859B E8D7 C586 F538 430B 19C2 467B 942D 3A79 BD29
 From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
Is this ok [y/N]: y
Key imported successfully
MySQL 8.0 Community Server                                                           1.9 MB/s | 1.9 kB     00:00
Importing GPG key 0x5072E1F5:
 Userid     : "MySQL Release Engineering <[email protected]>"
 Fingerprint: A4A9 4068 76FC BD3C 4567 70C8 8C71 8D3B 5072 E1F5
 From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
Is this ok [y/N]: y
Key imported successfully
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                             1/1
  Installing       : mysql-community-common-8.0.29-1.el8.x86_64                                                  1/6
  Installing       : mysql-community-client-plugins-8.0.29-1.el8.x86_64                                          2/6
  Installing       : mysql-community-libs-8.0.29-1.el8.x86_64                                                    3/6
  Running scriptlet: mysql-community-libs-8.0.29-1.el8.x86_64                                                    3/6
  Installing       : mysql-community-client-8.0.29-1.el8.x86_64                                                  4/6
  Installing       : mysql-community-icu-data-files-8.0.29-1.el8.x86_64                                          5/6
  Running scriptlet: mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6
  Installing       : mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6
  Running scriptlet: mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6
  Verifying        : mysql-community-client-8.0.29-1.el8.x86_64                                                  1/6
  Verifying        : mysql-community-client-plugins-8.0.29-1.el8.x86_64                                          2/6
  Verifying        : mysql-community-common-8.0.29-1.el8.x86_64                                                  3/6
  Verifying        : mysql-community-icu-data-files-8.0.29-1.el8.x86_64                                          4/6
  Verifying        : mysql-community-libs-8.0.29-1.el8.x86_64                                                    5/6
  Verifying        : mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6

Installed:
  mysql-community-client-8.0.29-1.el8.x86_64            mysql-community-client-plugins-8.0.29-1.el8.x86_64
  mysql-community-common-8.0.29-1.el8.x86_64            mysql-community-icu-data-files-8.0.29-1.el8.x86_64
  mysql-community-libs-8.0.29-1.el8.x86_64              mysql-community-server-8.0.29-1.el8.x86_64

Complete!

最後まで進んでインストール完了したら、MySQLを起動させる。
まずはステータスの確認から。

[root@mysql-master1 tmp]# systemctl status mysqld
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: inactive (dead)
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html

インストールされており、サービスとしてenableとなっていることがわかる。
それでは起動させる。

[root@mysql-master1 tmp]# systemctl start mysqld

[root@mysql-master1 tmp]# systemctl status mysqld
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2022-07-23 15:45:02 GMT; 1min 29s ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 11752 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 11834 (mysqld)
   Status: "Server is operational"
    Tasks: 37 (limit: 22765)
   Memory: 495.4M
   CGroup: /system.slice/mysqld.service
           mq11834 /usr/sbin/mysqld

Jul 23 15:44:56 mysql-master1 systemd[1]: Starting MySQL Server...
Jul 23 15:45:02 mysql-master1 systemd[1]: Started MySQL Server.

スタートさせた後は必ずステータスを確認して、起動していることを確認すること。

1.3 ログインしてパスワードを変更

rootユーザの初期パスワードはログに記載されているのでそこで確認し、自分の覚えやすいパスワードに変更していく。その後、他のユーザを作成してパスワード設定、権限設定を順次行う。

まずはrootユーザのパスワードを変更する。/var/log/mysql.logに記載されていることを確認。

[root@mysql-master1 log]# cat /var/log/mysqld.log
～
2022-07-23T15:44:59.597480Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: xCkVmf#Yd2ci
～

上記をみると、xCkVmf#Yd2ciが初期パスワードとして設定されていることがわかる。
ではログインして変更する。

[root@mysql-master1 log]# mysql -u root -p
Enter password:　　←ここにxCkVmf#Yd2ciを入力。表示はされないよ
～
mysql> alter user root@localhost identified by 'MyNewPass1!';
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye

これでrootユーザのパスワードがMyNewPass4!に変更された。
再ログインしてみて、パスワード変更されたかを確認しておこう。
パスワード変更コマンドはいくつかあるので紹介する。

> set password for ユーザ名@ホスト名='任意password`;
現在ログインしてるユーザのパスワードを変更するには
> set password='任意passwword`;

ちなみに、パスワードポリシーはパスワード検証コンポーネントによって定義されている。これはデフォルトで有効になってる。内容は

mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| validate_password.check_user_name    | ON     |
| validate_password.dictionary_file    |        |
| validate_password.length             | 8      |
| validate_password.mixed_case_count   | 1      |
| validate_password.number_count       | 1      |
| validate_password.policy             | MEDIUM |
| validate_password.special_char_count | 1      |
+--------------------------------------+--------+
7 rows in set (0.01 sec)

パスワード検証コンポーネントを無効化させるには

mysql> uninstall component 'file://component_validate_password';
Query OK, 0 rows affected (0.00 sec)

逆に有効化させるにはinstall component 'file://component_validate_password';を入力する。

2. MySQLアーキテクチャ

2.1 sampleデータ

サンプルデータをインストールする。
https://dev.mysql.com/doc/index-other.html
今回はworld databaseのzipファイルをローカルにダウンロードし、DBサーバに転送。zipファイルを解凍してからmysqlへインポートした。

$ unzip world-db.zip
$ cd world-db/
$ mysql -uroot -proomysqld < world.sql

これでインポート完了したので中身の確認をしてみる。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              |
+--------------------+
5 rows in set (0.00 sec)

mysql> use world
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+-----------------+
| Tables_in_world |
+-----------------+
| city            |
| country         |
| countrylanguage |
+-----------------+
3 rows in set (0.01 sec)

そのほかにも自分でテーブルを作成してみる。

mysql> create table `sample1` (
    -> `code` char(3) not null default '', `population` int(11) not null default '0', primary key (`code`))
    -> engine=InnoDB;
Query OK, 0 rows affected, 1 warning (0.02 sec)

インポートしたデータはデフォルトでは/var/lib/mysqlに配置される。

[root@mysql-master1 mysql]# ll
total 189584
-rw-r-----. 1 mysql mysql       56 Jul 23 15:44  auto.cnf
-rw-r-----. 1 mysql mysql   736313 Jul 27 15:29  binlog.000001
-rw-r-----. 1 mysql mysql       16 Jul 23 15:45  binlog.index
-rw-------. 1 mysql mysql     1680 Jul 23 15:44  ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 Jul 23 15:44  ca.pem
-rw-r--r--. 1 mysql mysql     1112 Jul 23 15:44  client-cert.pem
-rw-------. 1 mysql mysql     1676 Jul 23 15:44  client-key.pem
-rw-r-----. 1 mysql mysql   196608 Jul 27 15:31 '#ib_16384_0.dblwr'
-rw-r-----. 1 mysql mysql  8585216 Jul 23 15:44 '#ib_16384_1.dblwr'
-rw-r-----. 1 mysql mysql     5942 Jul 23 15:45  ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 Jul 27 15:29  ibdata1　←システムtableスペース
-rw-r-----. 1 mysql mysql 50331648 Jul 27 15:31  ib_logfile0　←REDOログデータ
-rw-r-----. 1 mysql mysql 50331648 Jul 23 15:44  ib_logfile1　←REDOログデータ
-rw-r-----. 1 mysql mysql 12582912 Jul 23 15:45  ibtmp1
drwxr-x---. 2 mysql mysql      187 Jul 23 15:45 '#innodb_temp'
drwxr-x---. 2 mysql mysql      143 Jul 23 15:44  mysql 　←この配下に一般ログやslowログがある
-rw-r-----. 1 mysql mysql 25165824 Jul 27 15:29  mysql.ibd
srwxrwxrwx. 1 mysql mysql        0 Jul 23 15:45  mysql.sock
-rw-------. 1 mysql mysql        6 Jul 23 15:45  mysql.sock.lock
drwxr-x---. 2 mysql mysql     8192 Jul 23 15:44  performance_schema
-rw-------. 1 mysql mysql     1680 Jul 23 15:44  private_key.pem
-rw-r--r--. 1 mysql mysql      452 Jul 23 15:44  public_key.pem
-rw-r--r--. 1 mysql mysql     1112 Jul 23 15:44  server-cert.pem
-rw-------. 1 mysql mysql     1676 Jul 23 15:44  server-key.pem
drwxr-x---. 2 mysql mysql       28 Jul 23 15:45  sys
-rw-r-----. 1 mysql mysql 16777216 Jul 27 15:29  undo_001
-rw-r-----. 1 mysql mysql 16777216 Jul 27 15:31  undo_002
drwxr-x---. 2 mysql mysql       87 Jul 27 15:29  world　　←インポートしたデータ

2.2 システム変数設定

MySQLサーバの設定はシステム変数で設定する。設定方法は、①my.cnfで設定した後に再起動を行う、②一時的な設定を行う（一部の変数しか設定変更できない）。

2.2.1 my.cnfで設定

設定ファイルは/etc/my.cnfが読み込まれることになっている。デフォルト設定を変更して任意のディレクトリに配置したmy.cnfを読み込ませたかったら以下を実施。複数ファイルを読み込んだら後勝ちになる。

$ mysqld --verbose --help
$ mysqld --defaults-file=/usr/local/mysql/date/my.cnf &

設定ファイルを変更したら基本的にはmysqlの再起動を行う。

2.2.2 一時的な設定

参考：https://dev.mysql.com/doc/refman/8.0/ja/server-system-variables.html

MySQLを再起動かけられないときなどは、my.cnfの編集なしに設定値を変更できる変数がある。ただし、一時的に設定変更しても、再起動やmy.cnfのリロードを行うと一時的な設定が元に戻る点に注意。

設定方法は以下で行える。設定はセッション単位(LOCAL)、サーバ全体(GLOBAL)での変更が可能。

> set [global|sesison] <変数> =<値>;

設定した値の確認方法は以下。

show [global|session] variables like '%<システム変数名>%';

実際に設定されてるシステム変数を一括で確認するには

$ mysqld --verbose --help

で確認できる。

一時的な設定変更を永続化させることができる。その場合は設定する際にpersistを付け加えればよい。

> set persist max_connections = 500;

システム変数を永続化オプションをつけて設定した場合はmy.cnfとの設定に差異がでる。そういった場合に設定変更履歴を確認するにはperformance_schemaを参照すること。

mysql> select * from performance_schema.variables_info where variable_source='persisted';
Empty set (0.00 sec)

2.2.3 システム変数例

nnodb_buffer_pool_sizeInno：DBバッファプールサイズ
innodb_log_buffer_sizeInno：DBログバッファのサイズ（メモリ上）
innodb_log_file_size：ログファイルのサイズ（ディスク上）
innodb_log_files_in_groups：ログファイルの数（デフォルト2）
binlog_expire_logs_seconds：バイナリログを削除するまでの期間を秒単位で指定。デフォルトは30日。

3. レプリケーション設定

レプリケーションの設定は4手順ある。
①レプリケーション用のパラメータを設定、
②マスター側にレプリケーションユーザ作成、
③マスター側のバックアップを取得し、スレーブ側にリストアする。そして、
④スレーブ側でレプリケーションのためにマスター情報やポジション情報を設定しレプリケーションをスタートさせる。

3.1 レプリケーション用のパラメータ設定

マスター側で設定するパラメータ

server-id
log_bin
datedir
gtid-mode
enforce-gtid-consistency = on
log-slave-updates

3.2 ソースサーバにレプリケーションユーザ作成

https://dev.mysql.com/doc/refman/8.0/ja/replication-howto-repuser.html
ソースサーバにレプリケーション用のユーザを作成して、そのユーザにレプリケーションスレーブ権限を付与させる。

mysql> create user repl@'10.1.%' identified by 'password';
Query OK, 0 rows affected (0.01 sec)

mysql> grant replication slave on *.* to repl@'10.1.%';
Query OK, 0 rows affected (0.00 sec)

replユーザがどこから接続可能にしたいのかによって、repl@'10.1.%'の書き方は変わってくる。localhostにするとほかのサーバがreplユーザでアクセスできないので注意。ユーザを作成したらパスワードの設定も忘れずに。
設定が完了したら、想定通りの挙動になっているかの確認を行う。
まずはマスター側でユーザの確認。

mysql> SELECT user, host, plugin FROM mysql.user;
+------------------+-----------+-----------------------+
| user             | host      | plugin                |
+------------------+-----------+-----------------------+
| repl             | 10.1.%    | caching_sha2_password |
| mysql.infoschema | localhost | caching_sha2_password |
| mysql.session    | localhost | caching_sha2_password |
| mysql.sys        | localhost | caching_sha2_password |
| root             | localhost | caching_sha2_password |
+------------------+-----------+-----------------------+
5 rows in set (0.00 sec)

replユーザのhostが10.1.%になっていることを確認。つまり、localhostに設定されていないので、①マスター側で接続を試みてもログインできないが②スレーブサーバからはログインできるということになる。確認しよう。
①

[kiban@mysql-master1 ~]$ mysql -urepl -p
Enter password:
ERROR 1045 (28000): Access denied for user 'repl'@'localhost' (using password: YES)

②

mysql -h10.1.2.148 -urepl -p
Enter password:
mysql>

①②を通じて、想定通りの設定が行われたことが確認できた。

3.3 dump出力

元から入ってるデータベース（システムデータベース）はレプリケーションされないので、それ以外（今回でいえばworld）だけエクスポートする。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              | 　　←これが出力対象
+--------------------+

以下でエクスポートする。

mysqldump -uroot -p<パスワード入力> --master-data=2 --socket=/var/lib/mysql/mysql.sock --hex-blob --flush-logs --default-character-set=utf8mb4 --databases world --single-transaction --triggers --routines --events > mysql_bkup_dump_20220807.sql

出力されたダンプをレプリカサーバに転送して、インポートさせる。

mysql -hlocalhost -uroot -roomysqld < mysql_bkup_dump_20220807.sql

インポート完了したらｍ、mysqlサーバにログインしてworldデータベースが存在することを確認する。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              |
+--------------------+
5 rows in set (0.00 sec)

あることがわかった。

【重要】
レプリカサーバ側で。datedir配下にあるauto.cnfを削除する。

3.4 レプリケーション情報のセット

レプリカサーバ側でレプリケーションを行うための情報として、ソースサーバの情報をセットする。

まずはマスター側の情報を取得する。

mysql> show master status;
+-------------------------+----------+--------------+------------------+-------------------+
| File                    | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------------+----------+--------------+------------------+-------------------+
| master-mysql-bin.000006 |      157 |              |                  |                   |
+-------------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

続いて、上記の情報をもとにスレーブ側で情報をセット。

mysql> change master to master_host='<マスターサーバのIPアドレス>',
    -> master_user='repl',
    -> master_password='',
    -> master_log_file='master-mysql-bin.000006',
    -> master_log_pos=157;
Query OK, 0 rows affected, 8 warnings (0.02 sec)

セットが完了したら、想定通りの設定がされているかをスレーブ側で確認。

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State:
                  Master_Host: <マスターサーバのIPアドレス>
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-mysql-bin.000006
          Read_Master_Log_Pos: 157
               Relay_Log_File: mysql-slave1-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: master-mysql-bin.000006
             Slave_IO_Running: No
            Slave_SQL_Running: No
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 157
              Relay_Log_Space: 157
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 0
                  Master_UUID:
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State:
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

設定が想定通りになっていることが確認できたので、いよいよレプリケーションを始める。

mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.01 sec)

レプリケーションを開始すると、slaveのステータスを再度確認する。

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Connecting to source
                  Master_Host: 10.1.2.148
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-mysql-bin.000006
          Read_Master_Log_Pos: 157
               Relay_Log_File: mysql-slave1-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: master-mysql-bin.000006
             Slave_IO_Running: Connecting
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 157
              Relay_Log_Space: 157
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 2003
                Last_IO_Error: error connecting to master '[email protected]:3306' - retry-time: 60 retries: 1 message: Can't connect to MySQL server on '10.1.2.148:3306' (110)
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 0
                  Master_UUID:
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Replica has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp: 220806 21:33:27
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

本来なら、マスターサーバのバイナリログを取り込んでリレーログにするSlave_IO_Runningと、取り込まれたリレーログからイベントを取り出してデータベースに反映させるSlave_SQL_RunningのステータスがともにYESになるはずである。しかし、Slave_IO_RunningがConnectingになっている。

そこで、スレーブサーバからマスターサーバの3306番ポートへ接続できるか確認するためにnc -vz マスターのIP 3306を実行したところ、接続できなかった。

$ nc -vz 10.1.2.58 3306
Ncat: Version 7.70 ( https://nmap.org/ncat )
Ncat: No route to host.

ネットワーク設定に問題がないことは確認済みなので、サーバのfierwall設定を行う。

# firewall-cmd --zone=public --add-port=3306/tcp --permanet
# firewall-cmd --reload

# nc -vz 10.1.2.58 3306
Ncat: Version 7.70 ( https://nmap.org/ncat )
Ncat: Connected to 10.1.2.58:3306.
Ncat: 0 bytes sent, 0 bytes received in 0.01 seconds.

3306番ポートへ接続できることを確認。

スレーブのステータスを確認すると、

Slave_IO_Running: Yes

となってた。
レプリケーションされてることが確認できたので、マスター側で変更したデータがスレーブ側に連携されるかテストする。
まずはマスター側でスキーマ作成。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              |
+--------------------+
5 rows in set (0.01 sec)

mysql> create database test1;
Query OK, 1 row affected (0.00 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
| world              |
+--------------------+
6 rows in set (0.00 sec)

続いて、スレーブ側でtest1スキーマが作成されていることを確認。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
| world              |
+--------------------+
6 rows in set (0.00 sec)

ちゃんと作成されていた。
これでレプリケーションが正常にされていることがわかった。

4.MySQLチューニング

4.1

innodb_log_file_sizeログファイルのサイズ（ディスク上）。innodb_buffer_pool_sizeの25～100%ぐらい。

[Linux] messagesログの日付指定参照

2022-02-04T22:26:58+09:00

Linuxにおける「/var/log/messages」ファイルのフォーマットは以下のように「日　時　ホスト名　情報」となっている。

Feb 16 18:00:10 web sshd[13865]: Accepted publickey for user01 
from 192.168.0.2 port 45680 ssh2

問題なのが1桁の日にちの場合以下のように「月(スペース)(スペース)日にち」の表現になっている点だ。

Feb  4 21:25:22 ホスト名 情報

「04」ならともかく「(スペース)4」と表現されることにより、
bashスクリプト等で実行日に絞り込みたい場合、以下のコマンドだと絞り込みができない。

$ LANG=C date "+%b %d"
Feb 04

以下のコマンドだと、1桁の日にちも2桁の日にちも処理できる。

$ LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"

LANG=C date「 Fri Feb 4 22:10:50 JST 2022」のような日付を取得
cut -d " " -f 2-4 「Feb 4 」に絞り込み、ただし、2桁日にちの場合時刻まで取れてしまう。
sed -e "s/ ..:.*$//" 2桁日にちの場合の時刻除去

1桁日にちのコマンド実行例

$ LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"
Feb  4

2桁日にちのコマンド実行例

LANG=C date --date '5 day ago' | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"
Jan 30

注意として変数に入れて使用する場合、変数をダブルクォート(")で囲む必要がありそうだ。
そうしないとスペースの2個が1個で処理してしまう可能性がある。

$ LOGDATE=`LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"`
$ echo $LOGDATE
Feb 4
echo "$LOGDATE"
Feb  4
$

ワンライナーでの実行例 (先頭.は表現回避用)

.# cat /var/log/messages | grep "`LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"`"
Feb  4 10:0:01 ホスト名 情報
Feb  4 10:0:01 ホスト名 情報

変数定義後の事項例 (先頭.は表現回避用)

.# LOGDATE=`LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"`
.# cat /var/log/messages | grep "${LOGDATE}"
Feb  4 10:0:01 ホスト名 情報
Feb  4 10:0:01 ホスト名 情報

[Linux] ssh鍵の自動生成

2022-01-03T23:53:56+09:00

Linuxの1ユーザの複数サーバ分のssh鍵の自動生成

コードブロックに行番号を付加できないかは模索中

ファイル名;create_key.sh

#!/bin/bash
# values
KEYSIZE=2048

# script dir
DIR_BASE=$(cd $(dirname ${0}); pwd)

if [ $# = 0 ] ; then
    echo -e "Error: No arguments set"
    echo -e "Usage: $0 [user name] [server01:server02:...]"
    exit 10
fi

USER=$1
SERVERS=`echo $2 | sed -e 's/:/ /g'`
USERDIR=${DIR_BASE}/${USER}

test ! -d ${USERDIR} && mkdir ${USERDIR}
for server in ${SERVERS}
do
    test ! -d ${USERDIR}/${server} && mkdir ${USERDIR}/${server}
    passphrase=`cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [0-9] | grep -vE '(.)\1' | shuf -n 1`
    keyfile=${USERDIR}/${server}/${USER}
    ssh-keygen -f ${keyfile} -t rsa -b ${KEYSIZE} -N ${passphrase}
    if [ $? = 0 ] ; then
        echo -e "User: ${USER} ,Server: ${server}, Passphrase: [${passphrase}]"
        echo -e "## ${server}\nUser:\n${USER}\n\nPassphrase:\n${passphrase}" > ${server}_${USERDIR}/SSHinfo_${USER}.txt
    else
        echo -e "Couldn't make the key. -User: ${USER} ,Server: ${server}"
    fi
done

実行例

$ ./create_key.sh user01 web:mail

引数1 ユーザ名
引数2 サーバ名、複数の場合はサーバ名を: (コロン)で区切る

説明
1. スクリプトファイルと同じディレクトリ階層に作成したいユーザ名のディレクトリを作成する (実行例:user01)
2. サーバごと以下2-1から2-4を繰り返す
2-1.1番で作1番で作成したユーザディレクトリ配下にサーバ名のディレクトリを作成する (実行例:web)
2-2.パスフレーズをランダムの文字列で生成
2-3.2-2番で生成したパスフレーズをもとに、2-1番で作成したサーバ名のディレクトリに鍵のペアを作成
2-4.1番で作成したユーザ名のディレクトリにサーバ名、ユーザ名、パスフレーズを記載したファイルを作成

2-4で作成したファイル名はSSHinfo_サーバ名_ユーザ名.txt
例 web_SSHinfo_user01.txt

## web
User:
user01

Passphrase:
U4#DvXnH

エラー処理を最小限にしているため、予期せぬ事態に対処できてないかも

課題 (後日記載)
複数ユーザに対応するため、引数にリストファイルを指定することで、複数ユーザの指定サーバごとに鍵を作成する

memo
psslibでのパスワードのハッシュ化

    passhash=`python3 -c 'import passlib.hash; print(passlib.hash.sha512_crypt.using(rounds=5000).hash("$passphrase"))'`
    echo -e "password hash is [${passhash}] "
    echo -e "\npassword hash\n${passhash}"  >> ${server}_${USERDIR}/SSHinfo_${USER}.txt

[Linux] ランダム文字列

2022-01-01T21:51:05+09:00

Linux環境にてパスワードやパスフレーズ等の設定に使うランダム文字列を生成

条件：8文字構成で数字、アルファベット小文字、大文字、記号の使用かつ類似文字を除外
数字 10文字 (0 1 2 3 4 5 6 7 8 9)
小文字 23文字 (a b c d e f g h i j k m n p r s t u v w y z)、除外 (l o q)
大文字 14文字 (A B D E F G H J L M N Q R T)、除外 (C I K O S U V W X Y Z)
記号 4文字 (# ? _ !)

cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [A-Z] | grep [a-z] | grep [0-9] | grep -vE '(.)\1' | uniq | shuf -n 1

省略版　記号と数字のチェックすれば問題なさそう

cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [0-9] | grep -vE '(.)\1' | shuf -n 1

cat /dev/urandom ランダムな文字列を生成
tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' 条件の含めたい文字
fold -w 8 8文字
head -n 300 行頭から300文字
grep -v '^[#?_!]' 先頭記号の文字列を除く
grep '[#?_!]' | grep [A-Z] | grep [a-z] 条件に合致しているか絞り込み
grep -vE '(.)\1' 繰り返し文字を除く
uniq 念のため重複行の取り除き、後のコマンドで含まれているのでいらない
shuf -n 1 ランダムの1行を出力

実行例

$ cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [0-9] | grep -vE '(.)\1' | shuf -n 1
9eD?8aiG

bash で標準出力と標準エラーを 2つのコマンドに出し分ける

2021-12-17T09:13:56+09:00

本記事はシェルスクリプトのカレンダー | Advent Calendar 2021 - Qiita 17日目の記事だ。

シェルスクリプトのカレンダー | Advent Calendar 2021 - Qiita

殆どカレンダーが埋まってなかったので、思いついたネタで埋めちゃえ埋めちゃえ。

今回は、 bash 系列 (bash, zsh 等) のプロセス置換 (process substitution) 機能の話だ。

このプロセス置換は POSIX 互換の機能では無いため、以降の例は ash 系列 (busybox hush (ash), dash 等) では利用できない。

bash のプロセス置換

bash 系のプロセス置換という機能と、 tee コマンドを組み合わせて、同時に複数のコマンドにパイプできるらしい。

詳しい説明を読んでも、正直頭がさっぱり追いつかないが…

Linuxでのプロセス置換 #Linux - Qiita

要は、引数部分でファイルを指定するべき場所で、コマンドの標準入出力を代用できる機能ということか。

例えば、 "cat <(ls ./a) <(ls ./b)" とすれば、 "ls ./a" の内容と "ls ./b" の内容が連結されて出力されるし、
"command0 | tee >(command1) | command2" とすれば、 command0 の標準出力が、 command1 の標準入力と、 command2 の標準入力両方に渡される。
また、「ファイルの読み書きの代替」となるため、 "command0 2> >(command1)" のようにリダイレクト先のファイル名の替わりにプロセス置換を使えば、標準エラーだけを command1 の標準入力に渡すことができる。

ちょっとその尖った使い所を考えてみる。

例えばこんな、標準出力と標準エラーを吐き出すスクリプトがあったとしよう。

$ cat <<'EOF' > ./testecho.sh
#!/bin/bash
echo "stdout1" >&1
echo "stderr1" >&2
echo "stdout2" >&1
echo "stderr2" >&2
EOF
$ chmod u+x ./testecho.sh

このスクリプトを実行し、標準エラーだけ command2 に渡して、標準出力は command1 に渡したい場合、プロセス置換を使うと以下のようにできる。

$ ./testecho.sh 2> >(command2) | command1
# -> 各コマンドの入力
#   command1:
#     stdout1
#     stdout2
#   command2:
#     stderr1
#     stderr2

ここで更に、標準出力と標準エラーの両方を command2 に渡して、標準出力だけを command1 に渡したい場合、ちょっと複雑になるが以下のようにして実現できる。

$ ./testecho.sh 2>&1 > >(tee >(command1)) | command2
# -> 各コマンドの入力
#   command1:
#     stdout1
#     stdout2
#   command2:
#     stdout1
#     stderr1
#     stderr2
#     stdout2

少し複雑なので分解して考えてみよう。

まずは testecho.sh のリダイレクト部分 (赤枠) を考える。
1. リダイレクトを複数並べる場合は左から評価されるが、後ろに書いたリダイレクトで上書きされるような動きをするので、右から順番にリダイレクトされると考えるとわかりやすい。 ¹
  このため、まずは (黄色下線部) の部分を見てみよう。
  この部分は、標準出力をファイルにリダイレクトしているだけ (つまり、只の "> ファイルパス") の表記だ。
  ただ、ファイルパスの代わりにプロセス置換 (">(cmd_list)") が使われており、標準出力が tee の標準入力へ書き込まれている。
  1. さらに、 tee のファイル出力もまた、プロセス置換を使って command1 の標準入力に渡される。
    結果的に、 testecho.sh の標準出力だけが、 command1 の標準入力に渡されることになる。
  2. 次に、 tee の標準出力のほう、これは ./testecho.sh を実行した標準出力に戻ってくる。
2. さて、 testecho.sh のリダイレクトに話を戻すと、その次のリダイレクト (水色下線部) の "2>&1" によって、 tee の標準出力と ./testecho.sh の標準エラーが、標準出力側に統合される。
最後に、その統合された標準出力が、パイプで command2 に渡される。
結果的に、 testecho.sh の標準出力と標準エラーの両方が、 command2 の標準入力に渡されることになる。

ちなみに、 ./testecho.sh の標準出力と標準エラーの出力速度が早いと、上記の出力例のように command2 に渡される標準出力と標準エラーが順不同になってしまう。

なお、以下のようにやっても同じ結果になるはずだ。

$ ./testecho.sh > >(command2) 2>&1 > >(tee >(command1))

実用例

例えば、以下のようにすると、コマンドの標準出力だけメールを出しつつ、メールの内容と標準エラーの両方を journal に書き込む事ができる。

./testecho.sh 2>&1 > >(tee >(/usr/sbin/sendmail [email protected])) | /usr/bin/systemd-cat

ただ、どうせ journal に記録するなら、 -t オプションを使って、以下の 3 つを識別子で分けて記録したほうが良いかもしれない。

./testecho.sh の標準エラー
./testecho.sh の標準出力
sendmail の標準出力＆エラー

./testecho.sh 2> >(/usr/bin/systemd-cat -t cmderr) > >(tee >(/usr/bin/systemd-cat -t mailout /usr/sbin/sendmail -v [email protected]) | /usr/bin/systemd-cat -t cmdout)

うーん、 ここまで来ると初見で動作を理解できる気がしない。

参考:

https://tellme.tokyo/post/2020/02/07/tee-command/
https://www.greptips.com/posts/189/

記事の初稿でリダイレクトの参照順の説明が誤っていたので訂正。ただ、詳しい仕組みは難しくて説明しきれないのでググって。 ↩︎

置換ができない/複数ある場合に sed の終了コード0以外にする

2021-12-04T00:20:20+09:00

本記事は、シェルスクリプト Advent Calendar 2021 の 4日目の記事だ。
そして、且つ docker Advent Calendar 2021 4日目の記事でもある。

どちらのカレンダーもまだまだスッカスカなので、禁じ手で埋めにかかってしまった。

Docker 公式イメージなどをベースにして、カスタムしてイメージをビルドして使おうとした際、なるべくなら /etc/apt/apt.conf.d/ 等のように、設定用のファイルを追加して、ツール側がいい感じにマージして利用してくれるのが望ましい。
しかし、場合によってはやむを得ず、既存のファイルを sed コマンドなどで編集せざるを得ないこともあるだろう。

カスタムイメージの Dockerfile をビルドする際に、当初は意図通り書き換えられていても、イメージが更新された結果、イメージのリビルド時にファイルの書き換えが意図しない結果となってしまう場合がある。 ¹

通常、 sed コマンドは、置換が発生してもしなくても、終了コード 0 で終了する。
このため、書き換えの成否にかかわらず、 docker build 時にエラーにならないため、コンテナ実行時に初めて置換が意図しない結果だったことに気づくことがある。

そこで、sed コマンドの書き換えで適切なパターンが見つからなかった場合に 0以外の終了コードを返し、ビルド時にエラーとする方法を考える。

以下、 sed は GNU sed を前提とし、 "行頭の foo" を BARfooBAR に置き換える場合の例。

ひとつもヒットしなかったら終了コード16 のエラー

まずは、書き換えるパターンが見つからなかった場合に、エラーコードを返す方法。

sed -e '/^foo/{s//BAR\0BAR/;h};$!b;p;x;/./Q;Q16'

参考: https://stackoverflow.com/a/15966279

ざっとコマンドの流れを解説すると、以下のようになる。

まず、正規表現アドレスで置換する行を選択する。
ブロック {} を用いて、正規表現に一致する行について以下を実行する。
1. s コマンドで、後方参照を使って FOObarBAR に置換する。
  空の正規表現 '//'は最後の正規表現のマッチを繰り返すので、正規表現アドレスでマッチした "行頭の foo" が置き換えられる。
2. h コマンドで、パターンスペースの内容をホールドスペース (sed 内のクリップボードみたいなもの) にコピーする。
$!b の部分は、最終行でなければ次のサイクルに移動する。すなわち、以降のコマンドは最終行でのみ実行される。
p コマンドでパターンスペースの内容を出力にプリントする。
x コマンドでパターンスペースの内容とホールドスペースをスワップする。
パターンスペースの内容は結果的に 、1度でも最初の正規表現がヒットすればその文字列に、最後まで一度も正規表現がヒットしなければ空っぽになる。
最後、パターンスペースの内容が空でない (即ち、1度以上正規表現がヒットした) なら、終了コード 0 で終了し、そうでなければ 16 で終了する。

ヒットしなければ終了コード16, 2つ以上ヒットしたら終了コード32 のエラー

さらに一歩踏み込んで、書き換えるパターンが見つからない場合と、 2つ以上見つかってしまった場合両方で、エラーにする方法。

sed -e '/^foo/{s//BAR\0BAR/;x;/./Q32;g};$!b;p;x;/./Q;Q16'

基本的な動きは、ひとつもヒットしなかったパターンと同じだ。
ただ、ブロック {} 内部のコマンドを以下のように変更して、複数ヒットした場合にエラーで終了している。

まず、正規表現アドレスで置換する行を選択する。
ブロック {} を用いて、正規表現に一致する行について以下を実行する。
1. s コマンドで、後方参照を使って FOObarBAR に置換する。
2. x コマンドでパターンスペースの内容とホールドスペースをスワップする。
  パターンスペースの内容は結果的に 、以前の行でも正規表現がヒットすればその文字列に、最後まで一度も正規表現がヒットしなければ空っぽになる。
3. パターンスペースの内容が空でない (即ち、正規表現のヒットが2回目) なら、終了コード 32 でエラー終了し、そうでなければそのまま次へ。
4. g コマンドでホールドスペースの内容をパターンスペースにコピーして戻す
以降は「ひとつもヒットしなかったら…」と同じ

なお、このコマンドは、 2つヒットした時点で出力が止まる。

おわりに

モダンなプログラミング言語が軒並み型推論でコンパイル時にエラーとするように、 Dockerfile もビルド時にエラーにしてしまおう。

カスタムイメージの Dockerfile ベースイメージを選択する際、基本的にはタグである程度絞っておくべきだが、それはさておき。 ↩︎

sed のブロック {} 内で i, r, e コマンドを使うと "unmatched `{'" とエラーになる

2021-12-04T00:00:04+09:00

本記事は、シェルスクリプト Advent Calendar 2021 の 3日目の記事だ。
3日目が終わりそうになっても誰も書きそうにないので、最近 sed コマンドでブロック {} を使っていたら、 "unmatched `{" というエラーにハマったので、そのメモ。

target.txt:

foo
bar
foo
bar
foo

insert.txt:

***

上記のような、2つのファイルがあったとする。

target.txt ファイルに対して、正規表現アドレスで bar から始まる行を選択し、その後ろに r コマンド insert.txt のファイルの中身を挿入する。

するとこんな結果になる。

$ sed -e '/^bar/rinsert.txt' target.txt
foo
bar
***
foo
bar
***
foo

では、アドレス指定の後ろにブロック {} を追加し、以下のように bar が2回以上ヒットしたらエラーコード出して終了するようにしてみる。

$ sed -e '/^bar/{rinsert.txt;x;/./Q129;g}' target.txt
sed: -e expression #1, char 0: unmatched `{'
$ echo $?
1

はい、別のエラーで失敗した。
ちゃんと { と } の数はマッチしているのに……

これは、 i, r, e などのコマンドは、コマンドの終了区切りに改行が必須となっていて、セミコロン (;) などで区切ろうとしても、その文字もコマンドのオプションとして渡されてしまうためだ。 ¹

これを回避する場合は、コマンドの後ろに改行を入れるか、 -e を使ってコマンド区切る必要がある。

$ sed -e '/^bar/{rinsert.txt' -e 'x;/./Q129;g}' target.txt
foo
***
bar
foo
***
$ echo $?
129

$ sed -e '/^bar/{rinsert.txt' -e 'x;/./Q129;g}' < foo
> bar
> foo
> foo
> EOF
foo
bar
***
foo
foo
$ echo $?
0

様々な区切り文字でつかわれるので忘れがちだけど、セミコロンをファイル名にすることだって、できるもんな。
そう考えれば納得。

ちなみに、同様の振る舞いをするコマンド ("Commands Requiring a newline") は、以下の通り。

a,c,i (append/change/insert)
# (comment)
r,R,w,W (reading and writing files)
e (command execution)
s///[we] (substitute with e or w flags)

command line - sed weirdness, unmatched { - Super User
sed, a stream editor #3.8.1 Commands Requiring a newline - GNU sed online manual
ストリームエディタ sed #3.8.1 sedコマンドに改行が必要な時 - GNU sed オンラインマニュアル ↩︎

Port関連

2021-10-28T00:38:36+09:00

開いているPort確認

自分自身を確認

netstatuコマンドで、開いているTCP/UDPポートを表示する。

$# netstat -lut
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 0.0.0.0:ssh             0.0.0.0:*               LISTEN
tcp6       0      0 [::]:mysql              [::]:*                  LISTEN
tcp6       0      0 [::]:http               [::]:*                  LISTEN
tcp6       0      0 [::]:ssh                [::]:*                  LISTEN
udp        0      0 localhost:323           0.0.0.0:*
udp6       0      0 localhost:323           [::]:*

netstatコマンドでもよいが、CentOS7からはssコマンドが推奨されているらしい（一次情報にはあたっていない）。
ssコマンドでも実施する。sshやapacheと書かれており、具体的に何番ポートかわからない場合は「-n」オプションを利用する。

# ss -ltu|grep -e ssh -e http
tcp   LISTEN 0      128               0.0.0.0:ssh         0.0.0.0:*
tcp   LISTEN 0      511                     *:http              *:*
tcp   LISTEN 0      128                  [::]:ssh            [::]:*

# ss -ltun
# ss -ltun|grep -e 128 -e 511
tcp   LISTEN 0      128               0.0.0.0:111        0.0.0.0:*
tcp   LISTEN 0      128               0.0.0.0:22         0.0.0.0:*
tcp   LISTEN 0      128                  [::]:111           [::]:*
tcp   LISTEN 0      511                     *:80               *:*
tcp   LISTEN 0      128                  [::]:22            [::]:*

接続待ちをしているポートも含めて表示

# ss -atu
Netid                  State                   Recv-Q                   Send-Q                                          Local Address:Port                                       Peer Address:Port                  Process
udp                    UNCONN                  0                        0                                                   127.0.0.1:323                                             0.0.0.0:*
udp                    UNCONN                  0                        0                                                       [::1]:323                                                [::]:*
tcp                    LISTEN                  0                        128                                                   0.0.0.0:ssh                                             0.0.0.0:*
tcp                    LISTEN                  0                        4096                                       [::ffff:127.0.0.1]:32768                                                 *:*
tcp                    LISTEN                  0                        511                                                         *:http                                                  *:*
tcp                    LISTEN                  0                        128                                                      [::]:ssh                                                [::]:*
tcp                   TIME-WAIT                  0                      0                                               10.1.2.194:36384                                       169.254.169.254:http
tcp                   CLOSE-WAIT                 32                     0                                               10.1.2.194:53958                                         140.204.8.149:https
tcp                   ESTAB                      0                      0                                       [::ffff:127.0.0.1]:32768                                    [::ffff:127.0.0.1]:49598

接続確立してるポート確認

>ss -t

netstat/ssコマンドのオプション

| TH | TH |
| オプション | 説明 |
| -a | すべて表示(接続待ちも) |
|-l|Listenしているポートのみ表示|
|-t|TCPを表示|
|-u|UDPを表示|
|-n|ポートやホストを数値で表示|
|-p|ポートを開いているプロセスを表示|

PIDやFDも含めて、特定のポートの状況を確認する場合

# lsof -i:3306
COMMAND    PID  USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
mysqld  297221 mysql   24u  IPv6 915253      0t0  TCP *:mysql (LISTEN)

外部からポートを確認

外部からどのポートが開いているか確認．

> yum install nmap
> nmap [IPアドレス]

自分自身をスキャンする時は

> nmap localhost
PORT   STATE SERVICE
22/tcp open  ssh
>
>
> nmap -p 1-1000 localhost
PORT   STATE SERVICE
22/tcp open  ssh
>
>
>nmap -p 3128 localhost
PORT     STATE  SERVICE
3128/tcp closed squid-http

サービスのPort番号確認

# view /etc/services

Port指定疎通確認

まずは適当なPortをListenさせる

# nc -l 12345

Windowsの場合

>Test-NetConnection IPアドレス　 -Port Port番号

Linuxの場合

> nc -vz localhost 12345

Curl

$ curl google.com
$ curl -v telnet://10.1.2.194:22
* Rebuilt URL to: telnet://10.1.2.194:22/
*   Trying 10.1.2.194...
* TCP_NODELAY set
* Connected to 10.1.2.194 (10.1.2.194) port 22 (#0)
SSH-2.0-OpenSSH_8.0

大事なサーバの/varを消した話。悪夢の無限列車編👹

2021-06-15T00:24:38+09:00

お久しぶりです！
ここの所、立て込んでいたり（表題の件で）、メンタルやられ気味だったり（表題の件で）で余裕がなかった私です。

あれほど講師の方に、「rmを使うときは気を付けよう」と言われていたのに…

v目次にゃv

1.どんなサーバなのか
2.CentOSの/varを消したお話ー悪夢の始まり無限列車編
3.CentOSの/varを消したお話ー血鬼術の落とし穴編
4.消した後ーお前ももうおやすみ・・・
5.起こったこと
6.復旧作業
7.結末
8.考えられる復元法
9.回避の呼吸！型集

どんなサーバなのか

私はゲーム制作サークルのサーバ担当（仮？）をしてますねこー。
ざっくり挙げると
・ホームページ
・工程、プロジェクト管理ソフトの管理
・Gitサーバ
を管理をしているきんぎょ。
昔はメールサーバもやっていたけど色々考えて、Google Workspaceと兼用させてるぎょぴ。

ちなみに、VPSでCentOS7をつかっていますきんぎょ。
これは消してはいけない。障害を起こしてはダメなやつだ（）

CentOSの/varを消したお話ー悪夢の始まり無限列車編

今回、新しいシステムの導入にあたって、色々入れたり、消したりをしていたねこ～。
とある理由から
/var/hogehoge/nekoneko/
/var/hogehoge/kitune/
/var/piyopiyo/fugafuga/
のkingyo.poi　を×10個くらい（仮称）を消す必要があったにゃ。
そこで下記のコマンドを実行し、対象ファイルを削除していきました。

rm -rf /var/hogehoge/＃抹消対象＃

そう。これが悪夢の始まりだったのにゃー…

CentOSの/varを消したお話ー血鬼術の落とし穴編

先ほど紹介したrm -rf /var/hogehoge/＃抹消対象＃　の血鬼術ですが、重大な"欠陥"がある鬼～。
そう、"血"鬼術だけに…（欠陥と血管をかけた）

基本的にLinuxにはWindowsでいうゴミ箱が存在しないきんぎょ。
つまり、消したものは、ほぼ二度と元には戻りません。

今回の落とし穴（後悔ポイント）

・cdで/varに移動して作業していれば消えるフォルダは最小で済んだ
・脳死でポチポチやっていた
・脳死のためエンターキーとTabキーを間違えた

抹殺対象を消すために、1つ1つ手打ちで打っていたわけです。正規表現しようにも、ダブりで消せないファイルもあるので…
数もそれなりにあるので、脳死状態でポチポチ術を発動していきます。Tab変換を活用して…

rm -rf /var　エンターキーポチッ！＼(^o^)／ｱｯｵﾜｯﾀ
実行した瞬間、理解できず、思考がグルグル走馬灯。一瞬が5分くらいに長く感じ、冷や汗が全身をつたいました。

消した後ーお前ももうおやすみ・・・

/varを消した直後、
”今動いているシステムは消せないよ”とのメッセージが。
lsで確認するとtmp以外消えている！！！！！！！！！
【VirtualBoxで再現した写真↓もちろん今回はバックアップをとってある】
!

起こったこと

・/varに配置しているものは全て消失しました。
→ホームページの消失
→行程、プロジェクト管理のデータ消失（Webで動作するもののため）
→プロジェクト管理のデータベース消失
・yumが死んだ。（rpmもだめ）
・firewallが起動できない（iptablesはギリ生きていたっぽい？）
・SSHアクセスが弾かれる
・私は内心大泣き
・私、汗だく

・gitも死んだと思っていたら、/var以外の場所で管理していたのでセーフ（本当に良かった。）
・wgetやcurlは使用可能

復旧作業

どうやらextundeleteコマンドで復旧可能らしい！
標準では入っていないので、yum install extundeleteで導入します！
＿人人人人人人人人人人人＿
＞　yumが使えない！！　＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣
はい。終わりました。
どうやらyumにかかわるデータが/var以下にあったようで、正常に動作しなくなりました。

他にデータ復元方法はいくつかあり、試しましたが全部だめでした。
他のcentから消えたデータを移植したり、リカバリーモードを起動したり、OSの書き換えを試みたり…

結末

結局、新しくサーバを立て、生きているデータを故サーバからサルベージ。移行する手段を取りました。
VPSという特性上いろいろ気を遣う作業が多かったです。（今回ばかりはハードを直で触れる自宅サーバを羨みました。）

考えられる復元法

私の知識、経験不足ゆえに、実現しませんでしたが、この状況でも復活できる可能性はありました。
・wgetやcurlを使って修復系パッケージの導入
・健全なサーバより消滅したデータを移行。権限や依存関係も手動で設定
・パーティションやプロセスから復元
いずれも果てしない労力と戦場で培うべき経験、正しい知識が必要なためペーペーの私は力尽きました…

回避の呼吸！型集

今から大事なことを書きます！
・rmコマンドの扱い
まずはrmコマンドを使うときは慎重に行きましょう。絶対です。
特に-rf オプションを使うときは要注意です。なんでも消せちゃいます。イレイザーヘッドです💦
・バックアップを取っておく
何事も作業前にバックアップを取っておきましょう。VirtualBoxならスナップショット。VPSならイメージOSの保存とかね。
・extundelete等の復元ツールは予め入れておく
ことが起きてからでは遅いです。今回みたくyumひいてはOSそのものがダウンして緊急時には何が使えなくなるか分かりません。前もって対策しておきましょう。
・実験環境を用意、活用する
普通なら本番と全く同じ実験環境（兼バックアップ）を利用すべきです。コストがかかるのは仕方ないですが、データ復旧費や今までの労力が水の泡になるよりは安いです！
サークル活動でのリアルな実験環境費用捻出は難しいですが…
本当に業務上じゃなくてよかった…
・ある程度子ディレクトリに入って作業をする
今回は絶対パスで/varと打っていたのも原因の1つです。
仮にvarにい状態で作業していればvarそのものが消えるという事態は避けられていました。

エンドタイトル

ということで悪夢の無限列車編を締めくくりたいと思います。
何かあってからでの対策では遅いということを痛感しました。
色々やばすぎて、語尾を忘れるくらいですからきんぎょ。
本当に業務での失態でなくてよかったです…おそらく私じゃ払いきれない額の損害でしょうから（震え）
さらに辛かったのが「var消しちゃった💦」で検索してもヒットしなかったことです。varを消す馬鹿野郎は私くらいということですかね～（すっとぼけ）

今回はここまで🐾
みなさん、私の屍を超えていけ！！！！

vim 各モード別コマンド集

2021-06-02T11:50:27+09:00

ノーマルモード

各モード切替え

「i」　インサートモードに移行
「:」　コマンドラインモードに移行
「v」　ビジュアルモードに移行
「a」　カーソル上の文字の次からテキストを追加するためにインサートモードに移行
「A」　行末にテキストを追加するためにインサートモードに移行
「o」　カーソルの下の行を開けて、インサートモードに移行
「O」　カーソルの上の行を開けて、インサートモードに移行
「Esc」　他のモードからノーマルモードに移行

カーソル移動

「h」　左に移動
「j」　下に移動
「k」　上に移動
「l」　右に移動
「番号ｗ」単語の番号分前に移動
「番号e」　単語番号分の終端に移動
「[指定する行番号]gg」　指定した行番号にジャンプ
「g」　先頭行にジャンプ
「G」　最終行にジャンプ

文字列検索

「/検索したい文字」　検索したい文字を検索する
※検索したい文字が複数存在する場合は、「n」キーを押すと次の位置へカーソルが移動する

文字及び行の削除

「x」　カーソルの位置の文字を１文字削除
「dw」　１単語単位で削除
「数字dw」　数字分の単語単位を削除
「de」　カーソルの位置から空白を含まない単語の末尾まで削除
「d$」　カーソルの位置から行末まで削除
「dd」　行を丸ごと削除

やり直し＆取り消し

「u」　直前まで行ったコマンド１つを取り消しする※押した回数分やり直しができる
「U」　行全体のコマンドを取り消しする
「Ctrl+r」　やり直しの取り消しを行う

置換

「r」　カーソル下の文字を置換
「R」１文字以上の置換
「cw」　カーソルの位置から語の終わりまで置換
「c$」　行の終わりまで置換

行コピー＆ペースト

「y」　カーソル上の文字をコピー
「yy」　カーソル行の文字全部をコピー
「p」　カーソルの下の行へペースト

コマンドラインモード

コマンドラインモード移行はノーマルモードから「:」を入力して移行してコマンドを入力する

「x」　保存して終了
「q!」保存せずに終了
「!dir」、「!ls」　ディレクトリ一覧を見る
「!del(ファイル名)」、「!rm(ファイル名)」　ファイルを削除する
「w[ファイル名]」　ここではファイル名というファイルがディスクに書き込まれる
「r[ファイル名]」　ここではファイル名というファイルがディスクにより取り込まれカーソル下の位置に挿入
「r!dir」　dirコマンドの出力をカーソル位置下に読み込む
「set nu」　行数の表示
「set nonu」　行数の非表示
「s/元の単語/新しく置換する単語/g」　カーソルを合わせている文全体の対象を置換
「%s/元の単語/新しく置換する単語/g」　全業で対象部分が置換
「:help」　ヘルプウィンドウを表示
「:herp cmd」　コマンドヘルプを検索
「q」　ヘルプウィンドウを閉じる

ビジュアルモード

ビジュアルモードはノーマルモードから「v」で移行してコマンドを入力

vモーションで「:w[ファイル名]」でビジュアル選択行がファイルに保存される
「d」　選択した範囲を削除してノーマルモードに戻る
「y」　選択した範囲をコピーしてノーマルモードに戻る
「c」　選択した範囲を削除してインサートモードに移行する

Linuxでサーバ作る流れがわからなくなったら見るざっくりメモ

2021-05-31T16:58:23+09:00

フロー

①yumコマンドを使用してパッケージのインストール

Webサーバ構築手順、yum使ったインストールのメモあり

②vimコマンドを使って設定ファイルの編集

Vimざっくりまとめた記事

③systemctlコマンドを使って起動設定、自動起動設定を編集、確認

systemctlコマンドの概要、コマンド集メモ

④firewall-cmdコマンドを使ってファイアウォールの設定

ファイアウォールの設定コマンドメモ

⑤動作確認

おしまい

LinuxでWebサーバを構築した後どこにhtmlのファイルを張ればいいのかわからなくなったとき用メモ

2021-05-31T16:43:20+09:00

結論

これ

# vim /var/www/html/index.html

もうちょい詳しく

Webサーバにはドキュメントルートと呼ばれる、公開するコンテンツを配置するディレクトリがある。
httpdの場合は「 /var/www/html/」

Linux（CentOS7）でファイアウォールの設定する方法(firewall-cmdコマンド)

2021-05-31T16:21:19+09:00

ファイアーウォールを操作するコマンド

CentOS7ではファイアーウォールに firewalld が採⽤されています。
firewalldをコマンドで操作できるのが firewall-cmd です。

# firewall-cmd [オプション]

オプションコマンド集

オプション                                               効果
--add-service=サービス                          指定サービスの通信を許可する
--removeservice=サービス                        指定サービスの通信を許可しない
--permanent                                     永続化を指定※即時反映には--reloadが必須
--reload                                        設定をリロードする
--list-services                                 許可されたサービスを確認する
--list-all                                      ゾーンの状態を確認する
--get-services                                  --add-servicesコマンドで指定できるサービス名を確認する

ワンポイント

オプション --permanent を加えない場合は設定が即時反映されますがfirewalld を再起動すると設定が元に戻ります。

LInuxでサーバの起動とか停止を管理してくれるsystemctlコマンド

2021-05-31T16:00:31+09:00

systemctlコマンドとは

Linuxの起動処理やシステム管理をコントロールするためのコマンド。
サービスの起動や停⽌の操作をする際に⽋かせない。
systemctlは、systemdを採⽤しているディストリビューションで使われる。

# systemctl [サブコマンド] [サービス名(ユニット名)]
例(Webサーバを自動起動設定する場合)
# systemctl enable httpd

サブコマンド集

サブコマンド                  効果
    start                   開始する
    restart                 再起動する
    stop                    停⽌する
    status                  状態を確認する
    enable                  ⾃動起動を有効にする
    disable                 ⾃動起動を無効にする
    is-enabled              ⾃動起動の状態を確認する
    list-unitfiles          インストールされているユニットを表⽰する

Linux（CentOS7）でWebサーバ構築（～インストール、起動、自動起動設定まで～）

2021-05-31T15:38:05+09:00

Webサーバ構築前に

この記事でインストールするWebサーバ「Apache HTTP Server」の説明をば

Apache HTTP Serverとは

世界中でもっとも多く使われているOSSのWebサーバソフトウェア。
無料。
歴史が⻑い、信頼性が⾼い、Webで情報を⼊⼿しやすい、といった特徴がある。

Webサーバ構築手順

①Apacheのインストール

su -コマンドの後管理者パスワード打ち込む必要あり

1.$ su - ※インストールする為にroot権限が必要なため
2.# yum -y install httpd ※CentOSではhttpdというパッケージ名を指定する

②Apacheの起動、起動できてるか確認

WindowsのIISと異なり、インストールしてもApache HTTP Serverは起動していない。

# systemctl start httpd ※指定したサーバを起動させるコマンド
# systemctl status httpd ※起動したのか状態を確認するコマンド

この時にステータスのActivの欄がactiv(running)になっていたら起動している

③Apacheの自動起動、自動起動になっているか確認

OSを起動(再起動)した時に⾃動でApache HTTP Serverを起動させたい場合に行う

# systemctl enable httpd※指定したサーバを自動起動させるコマンド
# systemctl is-enabled httpd ※⾃動起動が有効なのかを確認するコマンド

is-enabledで表示された結果がenabledになっていればhttpdは⾃動起動している

サーバ入門5　運用体験まとめ

2021-05-31T15:05:15+09:00

運用体験「アップデート」

・LinuxのWebサーバのパッケージを最新にする。
・Webサーバ(Linux)のパッケージを全て最新のものへとアップデートして、サーバを再起動する。
＜手順＞
$su -　でroot権限にする
↓
#yum cheak-update　(アップデートを確認)
↓
#yum -y update　(アップデートを開始)
↓
#yum cheak-update (アップデートをもう1度確認)
↓
#systemctl restart httpd　(Webサーバ再起動)
↓
#cat /etc/redhat-release　(OSのバージョンを確認)
↓
完了

運用体験　「Webサーバのアインストール」

・Webサーバ(Linux)からApacheのパッケージを削除する。
＜手順＞
#systemctl stop httpd　(httpdを停止)
↓
#yum -y remove httpd　(Apacheのアインストール)
↓
#yum list installed httpd　(httpdがアインストールされているか確認)
↓
#firewall-cmd --permanent --remove-service=http　(ファイアウォールを閉じる※「--permanent」で永続化を指定しなければ、再起動したら元の状態に戻ってしまうことに注意)
↓
#firewall-cmd --reload　(ファイアウォールをリロードする)
↓
#fairewall-cmd --list-services　(リストを見て、httpがなくなっていたら完了)
↓
完了

### 補足
・vimのインサートモードで編集を終えて、保存して終了する方法は、「Esc」で戻り「:x」で保存して終了
・httpの自動起動無効化の方法は「#systemctl disable httpd」
・設定ファイルをvimで編集する際、サーバ上でできることは、cpを使って設定ファイルをバックアップし、編集後はdiffで編集前後の差分を確認する。スナップショットも有効。
・Windows10やMacOSでは、Linuxと同様に、scpコマンドを使ったファイルを転送できる。
・Apache(httpd)だけをアップデートするコマンドは「yum -y update httpd」

サーバ入門5　fail2banのインストールと動作確認

2021-05-31T14:38:45+09:00

fail2banとは

サーバのアクセスログを解析してパスワード総当たり攻撃を行っているIPアドレスを自動でブロックするソフトウェア。インターネットにサーバを公開すると、攻撃されるので、不正アクセス地策が必要。

EPELリポジトリのインストール

fail2banはCentOS7の標準リポジトリでは公開されていない。EPEL(Extra Packages for Enterprise Linux)リポジトリで公開されている。

リポジトリ

・・・ソフトウェア(パッケージ)が公開されているサーバのこと。EPELリポジトリにアクセスするには、別途インストールが必要。
※EPELリポジトリが使えない状態でfail2banをインストールしようとするとエラー表示になる。
・EPELリポジトリが使える状態にするため、「epel-release」をインストールする。
#yum -y install epel-release
インストールが完了した直後から、EPELサーバへアクセスができる。

fail2banのインストール

fail2banをインストールする。
#yum -y install fail2ban
・fail2banはインストールしてもすぐに使えない。
・設定ファイルに、足りない情報(どのような不正アクセスをブロックするか)の記述が必要。

fail2ban設定ファイルのコピー

設定テンプレートファイルjail.confをディレクトリ/etc/fail2ban/jail.d/にjail.localという名前でコピーし、編集を行う。
#cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.d/jail.local　　ファイルをコピーする
#ll /etc/fail2ban/jail.d/jail.local　　　ちゃんとコピーできたかどうか確認
#vim /etc/fail2ban/jail.d/jail.local 　　jail.localをvimで編集する。

設定ファイル(jail.local)の編集

3行だけ変える内容がある。
23: # [sshd]　　→　　23:[sshd]　(先頭の#とスペースの2つを削除する)
24: # enable = true　→　24:enabled = ture　(先頭の#とスペースの２つを削除する)
208:banaction = iptables-multiport　→　208:banaction = fairewallcmd-ipset　(文字列変更)
23、24行目はsshでfail2banを有効(enable)にする意味
208行目はfail2banはfairewalldと連携してブロックするという意味
※fail2banのバージョンによって、編集対象の文字列がある行や位置が変わるので注意。

diffコマンド

ファイルの差分を見られる便利なコマンド。変更作業の実務でよく使う。元ファイルとの差分を見れば、変更すべき行だけ変更したのかすぐわかる。
$diff [比較元ファイル] [比較先ファイル]
・diffの出力は、数字が変更のある行数、「＜」の記号が比較元の文字を表し、「＞」の記号が比較先の文字を表す。
※fail2banのバージョンによって、編集対象の文字列がある行や位置が変わるので注意。

fail2banの起動及び自動起動

Apache HTTP Serverの時と同じ要領で、systemctlコマンドを使う。サービス名は「fail2ban」
1.fail2banを起動#systemstl start fail2ban
2.起動したことを確認#systemctl status fail2ban
3.自動起動の有効化#systemctl enabled fail2ban
4.自動起動が有効化になったことを確認#systemctl is-enabled fail2ban
※設定ファイルの記述がおかしいとfail2banはエラーで起動しない。エラーの場合は設定ファイルの記述を見直すこと。
・fail2banが起動すると、攻撃元のIPアドレスを一定時間(600秒)ファイアウォールでブロックする。※ログイン回数や遮断時間はfail2banのデフォルト設定値。

fail2banの状態確認

fail2banには、攻撃背れた回数、ブロックした回数、ブロックしたIPアドレスの統計情報を出力するコマンドがある。
#fail2ban-client status [サービス名]
※SSHに設定している場合は、サービス名は「sshd」となる。

fail2banおまけ

・実際にfail2banを運用する場合、ブロックする時間は600秒では短い。長めの時間に設定することがほとんど。時間を変更したい場合は、jail.localに「bantime=(秒)」を追記する。なお、vimで修正しても、systemctlコマンドでfail2banを再起動させないと新しい設定が反映されない。
・ブロック中のIPアドレスのbantimeは「ipset --list」で確認できる。※ipsetはfirewalldの管理ユーティリティの1種。
・ブロックしたIPアドレスをbantimeを待たずに解除させる方法は
#fail2ban-client set sshd unbanip [IPアドレス]