「Apache」の記事 - Crieit

\xe3\x83\xbc ... のような \x 始まりのエンコードがされた文字列について

2022-04-25T23:31:20+09:00

時折 Apache のログで見かける \xe3\x83\xbc ... のような \x 始まりのエンコードがされた文字列の正体がようやく分かったのでメモ。

経緯

事の発端は、 Apache のログを眺めていると時折

\xe3\x83\x87\xe3\x83\xbc\xe3\x82\xbf\xe3\x83\x99\xe3\x83\xbc\xe3\x82\xb9\xe3\x82\xa8\xe3\x83\xa9\xe3\x83\xbc

のような何某かのエンコードがされた文字列を見かけることがあったのですが

長らくその正体が杳として知れない状態が続いていました。

調査

ところが、別件で検索していたら、偶然正体が分かったのでメモ。

これは Apache 2.2.25 で修正されたログ出力の脆弱性対策とのこと。

具体的には、

Apache のログを CLI やシェルスクリプトで処理する際に、制御文字を含ませることで意図しない動作を引き起こすことを防ぐためにあえてエスケープするようになった
- 特にこうした作業をするのは管理者権限のケースが多いと想定されるため
これにより、日本語などの文字列のパーセントエンコーディングの際に % を \x に変換している

ということ。

てっきり UTF-8 や UTF-16 の特殊形のようなものかと思ったのですが、実際はパーセントエンコーディングの変形に過ぎなかった、と。

ルールさえ分かればデコードも楽にできますね。ただ、わざわざ脆弱性対策のためにエスケープしているので無暗に元に戻さない方が良いのではありますが、ログを確認する際に読めないのは困るのでサンドボックス内等でケースバイケースで、という感じでしょうか。

【障害切り分けのコツはまずは森を見ること！】Gitlabのpushエラー、原因は（恐らく？）buffalo製ルータだった話

2022-02-24T23:29:56+09:00

お久しぶりですにゃ。
やらなきゃいけない事があるからと、”優先度の低いものをする時間をマストタスクに割り当てよう”と考えながら
、結局マスト作業も先延ばしになり帳尻合わせが大変になる時空を生きて21年目の私です😢

実はこの間に、所属している会社のブログも1ページながら担当させていただきましたねこ！業務内容とおすすめ焼酎４選という内容なので、
良かったら探してみて欲しいぎょぴ！！
（さすがにネコ語は自重しましたぎょぴぼー）
貴重な経験をさせてくださった弊社の担当者様、ありがとうございますにゃー！

久しぶりの投稿ということで前置きが長くなってしまいましたが、
今回は自宅で特定の通信がハングアップしてしまったときのことを綴りますぴょん。
※解決法とういうよりは、ハチャメチャに慌ててる私をご覧いただく記事となります。

v目次にゃv

1.今回起こった問題
2.一旦バックグラウンド
3.対処１
4.対処２
5. 切り分け
6. 今回の件から私が得るべき教訓は…
7. エンドタイトル

今回起こった問題

自宅クライアントPCからドメインでGitlabへ200MB付近の容量ファイルをgit pushすると

error: RPC failed; curl 56 Recv failure: Connection was reset
fatal: The remote end hung up unexpectedly

とのエラーが出てpushできない。※今回は19MBのサイズでエラー出ました
どうやらサイズ制限にかかり、正常にpushできていないみたい。
※ファイルサイズが小さいものは問題なくpushできます。

〇　5KB
✖　19MB

一旦バックグラウンド

唐突ですが、当時の自宅の簡単な構成を…

Windowsサーバより外の構成は私関与していなかったので、聞き伝えでの図ですが…
今回、外部からWebサーバにアクセスできるようにbuffaloルータでポート開放されていますうさぎ～。

また、CentOS内部では、80番ポートはプロジェクト管理ソフトWebGUIへ（Apache）
GitLabはパッケージ内包のNginxで動いています。
hoge/projectsとhoge/gitlabでサブディレクトリにして、Apaceでリバースプロキシ設定で運用していますきんぎょ～。
今回アクセスする経路はドメイン指定するので1度インターネット抜けしてからLAN内にあるサーバに戻ってくる形です。（混乱する要因の1つ）
この辺の詳細は省きます。わけわかランボルギーニ～(^^♪＜ふんっ！ふんっ！

対処１

原因を調べたところ、GItLab側（Nginx）で一定値を超えるものは制限をかけているらしい。（そもそも大容量通信を想定していない）
早速、ネットに記載されていた対処法を試すねこ！

まずはクライアント側でバッファを増やす設定をするにゃ

git config --global http.postBuffer 524288000

次にサーバ側のＧitlabのサイズ制限を変更するために、Nginxのconfigに追記するぎょぴぼー。

client_max_body_size 200M

その後、各ソフトとサーバーを再起動っぽ！
。
。
。
同じエラーが返ってくる…

対処２

根気強くネットで解決策をさがすと、”プロキシを挟まずに直でGitlabにつないだらいけた！！”との記事を発見！
バックグラウンドを見ていただくと分かると思いますが、自宅構成では
クライアントからGitlabに行く際に、リバースプロキシを介しています。
しかし、リバースプロキシを使わないと、Gitlabかプロジェクト管理GUIのどちらか一方しかアクセス出来なくなりますぴょん…
もちろん、URLでポート指定すればよいのですが、ユーザ側の負担が増えるため却下ですにゃ…
というか、そもそもApacheにデフォルトでサイズ制限はないらしい！！（もしかしたらという事もあるので一応設定をいろいろ試しました）

切り分け

ここまで、サーバ側、もしくはクライアントの設定を疑い試行錯誤してきましたが、一向に解決しないため、
サーバ内だけでなく全体を見て切り分けを行いましたきんぎょ。
通常なら切り分けを最初にするべきですが、ネット上に同じ問題に直面している方がおり、
さらに解決策まで載っているという事で先入観を持ってしまったのが私の敗因ですねこ…

まずはリバースプロキシが原因かどうかを確認するため、
新しくテスト仮想サーバをつくり、Gitlabだけ構築します。
Gitlabは設定を変更せず、リポジトリだけ作成し、大容量push時にエラーを返す状態を再現します。
ドメインを紐づけるのはめんどくさかったので、プライベートIPで開くようにしました。

↓リポジトリパス↓

http:\192.168.100.101/gitlab/piyopiyo.git

###push 結果↓
〇　5KBのデータ　　←小さいファイルはOKですね
〇　19MBのデータ　←え！？pushできた！！！！

ということは、GitlabやNginxは問題なし。リバースプロキシが怪しい…
前段階でリバースプロキシは違うと踏んでただけに驚きました。

より本番環境に近い（外部からのアクセス）挙動も確認したいので、一応ドメインとIPを紐づける（もちろん本番環境のIPは重複を避け変更しておく）
クライアント側でリポジトリのパスをドメイン指定に変更
↓リポジトリパス↓

http:\hogehoge.nk/gitlab.piyopiyo.git

###push 結果↓
〇　5KBのデータ　　←小さいファイルはOK
✖　19MBのデータ　 ←あれ、いつものエラーで通らない…💦

小さいファイルは通っているのでDNSの根本的な間違えはなさそう…
今回はリバースプロキシは設定していないので、リバースプロキシのせいでエラーが出るわけではなさそう
もしや、wanを抜ける過程で失敗している？？

テスト仮想サーバを閉じ、本番サーバのIPとドメインを紐づけ直して再度検証

###push 結果↓
〇　5KBのデータ　　←小さいのは通った！
✖　19MBのデータ　 ←通らない

この場合、以下の2つ範囲で考えることが出来ますね。
①プロバイダ側で何かしら制限がある（これだったらお手上げです😢）
②自分の管轄範囲のNWで問題がある

~~想定できる原因~~
・大容量通信は弾いている
　→Youtube等の大容量のデータはup,down共に正常に疎通可能。おそらく違う。

・特定プロトコルの大容量データを弾いている
　→gitの仕様詳細まで分からず、未検証。（今回はサイズによらずHTTPを使っているはず）

・十分な帯域が確保できず、通信量を絞っている
　→サーバ側のタイムアウト時間も延長したがダメ

Lanでは繋がり、Wanでは繋がらない（小さいデータは繋がるが）という事で、私の手が届く1番Wan側のbuffaloルータを詳しく見てみます。
設定を覗いた感じ、QoSが設定してあるわけでもなく、問題はなさそう。
機器固有の設定は不明なので、我が家にあるFortiGateに置き換えることにしたにゃ！

ついでなので、セグメント別けしました。（NW図の構成が甘くてすみません）

FortiGateの設定を行い、接続確認をしました。
↓リポジトリパス↓

http:\hogehoge.nk/gitlab.piyopiyo.git

###push 結果↓
〇　5KBのデータ　　←小さいファイルはOK
〇　19MBのデータ　 ←無事に通った！

通常利用が想定されるWanを介しての大小データのpushに成功したのにゃ！！

今回の件から私が得るべき教訓は…

まずは、今回、問題解決に至るまでのネックポイント
・ネット記事に、同一サーバにWebサーバを同時導入（リバースプロキシ使用）例が少ない
・GitHubの方がユーザが多くGitlabはどちらかといえば少数派なため、なぜかGithubの記事に案内される
・Hyper-vよりDockerを使用している例が多いため、解決法がマッチしない
・buffaloルータの仕様を理解できていない

以上を踏まえ、今回の件から私が得るべき教訓は、全体を見て切り分けをしっかりしよう！ということだ。

↓今回の切り分け例↓
サーバサイド
・リバースプロキシがおかしい
・Gitlabがおかしい
・Nginxがおかしい
・ポートやファイアウォールの設定がうまく機能していない
その他物理
・クライアントの設定ミス
・物理機器の故障、謎仕様
ネットワークサイド
・Wan側がおかしい
・Lan側がおかしい
・NW境界部がうまく機能していない

てっきりサーバ側だと思い込んでそちらばかり対応にあたったのがダメでした。
今回はネットワークサイド、NW境界部（buffaloルータの仕様なのかな？）があたりでしたね…
結局、最たる原因は仕様が不明のため、buffaloさんには問い合わせて回答をいただく予定です。

エンドタイトル

今回は個人的にいろいろな事象が複雑に面倒くさく絡まっていたのが、解決への道を妨げるものでした。
リソースの関係上仕方がないとはいえ、シンプルな設計の重要さを身をもって学びました。み〇ほ銀行のジャングルシステムがいい例ですね。いや、悪い例か…
複雑なものをどのようにまとめようか思考しながら筆をとった結果、語尾も中途半端になる始末…（しかも非常に読みづらくて申し訳ない）

今回はここまで🐾
自宅にて、焼酎のお湯割りを飲みながら…。

次回も頑張るきんぎょー…

編集後記

私のCrieit記事では、私個人の思ったことや考えを色濃く記事に出しています。qiitaやStack Overflowのような解決を求める記事や、参考となる記事とは違い、実際に困難（？）に直面しているへっぽこ技術者の狭い視野やドキドキを臨場感のある雰囲気を含め楽しんで屍を越えて下されば幸いです。

せっかくなので、次回あたりFortiGateの設定などもご紹介できればよいですにゃ～…

(Docker) Almalinux を見据えて CentOS8 での環境構築を試験してみる

2021-12-29T00:16:11+09:00

手前味噌で恐縮ですが、自作の LAMP環境を検証する Docker Compose について。

GitHub - arm-band/docker_compose_ambergrease

イメージを CentOS7 ベースで構築しているので、いずれは AlmaLinux なり Rocky Linux なりに移行しなければならないことは分かっていました。

そこで、その以降を見据えて残り数日の命の CentOS8 で試験してみることにしました。なぜ AlmaLinux や Rocky Linux ではなくわざわざ CentOS8 かというと、いきなりそれらのOSに飛びついて何らかの不具合が発生したときに原因の切り分けで苦労するならば、まだ同じシリーズで差分が少ない (と想定される) CentOS8 で試験して、問題なければ次に進もう、という段階的な試験を想定したためです。

検証

docker run --name php7_cent8 -it centos:centos8 /bin/bash

まずはイメージを取得し、 bash に入ります。

Apache + PHP

最初は Apache + PHP 。こちらについては、以前 CentOS8 をインストールして遊んだときにremiリポジトリの入り方が CentOS7 とは異なることが分かっていたので、多少手を加える必要があるだろう、と踏んでいました。

# \cp -pf /usr/share/zoneinfo/Japan /etc/localtime
#

これは問題なし。

# dnf -y update && yum -y install  epel-release sudo less iproute httpd-devel zip unzip openssl mod_ssl

## 略

Installed:
  apr-1.6.3-12.el8.x86_64                                     apr-devel-1.6.3-12.el8.x86_64
  apr-util-1.6.1-6.el8.x86_64                                 apr-util-bdb-1.6.1-6.el8.x86_64
  apr-util-devel-1.6.1-6.el8.x86_64                           apr-util-openssl-1.6.1-6.el8.x86_64
  brotli-1.0.6-3.el8.x86_64                                   centos-logos-httpd-85.8-2.el8.noarch
  cyrus-sasl-2.1.27-5.el8.x86_64                              cyrus-sasl-devel-2.1.27-5.el8.x86_64
  epel-release-8-11.el8.noarch                                expat-devel-2.2.5-4.el8.x86_64
  groff-base-1.22.3-18.el8.x86_64                             httpd-2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64
  httpd-devel-2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64   httpd-filesystem-2.4.37-43.module_el8.5.0+1022+b541f3b1.noarch   
  httpd-tools-2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64   libdb-devel-5.3.28-42.el8_4.x86_64
  libpath_utils-0.2.1-39.el8.x86_64                           libpkgconf-1.4.2-1.el8.x86_64
  libtalloc-2.3.2-1.el8.x86_64                                mailcap-2.1.48-3.el8.noarch
  mod_http2-1.15.7-3.module_el8.4.0+778+c970deab.x86_64       mod_ssl-1:2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64
  ncurses-6.1-9.20180224.el8.x86_64                           openldap-devel-2.4.46-18.el8.x86_64
  perl-Carp-1.42-396.el8.noarch                               perl-Data-Dumper-2.167-399.el8.x86_64
  perl-Digest-1.17-395.el8.noarch                             perl-Digest-MD5-2.55-396.el8.x86_64
  perl-Encode-4:2.97-3.el8.x86_64                             perl-Errno-1.28-420.el8.x86_64
  perl-Exporter-5.72-396.el8.noarch                           perl-File-Path-2.15-2.el8.noarch
  perl-File-Temp-0.230.600-1.el8.noarch                       perl-Getopt-Long-1:2.50-4.el8.noarch
  perl-HTTP-Tiny-0.074-1.el8.noarch                           perl-IO-1.38-420.el8.x86_64
  perl-IO-Socket-IP-0.39-5.el8.noarch                         perl-IO-Socket-SSL-2.066-4.module_el8.3.0+410+ff426aa3.noarch    
  perl-MIME-Base64-3.15-396.el8.x86_64                        perl-Mozilla-CA-20160104-7.module_el8.3.0+416+dee7bcef.noarch    
  perl-Net-SSLeay-1.88-1.module_el8.3.0+410+ff426aa3.x86_64   perl-PathTools-3.74-1.el8.x86_64
  perl-Pod-Escapes-1:1.07-395.el8.noarch                      perl-Pod-Perldoc-3.28-396.el8.noarch
  perl-Pod-Simple-1:3.35-395.el8.noarch                       perl-Pod-Usage-4:1.69-395.el8.noarch
  perl-Scalar-List-Utils-3:1.49-2.el8.x86_64                  perl-Socket-4:2.027-3.el8.x86_64
  perl-Storable-1:3.11-3.el8.x86_64                           perl-Term-ANSIColor-4.06-396.el8.noarch
  perl-Term-Cap-1.17-395.el8.noarch                           perl-Text-ParseWords-3.30-395.el8.noarch
  perl-Text-Tabs+Wrap-2013.0523-395.el8.noarch                perl-Time-Local-1:1.280-1.el8.noarch
  perl-URI-1.73-3.el8.noarch                                  perl-Unicode-Normalize-1.25-396.el8.x86_64
  perl-constant-1.33-396.el8.noarch                           perl-interpreter-4:5.26.3-420.el8.x86_64
  perl-libnet-3.11-3.el8.noarch                               perl-libs-4:5.26.3-420.el8.x86_64
  perl-macros-4:5.26.3-420.el8.x86_64                         perl-parent-1:0.237-1.el8.noarch
  perl-podlators-4.11-1.el8.noarch                            perl-threads-1:2.21-2.el8.x86_64
  perl-threads-shared-1.58-2.el8.x86_64                       pkgconf-1.4.2-1.el8.x86_64
  pkgconf-m4-1.4.2-1.el8.noarch                               pkgconf-pkg-config-1.4.2-1.el8.x86_64
  sscg-2.3.3-14.el8.x86_64                                    sudo-1.8.29-7.el8_4.1.x86_64
  unzip-6.0-45.el8_4.x86_64                                   zip-3.0-23.el8.x86_64

Complete!

OK。

# dnf -y upgrade

## 略

Upgraded:
  epel-release-8-13.el8.noarch

Complete!

特に大きな差分もなさそうです。OK。

remiリポジトリ

# rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-8.rpm
Retrieving http://rpms.famillecollet.com/enterprise/remi-release-8.rpm
warning: /var/tmp/rpm-tmp.hlvLxe: Header V4 RSA/SHA256 Signature, key ID 5f11735a: NOKEY
Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...
   1:remi-release-8.5-2.el8.remi      ################################# [100%]
# rpm --import http://rpms.famillecollet.com/RPM-GPG-KEY-remi2021
#

OK。 CentOS8 用のリポジトリに切り替えました。鍵についてはすぐ RPM-GPG-KEY-remi2022 にしなければならないでしょうけど。

dnf

# dnf config-manager --enable remi && dnf config-manager --enable remi-php74
No such command: config-manager. Please use /usr/bin/dnf --help
It could be a DNF plugin command, try: "dnf install 'dnf-command(config-manager)'"

remi-php74 に指定で躓くかと思いきや、そもそも config-manager がない、と？

元々は yum-config-manager だったのですが、 CentOS8 であれば dnf ベースの方が良いだろう、ということで置き換えてはみましたが、ダメですか……。

Almalinuxにterraformコマンドをyumで導入するの巻 - TrippyBoyの愉快な日々

こちらより dnf install -y dnf-plugins-core してみます。

# dnf install dnf-plugins-core

## 略

Installed:
  dbus-glib-0.110-2.el8.x86_64        dnf-plugins-core-4.0.21-3.el8.noarch            python3-dateutil-1:2.6.1-6.el8.noarch    
  python3-dbus-1.2.4-15.el8.x86_64    python3-dnf-plugins-core-4.0.21-3.el8.noarch    python3-six-1.11.0-8.el8.noarch

Complete!

OK。

remi + PHP

# dnf config-manager --enable remi && dnf config-manager --enable remi-php74
Error: No matching repo to modify: remi-php74.

……やはり remi-php74 で引っかかりましたか。

CentOs8 php7.4をインストールする | mebee

……想定していたものとは少し違うやり方ですが、試してみましょう。

# dnf module reset php

## 略

Remi's RPM repository for Enterprise Linux 8 - x86_64                                          598 kB/s | 3.9 MB     00:06    
Last metadata expiration check: 0:00:03 ago on DDD dd mmm yyyy hh:ii:ss AM UTC.
Dependencies resolved.
Nothing to do.
Complete!

OK。

# dnf module install -y php:remi-7.4

## 略

Installed:
  libedit-3.1-23.20170329cvs.el8.x86_64                                     libxslt-1.1.32-6.el8.x86_64
  nginx-filesystem-1:1.14.1-9.module_el8.0.0+184+e34fea82.noarch            oniguruma5php-6.9.7.1-1.el8.remi.x86_64
  php-cli-7.4.27-1.el8.remi.x86_64                                          php-common-7.4.27-1.el8.remi.x86_64
  php-fpm-7.4.27-1.el8.remi.x86_64                                          php-json-7.4.27-1.el8.remi.x86_64
  php-mbstring-7.4.27-1.el8.remi.x86_64                                     php-xml-7.4.27-1.el8.remi.x86_64

Complete!

# php --version
PHP 7.4.27 (cli) (built: Dec 14 2021 17:17:06) ( NTS )
Copyright (c) The PHP Group
Zend Engine v3.4.0, Copyright (c) Zend Technologies

OK。入りましたね。これに従い該当箇所を書き換えます。

# enable repository remi & remi-php74
#RUN dnf config-manager --enable remi && dnf config-manager --enable remi-php74
# disable default module
RUN dnf module reset -y php
RUN dnf module install -y php:remi-7.4

## 略

# disable repository remi & remi-php74
#RUN dnf config-manager --disable remi && dnf config-manager --disable remi-php74

config-manager によるリポジトリ使用のオン・オフの切り替えを削除しました。

# dnf -y install php php-devel php-pdo php-mysqlnd php-mbstring php-gd php-pear php-pecl-apc-devel zlib-devel php-xml php-mcrypt php-pecl-xdebug

## 略

Installed:
  autoconf-2.69-29.el8.noarch                                     automake-1.16.1-7.el8.noarch
  cmake-filesystem-3.20.2-4.el8.x86_64                            cpp-8.5.0-4.el8_5.x86_64
  dejavu-fonts-common-2.35-7.el8.noarch                           dejavu-sans-fonts-2.35-7.el8.noarch
  emacs-filesystem-1:26.1-7.el8.noarch                            fontconfig-2.13.1-4.el8.x86_64
  fontpackages-filesystem-1.44-22.el8.noarch                      freetype-2.9.1-4.el8_3.1.x86_64
  fribidi-1.0.4-8.el8.x86_64                                      gcc-8.5.0-4.el8_5.x86_64
  gcc-c++-8.5.0-4.el8_5.x86_64                                    gd3php-2.3.3-4.el8.remi.x86_64
  glibc-devel-2.28-164.el8.x86_64                                 glibc-headers-2.28-164.el8.x86_64
  graphite2-1.3.10-10.el8.x86_64                                  harfbuzz-1.7.5-3.el8.x86_64
  isl-0.16.1-6.el8.x86_64                                         jbigkit-libs-2.1-14.el8.x86_64
  kernel-headers-4.18.0-348.2.1.el8_5.x86_64                      keyutils-libs-devel-1.5.10-9.el8.x86_64
  krb5-devel-1.18.2-14.el8.x86_64                                 libX11-1.6.8-5.el8.x86_64
  libX11-common-1.6.8-5.el8.noarch                                libXau-1.0.9-3.el8.x86_64
  libXpm-3.5.12-8.el8.x86_64                                      libcom_err-devel-1.45.6-2.el8.x86_64
  libimagequant-2.12.5-1.el8.x86_64                               libjpeg-turbo-1.5.3-12.el8.x86_64
  libkadm5-1.18.2-14.el8.x86_64                                   libmcrypt-2.5.8-26.el8.x86_64
  libmpc-1.1.0-9.1.el8.x86_64                                     libpng-2:1.6.34-5.el8.x86_64
  libraqm-0.7.0-4.el8.x86_64                                      libselinux-devel-2.9-5.el8.x86_64
  libsepol-devel-2.9-3.el8.x86_64                                 libsodium-1.0.18-2.el8.x86_64
  libstdc++-devel-8.5.0-4.el8_5.x86_64                            libtiff-4.0.9-20.el8.x86_64
  libtool-2.4.6-25.el8.x86_64                                     libverto-devel-0.3.0-5.el8.x86_64
  libwebp-1.0.0-5.el8.x86_64                                      libxcb-1.13.1-1.el8.x86_64
  libxcrypt-devel-4.1.1-6.el8.x86_64                              libxml2-devel-2.9.7-9.el8_4.2.x86_64
  m4-1.4.18-7.el8.x86_64                                          make-1:4.2.1-10.el8.x86_64
  openssl-devel-1:1.1.1k-5.el8_5.x86_64                           pcre2-devel-10.32-2.el8.x86_64
  pcre2-utf16-10.32-2.el8.x86_64                                  pcre2-utf32-10.32-2.el8.x86_64
  perl-Thread-Queue-3.13-1.el8.noarch                             php-7.4.27-1.el8.remi.x86_64
  php-devel-7.4.27-1.el8.remi.x86_64                              php-fedora-autoloader-1.0.1-2.el8.remi.noarch
  php-gd-7.4.27-1.el8.remi.x86_64                                 php-mysqlnd-7.4.27-1.el8.remi.x86_64
  php-opcache-7.4.27-1.el8.remi.x86_64                            php-pdo-7.4.27-1.el8.remi.x86_64
  php-pear-1:1.10.13-1.el8.remi.noarch                            php-pecl-apcu-5.1.21-1.el8.remi.7.4.x86_64
  php-pecl-apcu-devel-5.1.21-1.el8.remi.7.4.x86_64                php-pecl-mcrypt-1.0.4-1.el8.remi.7.4.x86_64
  php-pecl-xdebug-2.9.8-1.el8.remi.7.4.x86_64                     php-process-7.4.27-1.el8.remi.x86_64
  php-sodium-7.4.27-1.el8.remi.x86_64                             xz-devel-5.2.4-3.el8.x86_64
  zlib-devel-1.2.11-17.el8.x86_64

Complete!

OK。

# php -r "copy('https://getcomposer.org/installer', 'composer-setup.php');"   && php composer-setup.php   && php -r "unlink('composer-setup.php');"   && mv composer.phar /usr/local/bin/composer
All settings correct for using Composer
Downloading...

Composer (version 2.2.1) successfully installed to: /etc/yum.repos.d/composer.phar
Use it: php composer.phar

# composer --version
Composer version 2.2.1 2021-12-22 22:21:31

Composer も入りました。

# mkdir /var/log/php
# chown apache /var/log/php
# chmod 755 /var/log/php
# mkdir -p /etc/ssl/private

まあこの辺りは普通に。

SSL

# openssl req -new -newkey rsa:2048 -nodes -out /etc/ssl/private/server.csr -keyout /etc/ssl/private/server.key -subj "/C=/ST=/L=/O=/OU=/CN=*.lvh.me"

## 略

# openssl x509 -days 365 -req -signkey /etc/ssl/private/server.key -in /etc/ssl/private/server.csr -out /etc/ssl/private/server.crt
Signature ok
subject=CN = *.lvh.me
Getting Private key

OK。

Apache の設定ファイル

ssl.conf

# cat /etc/httpd/conf.d/ssl.conf 

## 略

表示させたSSL用の設定を現行のものと差し替えます。ただし、現行の設定をなるべく引き継ぐように。これは他の設定ファイルも同様です。

- SSLRandomSeed startup file:/dev/urandom  256
- SSLRandomSeed connect builtin

- SSLCipherSuite HIGH:3DES:!aNULL:!MD5:!SEED:!IDEA

現行にあったこれらの行は削除。

+ SSLHonorCipherOrder on

これは新しく追加されていました。

SSLProtocol all -SSLv2 -SSLv3 -TLSv1 -TLSv1.1

プロトコルについては念のため現行の設定を引き継ぎ。流石にもう SSLv2 なんて存在しないでしょうけど……。

- 
+ 
      SSLOptions +StdEnvVars
- 
+

微妙にディレクティブの表現が変わっていますが、影響はなさそうなので変更を受け入れます。

php.conf

# cat /etc/httpd/conf.d/php.conf

## 略

# Redirect to local php-fpm if mod_php (5 or 7) is not available

  
    # Enable http authorization headers
    SetEnvIfNoCase ^Authorization$ "(.+)" HTTP_AUTHORIZATION=$1

    
        SetHandler "proxy:unix:/run/php-fpm/www.sock|fcgi://localhost"

こちらは最後の部分に追記がありますね。これはそのまま受け入れ。

php.ini

# cat /etc/php.ini

## 略

こちらも設定を引き継ぎ、といっても現行の設定と変更点はなく(自前の設定を引き継いだ) 差分としてはコメントの文字列くらい。

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message

Apache を起動しようとしたところ、

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message

のエラーメッセージがログに記録されて起動してこない現象に遭遇。

[Docker]AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using ***.***.*.*. Set the 'ServerName' directive globally to suppress this message - Qiita

そういえば元々の Dockerfile には記述していましたが、 httpd.conf への追記をしていませんでした。

echo ServerName www.example.com:80 >> /etc/httpd/conf/httpd.conf

これでOK。

# httpd -v
Server version: Apache/2.4.37 (centos)
Server built:   Nov 12 2021 04:57:27

バージョンも拾えました。

(2)No such file or directory: AH02454: FCGI: attempt to connect to Unix domain socket /run/php-fpm/www.sock (*) failed

これで Apache も起動してきたのでブラウザで表示確認、ということで phpinfo() でも表示させようかとファイルを用意して curl してみると……

Service Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

503エラーが出てしまいました。

(2)No such file or directory: AH02454: FCGI: attempt to connect to Unix domain socket /run/php-fpm/www.sock (*) failed

Apache のエラーログには上述のログが記録されていました。

今までとは異なる方法で PHP をインストールしたら、どうやら php-fpm (CGIモード) で動作しようとしてしまっているようです。

今回の環境ではCGI版かモジュール版かはあまり考慮しておらず、Webサーバも Apache のためモジュール版でも良いと判断。

動作を切り替えます。

# less /etc/httpd/conf/httpd.conf

## 略

Include conf.modules.d/*.conf

念のためモジュール読み込みの記述があることを確認。

# ls /etc/httpd/conf.modules.d/
00-base.conf      00-lua.conf       00-optional.conf  00-ssl.conf       01-cgi.conf       10-proxy_h2.conf  README
00-dav.conf       00-mpm.conf       00-proxy.conf     00-systemd.conf   10-h2.conf        15-php.conf

関係しそうなのは 00-mpm.conf, 01-cgi.conf, 15-php.conf 辺りでしょうか。

# less /etc/httpd/conf.modules.d/15-php.conf

# Cannot load both php5 and php7 modules

  
    LoadModule php7_module modules/libphp7.so

ここはそのまま。

# less /etc/httpd/conf.modules.d/01-cgi.conf 

# This configuration file loads a CGI module appropriate to the MPM
# which has been configured in 00-mpm.conf.  mod_cgid should be used
# with a threaded MPM; mod_cgi with the prefork MPM.


   LoadModule cgid_module modules/mod_cgid.so


   LoadModule cgid_module modules/mod_cgid.so


   LoadModule cgi_module modules/mod_cgi.so

ここもそのまま。

# less /etc/httpd/conf.modules.d/00-mpm.conf

# Select the MPM module which should be used by uncommenting exactly
# one of the following LoadModule lines.  See the httpd.conf(5) man
# page for more information on changing the MPM.

# prefork MPM: Implements a non-threaded, pre-forking web server
# See: http://httpd.apache.org/docs/2.4/mod/prefork.html
#
# NOTE: If enabling prefork, the httpd_graceful_shutdown SELinux
# boolean should be enabled, to allow graceful stop/shutdown.
#
#LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

# worker MPM: Multi-Processing Module implementing a hybrid
# multi-threaded multi-process web server
# See: http://httpd.apache.org/docs/2.4/mod/worker.html
#
#LoadModule mpm_worker_module modules/mod_mpm_worker.so

# event MPM: A variant of the worker MPM with the goal of consuming
# threads only for connections with active processing
# See: http://httpd.apache.org/docs/2.4/mod/event.html
#
LoadModule mpm_event_module modules/mod_mpm_event.so

変更するのはここ。

- #LoadModule mpm_prefork_module modules/mod_mpm_prefork.so
+ LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

- LoadModule mpm_event_module modules/mod_mpm_event.so
# LoadModule mpm_event_module modules/mod_mpm_event.so

上述のうち2ヶ所を反転させます。

CentOSにApacheとPHP入れてPHPファイルを表示しようとしたら503エラー Output48

これでOK。起動も確認できました。

テンプレートとして上述を反転させた 00-mpm.conf を用意し、エントリポイントでファイルコピーして設定を上書きすることで対処しました。

最終的に AlmaLinux の Docker Compose を作成して起動し、ブラウザで該当の PHPファイルにアクセスし、 phpinfo() の画面が表示されることを確認できました。OK。

SSLCertificateFile: file '/etc/pki/tls/certs/localhost.crt' does not exist or is empty

上述のエラーの他に

SSLCertificateFile: file '/etc/pki/tls/certs/localhost.crt' does not exist or is empty

localhost のSSL証明書がない、というエラーにも遭遇しました。

なければ作れば良いだけ、上述で

echo ServerName www.example.com:80 >> /etc/httpd/conf/httpd.conf

としているので、このダミードメインを使います。

# openssl req -new -newkey rsa:2048 -nodes -out /etc/pki/tls/certs/localhost.csr -keyout /etc/pki/tls/private/localhost.key -subj "/C=/ST=/L=/O=/OU=/CN=www.example.com"

## 略

# openssl x509 -days 365 -req -signkey /etc/pki/tls/private/localhost.key -in /etc/pki/tls/certs/localhost.csr -out /etc/pki/tls/certs/localhost.crt
Signature ok
subject=CN = www.example.com
Getting Private key

これでOK。 ssl.conf には記述はあるのですが……。

MySQL

次に MySQL 側を。こちらはほぼ手を加える必要はないという想定です。

# dnf localinstall https://dev.mysql.com/get/mysql80-community-release-el8-2.noarch.rpm

## 略

Package mysql80-community-release-el8-2.noarch is already installed.
Dependencies resolved.
Nothing to do.
Complete!

CentOS8 用ということでリポジトリの入れ方を少し変更。

# ls /etc/yum.repo.d/
CentOS-Linux-AppStream.repo          CentOS-Linux-Media.repo       epel-testing.repo
CentOS-Linux-BaseOS.repo             CentOS-Linux-Plus.repo        mysql-community.repo
CentOS-Linux-ContinuousRelease.repo  CentOS-Linux-PowerTools.repo  mysql-community-source.repo
CentOS-Linux-Debuginfo.repo          CentOS-Linux-Sources.repo     remi-modular.repo
CentOS-Linux-Devel.repo              epel-modular.repo             remi.repo
CentOS-Linux-Extras.repo             epel-playground.repo          remi-safe.repo
CentOS-Linux-FastTrack.repo          epel.repo
CentOS-Linux-HighAvailability.repo   epel-testing-modular.repo

mysql-community.repo, mysql-community-source.repo の2つが追加されたことを確認。

# dnf module disable mysql

## 略

Complete!

デフォルトの MySQL がいると邪魔になるので無効化して

# dnf -y install mysql-community-devel mysql-community-server

## 略

Installed:
  mysql-community-client-8.0.27-1.el8.x86_64                 mysql-community-client-plugins-8.0.27-1.el8.x86_64
  mysql-community-common-8.0.27-1.el8.x86_64                 mysql-community-devel-8.0.27-1.el8.x86_64
  mysql-community-libs-8.0.27-1.el8.x86_64                   mysql-community-server-8.0.27-1.el8.x86_64
  net-tools-2.0-0.52.20160912git.el8.x86_64

Complete!

インストール完了。

# mysqld --version
/usr/sbin/mysqld  Ver 8.0.27 for Linux on x86_64 (MySQL Community Server - GPL)

デフォルトでは 8.0.26 だったバージョンが地味に 8.0.27 に上がりました。

# grep 'temporary password' /var/log/mysqld.log       
yyyy-mm-ddThh:ii:ss.zzzzzzZ 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: XXXXXXXXXXXX

初期パスワードの出現位置が半角スペース区切りで13番目であることを確認。これはエントリポイントで awk を使って抽出、初期パスワードを環境変数の値で書き換える処理で使用するため個人的には重要ポイント。ここは変更しなくて良さそうです。

# cat /etc/my.cnf

[mysqld]

## 略

datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

デフォルトで4つパラメータが指定されています。うち3つはテンプレートの設定ファイルに記述がされているので不要、 pid-file だけ現時点では指定がないため、これだけ base.cnf に移植します。

/etc/my.cnf には上述4つを削除した代わりに !includedir /etc/my.cnf.d を末尾に追加したものを現行の my.cnf と差し替え。

これで MySQL 側は良さそうです。

なお、 phpMyAdmin は公式イメージをそのまま使っているので変更なし。

以上で一通り動作検証できたので、これをベースに AlmaLinux 用に書き換えれば良さそうです。

参考

Docker

AlmaLinux

dnf

remi

Remi's RPM repository

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message

[Docker]AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using ***.***.*.*. Set the 'ServerName' directive globally to suppress this message - Qiita

PHP

CentOs8 php7.4をインストールする | mebee

(2)No such file or directory: AH02454: FCGI: attempt to connect to Unix domain socket /run/php-fpm/www.sock (*) failed

php-fpm

nginx と PHP-FPM の仕組みをちゃんと理解しながら PHP の実行環境を構築する - Qiita

SSLCertificateFile: file '/etc/pki/tls/certs/localhost.crt' does not exist or is empty

MySQL

MySQL 8.0 を CentOS 8.1 にインストールする手順 - Qiita

.htaccess で PHP のエラーログの出力先を変える

2021-07-18T17:02:26+09:00

/var/log/ に潜らなくとも、あるいは php.ini を編集しなくとも PHP のログを手軽に簡単に確認できる場所に出力できないか試してみました。

php_flag log_errors On
php_value error_log PATH/TO/LOG/error_log.log

結果、上述二文を .htaccess に記述することで PHP のログの出力先を変えることができました。

参考

PHP のエラーログを出力するにはどうしたら良いですか？ - Welcart サポート

PHPでどうにかしようとした (失敗)

関数リファレンス

エラーの種類とフラグ

サーバ入門5　Webサーバのインストールと動作確認

2021-05-31T12:53:01+09:00

Apache HTTP Server

世界中で最も多く使われているOSSのWebサーバソフトウェア
・信頼性が高い、Webで情報を入手しやすいといった特徴がある。
※Apacheは仕組み上Clok(クライアント1万台問題)を抱えているので、万単位のリクエストを処理するようなWebサーバでは、nginxが使われる。

Apacheのインストール

$su - →　　　　#yum -y install httpd(CentOSではhttpdというパッケージを指定)

Apacheの起動

Windowsと異なり、インストールしてもApache HTTP Serverは起動していない。
#systemctl start httpd(インストールしただけでは起動していない)
#systemctl status httpd(本当に起動したのか状態を確認する)
※ステータスがactiveになっていれば、httpdは起動している。

Apacheを自動起動させる

OSを起動(再起動)したときに自動でApache HTTP Serverを起動させたい場合。
#systemctl enable httpd
#systemctl is-enabled httpd(自動起動が有効か確認)
※is-enabledの結果がenabledになっていれば、httpdは自動起動する。disabledの場合は、自動起動しないことを意味する。

cystemctlコマンド

Linuxの起動処理や、システム管理をコントロールするためのコマンド。サービスの起動や停止の操作する際に欠かせない。
#systemctl [サブコマンド] [サービス名(ユニット名)]

サブコマンド	効果
start	開始する
restart	再起動する
stop	停止する
status	状態を確認する
enable	自動起動を有効にする
disable	自動起動を無効にする
is-enabled	自動起動の状態を確認する
list-unit-files	インストールされているユニットを表示する

etc...

ファイアーウォールの設定

以下のコマンドを入力し、外部からサーバへHTTP通信を許可にする。
#firewall-cmd --permanent --add-service=http
#firewall-cmd --reload
#firewall-cmd --list-services
「--list-srvices」でHTTPがリストに追加されたことを確認する。

firewall-cmdコマンド

CentOS7では、ファイアーウォールにfirewalldが採用されている。fairewalldをコマンドで操作できるのが「firewall-cmd」
#firewall-cmd [オプション]
※オプション「--permanent」を加えない場合は設定が即時反映されるが、fairealldを起動すると設定が元に戻る。

オプション	効果
--add-service=サービス	指定サービスの通信を許可にする
--remove-service=サービス	指定サービスの通信を許可しない
--permanent	永続化を指定※即時反映には--reloadが必須
--reload	設定をリロードする
--list-services	許可されたサービスを確認する
--list-all	ゾーンの状態を確認する
--get-services	--add-srviceで指定できるサービス名を確認する

etc...

firewalld

・・・LinuxOS用のファイアーウォール管理ツール
・Webサーバにはドキュメントルートと呼ばれる、公開するコンテンツを配置するディレクトリがある。httpdの場合「/var/www/html/」
・Webサーバにファイル名を指定せずにアクセスした場合「index.html」という名前のファイルが表示される。

サーバソフトウェアのインストールフロー

パッケージのインストール(yum)
↓
(設定ファイルの編集)(vim)※場合によっては設定しない
↓
サービス起動と確認(systemctl)
↓
サービス自動起動設定と確認(systemctl)
↓
ファイアーウォールの設定(firewall-cmd)
↓
動作確認

【サーバ基礎】Apacheのインストールと自動設定

2021-05-17T16:39:10+09:00

Apache HTTP Serverをインストールします。

centOS7で、次の操作を行います。

$ su -
# yum -y install httpd

インストールができたら、起動します。

# systemctl start httpd 
# systemctl status httpd

自動起動の設定

OSの起動のときに、サーバの起動も行いたいときは以下の設定をします。

# systemctl enable httpd
# systemctl is-enabled httpd

ある日突然ロードアベレージが200を超えた

2021-05-14T12:59:20+09:00

※サーバの知識が乏しい為、誤った情報を載せるわけにもいかないので
具体的な解決方までは記載してません。ポエム感覚です。

何が起きた

ある日、自分が開発した社内チャットツールが504エラーで開けなくなりました。
クッソ時間をかけてターミナルを開き、topで確認したところload average：86　となっていて爆笑しました。（笑っている場合ではない）
その後、色々対処している最終に230くらいになりました。写真撮っておけば良かったな(白目)。

どうしてそうなった

他のツールから、かなりの数のメッセージが送られてきたのが原因でした。
と言っても1分に100件～200件程度なので、めちゃくちゃ多いのか？と言われれば微妙なところです。

とりあえず復活させるぞ

実は以前にも同じことが起きたのですが、そのときはまだサーバの知識が今より乏しく、
とりあえず早く復旧させなきゃという気持ちが先走ってrebootしてしまいました。
もちろんこれで直ることもありますが、下手するとrebootしてから1時間くらい立ち上がらないなんてこともあるので(経験者は語る)、
むやみにやらないべきだと思います。

何が原因か突き止める

めちゃくちゃ重いときはターミナルを開くのも一苦労であることが多いですが、めげずに待ちましょう。
で、私はとりあえずtopでロードアベレージやメモリ、CPUを確認します。
入っているなら、htopの方が見やすいかも。

その後はひらすらググります！！！
「ロードアベレージ　高い」「メモリ　解放されない」とか。
もっと根本的に「504エラー　原因　突き止める」とか。

あと、アプリ自体のlogも確認します。
今回の場合は、ログファイルが朝の時点で昨日より3倍のサイズだったり、
メッセージ送信のAPIがめちゃくちゃ呼ばれていた形跡があったので、予測通りこれ原因だな…と確信しました。

原因の元をどうにかする

とりあえずApacheの再起動を試みましたが、タイムアウトでエラーになり出来ませんでした。
これはkillするしかないな…と思い、以下のように対処。

# Apacheのプロセスを確認
ps agx | grep httpd

# とりあえず一番上に出てきたプロセスをkill
sudo kill 34568 (※PID)

# ロードアベレージが落ち着いてきたらApache再起動
sudo systemctl restart httpd

この処理が終わるまでも時間かかりますが、
killされてからは徐々にロードアベレージも減っていきました。
Apacheを再起動し、なんとか復旧しました。

おわり

根本的に、
「100件程度のメッセージで落ちないような設計にしろよ！」とか
「そもそも1分に100件送ってくんなよ！！」とか
その辺りの問題はまだありますが、それはまた別の話として。

以前よりはサーバダウンにも冷静に対処出来たんじゃないかなと思います。
今回は原因がわかっていたので良かったですが、また別の要因で再発したときにも慌てず対処したいなと思う所存でございます。

【XAMPP】【Apache】URLとフォルダパスの関係を定義する

2021-04-11T15:40:59+09:00

httpd.confファイルの編集

「XAMPP Control Panel」を起動する。
Apacheの「Config」ボタンを押す。
Apache（httpd.conf）を選択する。

URLとフォルダパスの関係を定義する

ファイル内をキーワード「Alias: Maps web paths」で検索する。
該当コメントの後に、下記を追記する。
[URL]のリクエストを受け付けると、Webサーバ内の[フォルダパス]を参照する。

alias [URL] "[ディレクトリパス]"

    Options Indexes followSymLinks MultiViews
    AllowOverride All
    Order allow,deny
    Allow from all
    Require all granted

例）

alias /hoge "/xampp/htdocs/hogeproject/public/"

    Options Indexes followSymLinks MultiViews
    AllowOverride All
    Order allow,deny
    Allow from all
    Require all granted

Webブラウザで「http://localhost/hoge/fuga.html」を指定すると、「/xampp/htdocs/hogeproject/public/fuga.html」を表示する。

「PHPフレームワーク　Laravel入門　第2版」P21で、
---引用---
ファイルを開いたら、末尾に以下のように追記をしましょう。
---引用ここまで---
と記載されていたのに、その通り設定しても「ページが見つかりません」となってしまったので、気になって調べてみた。

参考

Aliasディレクティブ：特定のパスへのリクエストに対してドキュメントルート以外のディレクトリを割り当てる（https://www.javadrive.jp/apache/ini/index12.html）

もっとhttpd.confの設定（http://www.nina.jp/server/redhat/httpd/httpd_conf.html）

PHPフレームワーク　Laravel入門　第2版（https://www.shuwasystem.co.jp/book/9784798060996.html）

.htaccess で Perl を有効にする

2021-03-03T22:12:17+09:00

Apache の設定を編集した方が早そうですが、 .htaccess で Perl を有効にしたい場合のメモです。

Options +ExecCGI
AddHandler cgi-script cgi
AddType application/x-httpd-cgi .cgi .pl

Apache の conf と代わり映えしないですが、一応メモしておきます。

参考

.htaccess の書き方（設定変更編） - Qiita

Apache でフォームの入力内容などをロギングする

2021-01-14T23:46:32+09:00

フォームの検証などで Apache に送信される POST の内容を確認したい、ということになり、その際の方法をメモ。ちなみに、テスト環境なのでHTTPSではなくHTTP通信です。

設定変更

Apache の設定を変更することで POST の内容をロギングすることができました。

# less /etc/httpd/conf.modules.d/00-base.conf

## 略

LoadModule dumpio_module modules/mod_dumpio.so

## 略

dumpio_module が読み込まれていることを確認。

# vi /ect/httpd/conf/httpd.conf

## 略

#LogLevel warn
DumpIOInput On
DumpIOOutput On
LogLevel debug dumpio:trace7

## 略

デフォルトの LogLevel である warn をコメントアウトして、 LogLevel debug dumpio:trace7 に変更。古いサーバならば dumpio:trace7 の部分がなくても行ける(むしろ dumpio:trace7 を付けるとエラーになる)ようです。

また、今回は入出力両方を見るために DumpIOInput, DumpIOOutput の両方を On にしました。

# systemctl reload httpd

これで Apache の設定再読み込み。

# less /var/log/error_log

## 略

[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [dumpio:trace7] [pid 0000:tid 000000000000000] mod_dumpio.c(000): [client 192.0.2.1:55555] mod_dumpio:  dumpio_in (data-HEAP): data%5Bwp-check-locked-posts%5D%5B%5D=post-8964&data%5Bwp-check-locked-posts%5D%5B%5D=post-8959&data%5Bwp-check-locked-posts%5D%5B%5D=post-8941&data%5Bwp-check-locked-posts%5D%5B%5D=post-8911&data%5Bwp-check-locked-posts%5D%5B%5D=post-8896&data%5Bwp-check-locked-posts%5D%5B%5D=post-8858&data%5Bwp-check-locked-posts%5D%5B%5D=post-8852&data%5Bwp-check-locked-posts%5D%5B%5D=post-8836&data%5Bwp-check-locked-posts%5D%5B%5D=post-8814&data%5Bwp-check-locked-posts%5D%5B%5D=post-8800&data%5Bwp-check-locked-posts%5D%5B%5D=post-8789&data%5Bwp-check-locked-posts%5D%5B%5D=post-8783&data%5Bwp-check-locked-posts%5D%5B%5D=post-8777&data%5Bwp-check-locked-posts%5D%5B%5D=post-8768&data%5Bwp-check-locked-posts%5D%5B%5D=post-8765&data%5Bwp-check-locked-posts%5D%5B%5D=post-8762&data%5Bwp-check-locked-posts%5D%5B%5D=post-8740&data%5Bwp-check-locked-posts%5D%5B%5D=post-8713&data%5Bwp-check-locked-posts%5D%5B%5D=post-8697&data%5Bwp-check-locked-posts%5D%5B%5D=post-8673&interval=15&_nonce=340f139c5d&action=heartbeat&screen_id=edit-post&has_focus=true

## 略

これで error_log に入出力が記録されていることを確認(上の例は WordPress の投稿編集画面で「更新」したものの一部)。大丈夫そうです。

なお、 error_log が凄い勢いで増えてくので検証が終わったら設定をすぐに戻した方が良いですね。

参考

Apache で gzip のファイル圧縮転送を設定する

2021-01-09T00:05:45+09:00

Apache で gzip のファイル圧縮転送を設定するメモです。

設定前の動作確認

試しに Apache 2.4系のサーバに設定してみます。

ちなみに設定前のとある WordPress のサイトのトップページを表示するとこのような感じ。

Chrome の Devtools で network タブを開いてページをリロードすると、画像のような状態に。 transferred が 1.4MB と表示されています。

トップページのHTMLリソースのレスポンスヘッダはこのような感じ。 Connection と Content-Type が隣接しています。

設定変更

設定する前にいくつか確認を。

# cd /etc/httpd/
# cd ./modules/
# ls
libphp7-zts.so          mod_deflate.so              mod_proxy_express.so
libphp7.so              mod_dialup.so               mod_proxy_fcgi.so

## 略                   ## 略                       ## 略

まずは gzip圧縮に必要なモジュール mod_deflate.so があることを確認。

# cd ../

# less ./conf/httpd.conf


## 略

Include conf.modules.d/*.conf

## 略

IncludeOptional conf.d/*.conf

次に httpd.conf で conf.modules.d/ディレクトリ下の .confファイルと conf.d/ディレクトリ下の .confファイルを読み込む設定になっていることを確認。

# cd ../conf.modules.d/

# less 00-base.conf


## 略

LoadModule deflate_module modules/mod_deflate.so

続いて conf.modules.d/00-base.conf で mod_deflate.so がロードされるようになっていることを確認。

# cd ../conf.d/

# vi deflate.conf


# This file is config of deflate_module.


      SetOutputFilter DEFLATE

      AddOutputFilterByType DEFLATE text/plain
      AddOutputFilterByType DEFLATE text/html
      AddOutputFilterByType DEFLATE text/xml
      AddOutputFilterByType DEFLATE text/css
      AddOutputFilterByType DEFLATE text/javascript
      AddOutputFilterByType DEFLATE application/xhtml+xml
      AddOutputFilterByType DEFLATE application/xml
      AddOutputFilterByType DEFLATE application/rss+xml
      AddOutputFilterByType DEFLATE application/atom_xml
      AddOutputFilterByType DEFLATE application/javascript
      AddOutputFilterByType DEFLATE application/json
      AddOutputFilterByType DEFLATE application/ld+json
      AddOutputFilterByType DEFLATE application/x-javascript
      AddOutputFilterByType DEFLATE application/x-httpd-php

ここまでを確認したら、 conf.d/deflate.conf ファイルを作成して設定を記述します。

テキストファイルで、通信することがありえそうなものを入れてみました。

# ls -al


## 略

-rw-r--r-- 1 ADMIN_USER ADMIN_USER    857 mm dd hh:ii deflate.conf

## 略

-rw-r--r-- 1 ADMIN_USER ADMIN_USER   1254 MM dd  yyyy php.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER   9465 MM dd  yyyy ssl.conf

## 略

念のため権限を確認。元々存在する php.conf 等と比較しておきます。

# systemctl reload httpd
#

Apache をリロード。

これで設定完了です。

設定後の動作確認

さて、先程のサイトをもう一度見てみます。

今度は transferred が 934kB と表示されました。約400kB くらい圧縮されました。

設定後のトップページのHTMLリソースのレスポンスヘッダ。 Connection と Content-Type の間に Content-Encoding: gzip が追加されたことが確認できました。

表示速度は気持ち速くなったかな、くらいですが、転送容量を見ると gzip圧縮は効いていることが確認できました。

ちなみに、 gzip圧縮の設定をすると転送量は小さくなりますがその分サーバ側で処理をするため、容量の大きなファイルや元々圧縮されているファイルを圧縮すると余計な負荷がかかって逆効果なことも考えられます。

そのため、MIMEタイプの設定で画像ファイル等は除外しています。

余談

余談1

今回の gzip圧縮の設定ファイルの置き場所について conf.d/ か conf.modules.d/ か迷ったのですが、 conf.modules.d/README を読むと

# less conf.modules.d/README

This directory holds configuration files for the Apache HTTP Server;
any files in this directory which have the ".conf" extension will be
processed as httpd configuration files.  This directory contains
configuration fragments necessary only to load modules.
Administrators should use the directory "/etc/httpd/conf.d" to modify
the configuration of httpd, or any modules.

Files are processed in sorted order and should have a two digit
numeric prefix.  See httpd.conf(5) for more information.

ということで、 conf.d/ にしました。

余談2

上記の README に記載がありますが、 conf.modules.d/ の .conf ファイルは 00-base.conf や 01-cgi.conf, 15-php.conf というように数字2桁のプレフィックスが付いています。

Files are processed in sorted order and should have a two digit numeric prefix.

このプレフィックスは数字で順番がソートされ、 .confファイルが読み込まれる順番が決まる。(そのソートのルールを保つため)プレフィックスは2桁にすべき、ということのようです。

ソート順を保つためであって、 01 や 15 の数字そのものに意味はなさそうな気がしました。

何故ここを気にしたかと言うと、最初は conf.modules.d/ に gzip圧縮の設定ファイルを置こうとしていて、かつ deflate が元々は「空気を抜く、しぼませる」という意味なので気体にあやかって 22.4l で 224-deflate.conf という名前にしようかと思ったためです( README を読んで止めましたが)。

余談3

.confファイルを読み込むのに、 httpd.conf の中で Include と IncludeOptional の2つのディレクティブが既述されていたのでメモ。

これらの違いは「IncludeOptional は指定されたファイルやディレクトリが存在しない場合でもエラーが発生しない」という点のようです。

参考

gzip圧縮

MIMEタイプ

よくある MIME タイプ - HTTP | MDN

Include と IncludeOptional

vsftpd と Apache の設定を削除しLinuxユーザも削除する

2020-12-24T00:28:56+09:00

以前取り上げたAnsible を使って FTPユーザの作成と Apache の仮想サイトの設定をするの逆方向バージョンです。

つまり、

Linuxユーザを削除
上記ユーザを vsftpdユーザからも削除
Apache の仮想サイトの設定と該当ディレクトリのデータを全て削除

を行うタスクを作ろう、と考えました。

これは、上記のプレイブックを一時的なテスト環境として作った後、削除することも往々にしてあり、手動で削除するのが面倒になってきたからです。

前提

テストに利用するサーバは前の記事と同じサーバで、該当プレイブックによって vsftpd や Apache が設定されている、という状況を想定しています。

設定

ディレクトリ階層

PROJECT_ROOT/
  ├ workspace/
  │    ├ entrypoint.sh
  │    └ ansible/
  │         ├ (諸々元のプレイブックと同じ構造)
  │         ├ main.yml                      // Ansible の設定用 playbook
  │         └ resset.yml                    // 今回追加した削除用タスク
  │
  ├ docker-compose.yml
  └ Dockerfile

ほぼ前の記事の通り、というか同じプロジェクトをそのまま流用しています。元々の意図が設定用プレイブックに対して設定を元に戻すためのものなので、同じ場所にあった方が都合は良いと考えました。

ただ、リセットするためのタスクは設定用タスクほど複雑ではないのでタスクを分割せずに1つのファイルに既述することにしました。

ansible/vars/param_vars.yml

username: USERNAME
password: Password1234
rootdirectory: sample_site
domain: www.sample.jp
ipaddress: 192.0.2.1
portnum: 80

上記ディレクトリ構造より、設定用のプレイブックに使用する変数ファイルがあるため、これをそのまま流用します。

ansible/resset.yml

- name: Remove vsftpd and httpd settings

  become: yes
  become_user: ADMIN_USER
  become_method: su

  hosts:
    - add_vhost_servers

  vars_files: ./vars/param_vars.yml

  tasks:
    - name: Remove user
      user:
        name: "{{ username }}"
        state: absent
        remove: yes
    - name: Remove user in vsftpd user_list
      blockinfile:
        path: /etc/vsftpd/user_list
        create: yes
        insertafter: EOF
        marker: "# {mark} ANSIBLE basic setup: {{ username }}"
        block: ""
    - name: Remove user_conf file
      file:
        path: "/etc/vsftpd/user_conf/{{ username }}"
        state: absent
    - name: Restart vsftpd
      systemd:
        name: vsftpd.service
        state: restarted
        daemon_reload: yes
    - name: Remove Apache virtual site data
      file:
        path: "/var/www/{{ rootdirectory }}"
        state: absent
    - name: Remove Apache conffile
      file:
        path: "/etc/httpd/conf.d/{{ rootdirectory }}.conf"
        state: absent
    - name: Restart httpd
      systemd:
        name: httpd.service
        state: reloaded
        daemon_reload: yes

今回のメイン。削除用のタスクです。

やっていることは冒頭で記した通り。

動作確認

削除用プレイブックを走らせる前

# less /etc/passwd

## 略

USERNAME:x:

設定用プレイブックで追加されたユーザがいることを確認。

# less /etc/vsftpd/user_list

## 略

# BEGIN ANSIBLE basic setup: USERNAME
USERNAME
# END ANSIBLE basic setup: USERNAME

ここにも。

# ls -al /etc/vsftpd/user_conf/
合計 4
drwxrwxr-x 2 ADMIN_USER ADMIN_USER  23 MM月 DD hh:ii .
drwxr-xr-x 3 ADMIN_USER ADMIN_USER 150 MM月 DD hh:ii ..
-rw-rw-r-- 1 ADMIN_USER ADMIN_USER 107 MM月 DD hh:ii USERNAME

# less /etc/vsftpd/user_conf/USERNAME

# BEGIN ANSIBLE basic setup: USERNAME
local_root=/var/www/sample_site
# END ANSIBLE basic setup: USERNAME

ここにも。

# ls -al /var/www/
合計 4
drwxr-xr-x   5 ADMIN_USER ADMIN_USER   51 MM月 DD hh:ii .
drwxr-xr-x. 22 ADMIN_USER ADMIN_USER 4096 MM月 DD hh:ii ..
drwxr-xr-x   2 ADMIN_USER ADMIN_USER    6 MM月 DD hh:ii cgi-bin
drwxr-xr-x   3 ADMIN_USER ADMIN_USER   35 MM月 DD hh:ii html
drwxr-xr-x   3 ADMIN_USER ADMIN_USER   17 MM月 DD hh:ii sample_site

# ls -al /etc/httpd/conf.d/
合計 36
drwxr-xr-x 2 ADMIN_USER ADMIN_USER  137 MM月 DD hh:ii .
drwxr-xr-x 5 ADMIN_USER ADMIN_USER   92 MM月 DD hh:ii ..
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  366 MM月 DD hh:ii README
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 2926 MM月 DD hh:ii autoindex.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii php.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 9443 MM月 DD hh:ii ssl.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii userdir.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  824 MM月 DD hh:ii welcome.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  439 MM月 DD hh:ii sample_site.conf

# less /etc/httpd/conf.d/sample_site.conf


DocumentRoot "/var/www/sample_site/web"
ServerName www.sample_site.jp
ServerAlias sample_site.jp
ScriptAlias /cgi-bin/ /var/www/sample_site/web/cgi-bin/
RewriteEngine on
RewriteCond %{HTTP_HOST} ^sample_site\.jp$
RewriteRule ^(.*)$       http://www.sample_site.jp$1 [R=301,L]

allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

Apache 側にも仮想サイトの設定があり、仮想サイト用のディレクトリが切られていることを確認。

FTPでログインしたり、 hosts で名前解決して仮想サイトにアクセスできることを確認。

一通りプレイブックの設定通りです。

削除用プレイブックを走らせる

Dry run

# ansible-playbook -i /workspace/ansible/targets/hosts /workspace/ansible/reset.yml -u SSH_REMOTEUSER --private-key="/root/.ssh/PRIVATE_KEY" -K --check
BECOME password: 

PLAY [Remove vsftpd and httpd settings] ***************************************************************************
TASK [Gathering Facts] ********************************************************************************************ok: [192.0.2.1]

TASK [Remove user] ************************************************************************************************changed: [192.0.2.1]

TASK [Remove user in vsftpd user_list] ****************************************************************************changed: [192.0.2.1]

TASK [Remove user_conf file] **************************************************************************************changed: [192.0.2.1]

TASK [Restart vsftpd] *********************************************************************************************changed: [192.0.2.1]

TASK [Remove Apache virtual site data] ****************************************************************************changed: [192.0.2.1]

TASK [Remove Apache conffile] *************************************************************************************changed: [192.0.2.1]

TASK [Restart httpd] **********************************************************************************************changed: [192.0.2.1]

PLAY RECAP ********************************************************************************************************192.0.2.1                 : ok=8    changed=7    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

まずは Dry run でエラーが出ないことを確認。大丈夫そうです。

本番

# ansible-playbook -i /workspace/ansible/targets/hosts /workspace/ansible/reset.yml -u SSH_REMOTEUSER --private-key="/root/.ssh/PRIVATE_KEY" -K        
BECOME password: 

PLAY [Remove vsftpd and httpd settings] ***************************************************************************
TASK [Gathering Facts] ********************************************************************************************ok: [192.0.2.1]

TASK [Remove user] ************************************************************************************************changed: [192.0.2.1]

TASK [Remove user in vsftpd user_list] ****************************************************************************changed: [192.0.2.1]

TASK [Remove user_conf file] **************************************************************************************changed: [192.0.2.1]

TASK [Restart vsftpd] *********************************************************************************************changed: [192.0.2.1]

TASK [Remove Apache virtual site data] ****************************************************************************changed: [192.0.2.1]

TASK [Remove Apache conffile] *************************************************************************************changed: [192.0.2.1]

TASK [Restart httpd] **********************************************************************************************changed: [192.0.2.1]

PLAY RECAP ********************************************************************************************************192.0.2.1                 : ok=8    changed=7    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

続いて本番実行。完了しました。

削除用プレイブックを走らせた後

それでは、念のため確認していきたいと思います。

# less /etc/passwd

設定したユーザが消えていることを確認。

# ls -al /etc/vsftpd/user_conf/
合計 0
drwxrwxr-x 2 ADMIN_USER ADMIN_USER   6 MM月 DD hh:ii .
drwxr-xr-x 3 ADMIN_USER ADMIN_USER 150 MM月 DD hh:ii ..

# less /etc/vsftpd/user_list

## 略

nobody

vsftpd の設定も消えています。OK。

# ls -al /var/www/
合計 4
drwxr-xr-x   4 ADMIN_USER ADMIN_USER   33 MM月 DD hh:ii .
drwxr-xr-x. 22 ADMIN_USER ADMIN_USER 4096 MM月 DD hh:ii ..
drwxr-xr-x   2 ADMIN_USER ADMIN_USER    6 MM月 DD hh:ii cgi-bin
drwxr-xr-x   3 ADMIN_USER ADMIN_USER   35 MM月 DD hh:ii html

# ls -al /etc/httpd/conf.d/
合計 32
drwxr-xr-x 2 ADMIN_USER ADMIN_USER  114 MM月 DD hh:ii .
drwxr-xr-x 5 ADMIN_USER ADMIN_USER   92 MM月 DD hh:ii ..
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  366 MM月 DD hh:ii README
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 2926 MM月 DD hh:ii autoindex.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii php.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 9443 MM月 DD hh:ii ssl.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii userdir.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  824 MM月 DD hh:ii welcome.conf

仮想サイトのディレクトリは丸ごと消えて、設定ファイルも消えました。OKです。

当然、FTPでログインできなくなっていますし、ブラウザでアクセスすると仮想サイトが消えたので代理の仮想サイトが応答してきました。OKです。

以上より、一通り意図通りの動作になったことを確認できました。

参考

Ansible

ユーザ削除

ファイル削除

参考

Linuxコマンド

userdelコマンドについて詳しくまとめました【Linuxコマンド集】

CentOS7にWebサーバをインストールしよう

2020-12-07T15:32:40+09:00

CentOS7に WEB サーバ (apache) をインストールし、テストWEBページを公開してみよう

インストール手順

Apache（web サーバソフト）をインストールする

$ sudo yum -y install httpd

Apache(web サーバソフト)を起動する

$ sudo systemctl start httpd

Apache(web サーバソフト)の起動状態を確認する

$ sudo systemctl status httpd

出力結果にActive: active (running) が表示されていれば、正常に起動しています

Ansible を使って FTPユーザの作成と Apache の仮想サイトの設定をする

2020-12-04T00:13:51+09:00

Ansible を使って設定を行う例として、 Linuxユーザを作成してFTPユーザとし、 Apache の仮想サイトを作成する部分をやってみたいと思います。

前提

対象サーバの LAMP はCentOS7.5 + Apache + PHP + MySQL サーバを構築し、WordPressサイトを引っ越す(2018/11/20)のうち

1.初期設定～ 4.リポジトリ追加
5.vsftpd のうち
- 5.1.インストール, 5.2.設定
6.Apache ～ 11.Webmin
12.Apache仮想サイトのうち
- 12.1.ダミーサイトの作成
16.SSH

が既に設定済みの状態のサーバとします(13.Let’s Encrypt ～ 15.WP-CLI は対象外)。

また、今回 Ansible で設定するのは

5.vsftpd のうち
- 5.3.ユーザ設定
- 5.4.ユーザ作成・設定
12.Apache仮想サイトのうち
- 12.2. 仮想サイト作成

の部分を想定しています。

設定

ディレクトリ階層

PROJECT_ROOT/
  ├ workspace/                              // データ永続化領域
  │    ├ entrypoint.sh                      // Dockerコンテナ起動時に実行するシェルスクリプト
  │    └ ansible/                           // Ansible 用ディレクトリ
  │         ├ targets/                      // リモートホストの情報を収めるディレクトリ
  │         │    └ hosts                    // リモートサーバの一覧 (今回は1つのみ)
  │         │
  │         ├ tasks/                        // Ansible のタスクを収めるディレクトリ
  │         │    ├ add_user.yml             // Linuxユーザの作成
  │         │    ├ vsftpd_user_settings.yml // vsftpd の設定
  │         │    └ apache_settings.yml      // Apache 仮想サイトの設定
  │         │
  │         ├ templates/                    // Apache 仮想サイト設定のテンプレートを収めるディレクトリ
  │         │    └ vhost.conf.j2            // Apache 仮想サイト設定のテンプレート
  │         │
  │         ├ vars/                         // 各種パラメータ変数の設定を収めるディレクトリ
  │         │    └ param_vars.yml           // 各種パラメータ変数
  │         │
  │         └ main.yml                      // Ansible の playbook
  │
  ├ docker-compose.yml                      // Docker Compose 設定ファイル
  └ Dockerfile                              // Dockerfile

Ansibleコントロールノードを Dockerコンテナでビルドし、リモートサーバに公開鍵認証でSSH接続してインストール済みのパッケージの一覧を取得するまでやAnsible を使って yum update を実行するの記事の構造をベースにカスタマイズ。

arm-band/philotic_moby_test at yum_update

一揃いを Github に置きました。

Dockerfile, docker-compose.yml, entrypoint.sh. ansible/targets/hosts

この辺りはそのまま。 ansible/targets/hosts はグループ名を変更していますが、対となる ansible/main.yml の hosts の指定を変えれば良いだけなので些事。

ansible/vars/param_vars.yml

username: USERNAME
password: Password1234
rootdirectory: sample_site
domain: www.sample.jp
ipaddress: 192.0.2.1
portnum: 80

まずは今回の新顔の変数から。当初は末尾の「備考1: コマンドライン引数を変数に代入する」のように引数でコマンドラインから直接渡すことを考えていましたが、上記の通り6つもあるとそれだけでコマンドが長くなってしまい可読性が下がるので最終的に止めました。

代わりに変数を1つのファイルにまとめて、コマンド自体の長さは変わらないように調整しました。

この場合、以下の ansible/main.yml で触れますが vars_files: ./vars/param_vars.yml という一行で変数ファイルの読み込みができ、かつそれ以降は vars キーで変数としてそのまま使用できるので導入はわりとすんなり行きました。

ansible/main.yml

- name: Settings vsftpd and httpd

  become: yes
  become_user: ADMIN_USER
  become_method: su

  hosts:
    - add_vhost_servers

  vars_files: ./vars/param_vars.yml

  tasks:
    - name: Add Linux User
      include_tasks: ./tasks/add_user.yml
      vars:
        user: "{{ username }}"
        passwd: "{{ password }}"
    - name: Settings vsftpd user_list and user_conf
      include_tasks: ./tasks/vsftpd_user_settings.yml
      vars:
        user: "{{ username }}"
        directory: "{{ rootdirectory }}"
    - name: Setup Apache conffile
      include_tasks: ./tasks/apache_settings.yml
      vars:
        directory: "{{ rootdirectory }}"
        url: "{{ domain }}"
        ip: "{{ ipaddress }}"
        portnumber: "{{ portnum }}"

タスクのメイン部分。基本は前回と同様で、 tasks で指定する各種タスクが置き換わった形です。変数については上記の通り。

ansible/tasks/add_user.yml

- name: Add user, setting password and groups
  user:
    name: "{{ username }}"
    password: "{{ password | password_hash('sha512') }}"
    groups: apache
    append: yes

ansible/main.yml から渡ってきた各変数が使用される(ここでは username, password)、という形です。

一点注意なのはパスワードはそのままだと平文で保存されてしまいますが、実際に認証する際はハッシュ値に変換されるので不一致となってしまいます。そこで、保存時にハッシュ値に変換するように password_hash('sha512') を噛ませています。

ansible/tasks/vsftpd_user_settings.yml

- name: Settings vsftpd user_list
  blockinfile:
    path: /etc/vsftpd/user_list
    create: yes
    insertafter: EOF
    marker: "# {mark} ANSIBLE basic setup: {{ username }}"
    block: "{{ username }}"
- name: Settings vsftpd user_conf
  blockinfile:
    path: "/etc/vsftpd/user_conf/{{ username }}"
    create: yes
    insertafter: EOF
    marker: "# {mark} ANSIBLE basic setup: {{ username }}"
    block: "local_root=/var/www/{{ rootdirectory }}"
- name: Restart vsftpd
  systemd:
    name: vsftpd.service
    state: restarted
    daemon_reload: yes

次は vsftpd の設定。 user_list にユーザとして登録し、 user_conf ディレクトリの下にユーザ名のファイルを作成、そこに local_root の指定を記述する、という内容です。

ここでも一点注意。

設定ファイルへの書き込みとして blockinfile を使用しているのですが、 marker の値がユニークでないと、 loop で繰り返し処理をしたり、今回のケースだと異なる仮想サイトの設定を行ったり(Ansible を2回実行する)した場合に後勝ちで上書きされてしまうこと。

今回のケースでは user_list に2回目の変数のユーザしか残らなくなってしまいます。そのため、 marker の最後にユーザ名を混ぜることでコメント文が実行の度にユニークとなるようにしました。

ansible/tasks/apache_settings.yml

- name: mkdir root
  file:
    path: "/var/www/{{ rootdirectory }}"
    state: directory
    owner: ADMIN_USER
    group: ADMIN_USER
    mode: 0755
    recurse: no
- name: mkdir web
  file:
    path: "/var/www/{{ rootdirectory }}/web"
    state: directory
    owner: apache
    group: apache
    mode: 0775
    recurse: no
- name: Setup Apache conffile
  template:
    src: ../templates/vhost.conf.j2
    dest: "/etc/httpd/conf.d/{{ rootdirectory }}.conf"
    mode: '0644'
- name: Restart httpd
  systemd:
    name: httpd.service
    state: reloaded
    daemon_reload: yes

続いて Apache 仮想サイトの設定。ディレクトリを作ったり権限・所有者設定したり。

最後の Setup Apache conffile の処理では jinja2 のテンプレートから仮想サイト用の conf ファイルを作成しています。

ansible/templates/vhost.conf.j2

{{ ipaddress }}:{{ portnum }}>
DocumentRoot "/var/www/{{ rootdirectory }}/web"
ServerName {{ domain }}
{% if domain | regex_search("^www\.", ignorecase=True) %}
ServerAlias {{ domain | regex_replace("^www\.(.*)$", '\\1') }}
{% endif %}
ScriptAlias /cgi-bin/ /var/www/{{ rootdirectory }}/web/cgi-bin/
{% if domain | regex_search("^www\.", ignorecase=True) %}
RewriteEngine on
RewriteCond %{HTTP_HOST} {{ domain | regex_replace("^www\.(.*)$", '^\\1$') | regex_replace("\.", '\.') }}
RewriteRule ^(.*)$       http://{{ domain }}$1 [R=301,L]
{% endif %}
{{ rootdirectory }}/web">
allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

大体設定ファイルの内容ですが、各種変数を使用しています。

また、ドメイン(変数 domain )が www. 始まりの場合はサーバ名を www.example.jp のように www. 付きとし、同時に ServerAlias で example.jp と www. なしもフォローするような条件分岐(if, regex_search)を挟みました。

併せて、 www. なしのURLにアクセスした場合に www. ありにリダイレクトする設定も、変数 domain を正規表現置換(regex_replace)で一括で入れるようにしました。

例えば、 domain: www.example.jp とした場合は以下のような設定ファイルが作成されます。


DocumentRoot "/var/www/example/web"
ServerName www.example.jp
ServerAlias example.jp
ScriptAlias /cgi-bin/ /var/www/example/web/cgi-bin/
RewriteEngine on
RewriteCond %{HTTP_HOST} ^example\.jp$
RewriteRule ^(.*)$       http://www.example.jp$1 [R=301,L]

allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

一方、 domain: form.example.jp のようなケースだと以下。


DocumentRoot "/var/www/form_example/web"
ServerName form.example.jp
ScriptAlias /cgi-bin/ /var/www/form_example/web/cgi-bin/

allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

上記の通り、 ServerAlias と Rewrite 系がありません。

動作確認

以上のような構成で動作検証。

# ansible-playbook -i /workspace/ansible/targets/hosts /workspace/ansible/main.yml -u SSH_REMOTEUSER --private-key="/root/.ssh/PRIVATE_KEY" -K
BECOME password: 

PLAY [Settings vsftpd and httpd] **********************************************************************************
TASK [Gathering Facts] ********************************************************************************************ok: [192.0.2.1]

TASK [Add Linux User] *********************************************************************************************included: /workspace/ansible/tasks/add_user.yml for 192.0.2.1

TASK [Add user, setting password and groups] **********************************************************************changed: [192.0.2.1]

TASK [Settings vsftpd user_list and user_conf] ********************************************************************included: /workspace/ansible/tasks/vsftpd_user_settings.yml for 192.0.2.1

TASK [Settings vsftpd user_list] **********************************************************************************changed: [192.0.2.1]

TASK [Settings vsftpd user_conf] **********************************************************************************changed: [192.0.2.1]

TASK [Restart vsftpd] *********************************************************************************************changed: [192.0.2.1]

TASK [Setup Apache conffile] **************************************************************************************included: /workspace/ansible/tasks/apache_settings.yml for 192.0.2.1

TASK [mkdir root] *************************************************************************************************changed: [192.0.2.1]

TASK [mkdir web] **************************************************************************************************changed: [192.0.2.1]

TASK [Setup Apache conffile] **************************************************************************************changed: [192.0.2.1]

TASK [Restart httpd] **********************************************************************************************changed: [192.0.2.1]

PLAY RECAP ********************************************************************************************************192.0.2.1                 : ok=12   changed=8    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

OKです。

仮想サイトにアクセスして Apache のデフォルトページが表示される、FTPでログインできる、ファイルアップロードなどの操作ができる、といった動作を一通りできることを確認できました。

備考1: コマンドライン引数を変数に代入する

例えば、以下のような main.yml を用意します。

- name: Get packages from hosts and do yum update

  become: yes
  become_user: ADMIN_USER
  become_method: su

  hosts:
    - update_servers

  tasks:
    - name: Get packages from hosts before update
      include_tasks: ./tasks/get_packages.yml
    - name: Output packages from hosts before update
      include_tasks: ./tasks/output_packages.yml
      vars:
        flag: "{{ before }}"
    - name: Do yum update
      include_tasks: ./tasks/yum_update.yml
    - name: Get packages from hosts after update
      include_tasks: ./tasks/get_packages.yml
    - name: Output packages from hosts after update
      include_tasks: ./tasks/output_packages.yml
      vars:
        flag: "{{ after }}"

Ansible を使って yum update を実行するの main.yml のうち、 vars の部分を少し編集したものです。

これで以下のように playbook を実行。

# ansible-playbook -i /workspace/ansible/targets/hosts /workspace/ansible/main.yml -u SSH_REMOTEUSER --private-key="/root/.ssh/PRIVATE_KEY" -K -e "before=before2 after=after22"

すると、 workspace/192.0.2.1_packages_before2 と workspace/192.0.2.1_packages_after22 が生成され、コマンドラインの引数が変数として使用されたことが分かりました。

当初はこれの延長線を考えていましたが、冒頭の通り6つも引数があると長くなってしまうので最終的には不採用としました。

ただし、これはこれで引数の使い方として参考になりそうなのでメモとして残しておきます。

参考

Ansible

引数、変数

変数

Ansible: vars_files を使用した loop処理 - Qiita

vars_files を採用。

ユーザ作成

パスワード

Facts

Ansible：Factsについて（Ansible 2.9.6） | matsublog

設定に追記

blockfile

blockinfile モジュール-φ(.. ) のメモ

複数のテキストブロックを追加する場合、マーカーラインをユニークにしないとテキストブロックが上書きされる

marker の文字列はユニークになるようにすること。

systemd

ディレクトリ作成

httpd

Role を使ったAnsibleのチュートリアル | Developers.IO

jinja2, if

Ansible の Template 機能の紹介 - Qiita

jinja2, regrex

usermod

【 usermod 】コマンド――ユーザーアカウントの情報を変更する：Linux基本コマンドTips（73） - ＠IT

【Apache Laravel Vue.js Vuetify】webアプリをスマホに対応させるためにやったこと

2020-11-10T18:19:54+09:00

Apache＋Laravel＋Vue.js＋Vuetify　で作った社内ツールをスマホ対応したときに行った作業内容メモ。
~~ほんとにiosが嫌いになりそうだった~~

対応ブラウザは、

chrome(PC, Android, ios)
safari(ios)

まずはiPhone、Androidのデバッグが出来るように準備する

それぞれの端末を持っていれば、PCに繋いでデバッグができる！なんて素晴らしい。
iosはiPhone以外にもiPad、iPod touch　でも問題なし。
それぞれ以下を参考に。

Android:https://qiita.com/hojishi/items/12b726f8b02ef3d713e4
ios：https://webkatu.com/archives/ios-safari-debug-on-windows/

Polyfillを入れる

Vuetifyの公式ドキュメントに則って入れればOK。

npm install babel-polyfill --save
npm install @babel/preset-env --save

インストール後、
import Vue from 'vue' とか
import vuetify from '@/plugins/vuetify
を書いているファイルに、
import 'babel-polyfill' を追加。
（自分の場合は /resources/assets/js/app.js）

ルートディレクトリの .babelrcに、

 {
  "presets": ["@babel/preset-env"]
}

対応していないjsを地道に直す

特に問題なければ、↑を行えば画面は表示されるはず…と思っていたのだが、画面が真っ白だった。

エラーを調べると、どうやら正規表現で後読みを使っているのが原因みたいだったので、該当箇所を修正。
（safariは後読みに対応していない）

※書いている最中に気づいたけど、それってつまりうまくPolyfillが使えていなかったのでは…？？

「Error: Network Error　POST 応答を解析できません」を直す

iosのみ起きる謎現象。これに2日かかった…
自分は、Apacheの設定を変更で直った。


    AllowOverride All
    # Allow open access:
    Header unset Upgrade       ←これを追加

とりあえずここまでで画面が開けるようになりました。
以降は細かい部分です。

スクロールを入れたくないのにスマホだと入ってしまう

webアプリ全体にスクロールを入れたくない場合、bodyにheight:100%とか入れればPCでは大丈夫だったりしたんですが、
スマホだとどうにも謎のスクロールが入ってしまうので、以下のように対応。

…

※jsでhtmlのところにstyleを指定する方法がわからなかったのでid属性を無理やり、、、

const windowHeight = window.innerHeight;   // windowの高さを取得

// の高さを、windowsの高さいっぱいに設定
document.getElementById("content").style.height = windowHeight + "px";
// bodyはheight:100%
document.body.style.height = "100%";

// スクロールバー非表示
// スマホのときはbodyに、PCのときはhtmlにかけないと反映されないっぽいので分ける

const isSP = /iPhone|iPod|iPad|Android/i.test(navigator.userAgent);     
if (isSP) {             
    document.body.style.overflowY = "hidden";
} else {
    document.getElementById("content").style.overflowY = "hidden";
}

…無理矢理感半端ないけど、ひとまずこれでPCでもスマホでも画面いっぱいでコンテンツが収まるようになった。

iosだけ、キーボードのenterでボタンクリック判定されてしまう

PCやAndroidでは大丈夫なのに、iosだけ起きる謎現象。
改行する度にボタンが押されて送信されるという、、、、

※単純にv-formのsubmitイベントが発火してしまっている場合は、こちらを参考に。

根本的な原因はわからなかったため、
入力文字が空欄・改行のみの場合は、ボタンクリックで呼ばれる処理が走らないようにした。


送信


data: () => ({
    inputText: "",      
}),

computed: {
    /**
     * 空文字判定
     */
    isTextEmpty() {
         return !this.inputText || !this.inputText.match(/\S/g);
    },
},

methods: {
    submit() {
        if (this.isTextEmpty) return;

        // 以下送信処理
    }
}

iosだけファイルアップロードができない

ファイル選択のダイアルボックスを開く→ファイルを選択→アップロード
という流れのとき、iosだけダイアルボックスが開かないという謎現象。
エラーも出ない…

調べてみたら、どうやらinput.onchangeが動いていないようだった。

function uplod() {
    return new Promise(resolve => {
        const input = document.createElement('input');
        input.type = "file";
        input.multiple = false;
        input.accept = "image/gif,image/jpeg,image/png";
        input.onchange = event => {
            var file = event.target.files[0];
                resolve(file);                    
            };
            input.click();
        });
}

ios以外は↑でも動いたが、どうやらiosではちゃんと要素をDOMに追加してあげないといけないらしい。
参考：https://stackoverflow.com/questions/47664777/javascript-file-input-onchange-not-working-ios-safari-only

というわけで、以下のように修正

function uplod() {
    return new Promise(resolve => {
        const input = document.createElement('input');
        input.type = 'file';
        input.multiple = false;
        input.accept = "image/gif,image/jpeg,image/png";
        document.body.appendChild(input);     // ←DOMに追加
        input.onchange = event => {
            var file = event.target.files[0];
            document.body.removeChild(input);     // ←DOMから削除
            resolve(file);
        };
        input.click();
    });
}

iosだけ画像が縦に伸びる時

これは別記事にもメモしてあるが、
display:flex;を指定している箇所に、align-items: flex-start;を追記するだけ。
参考：https://nichiyogogo.com/image-looks-stretched/

iosだけ、heightを指定した要素内の「overflow-y: visible scroll;」が効かない

これもiosの一部で起きる現象。
safariのバージョンの問題かもしれない。

ますはここを参考に修正。
自分はこのときにも頑なにoverflow-y: visible scrolと書き続けていたら直らず、
素直に overflow-y:auto; にするだけで解決…。

おわり

ほとんどios対応ですね。
Androidはグリッドをちゃんと設定して、表示崩れしないようにだけしてあげれば殆ど動きました。
マジでiosとsafariが嫌いになりそうだった…。

PHPで爆速APIを作るとき工夫したこと

2019-07-25T03:03:37+09:00

「サーモンランAPI」という配信専用のAPIです。
https://splamp.info/salmon/api/

任天堂ソフト「Splatoon2」のサーモンランの最新情報を取得できます。

爆速のために

Apacheサーバー上で、JSONデータを静的ファイルとして配信しています。

これまでスプランプ（※うちのサイト）では「スプステージ2」という名前でバトルステージの情報を返すAPIを運用してきたのですが、こちらはオプションの充実のために、PHPファイルにアクセスさせる動的な仕組みでした。

今回静的ファイルにした理由です。

オプションを付けないほうがシンプル
… タイムゾーンなどの混乱の解消のため、時間データはUnixtimeだけにしました。言語も日英同時に配信することにしました。
サーバー負荷が激減する
… 毎回DBにアクセスしたりせずに済むのでレスポンス速度が向上します。
クライアントでキャッシュが有効になる
… ヘッダのLast-ModifiedやE-tagにより、クライアントでキャッシュが有効になります。

仕組み

APIのアクセス先は一見「/salmon/api/now」や「/salmon/api/all」のように見えますが、実は.htaccessで「/salmon/api/」の別の子フォルダにあるJSONファイルにリライトしています。
例：

RewriteEngine On
RewriteRule ^all$ xxx.xxx [L]

また、JSONファイルは更新用プログラムによって、定期的に新しいファイルに上書きされます。

更新用プログラムはcronで定期的に更新すべきかチェックしていて、更新があるとDBからデータを取得・整形して、出力します。

JSONは何となく可読性を高めたくなったので、インデントを付けたり無意味なエスケープを消したりしてみました。

$json = json_encode($output, JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE);

ヘッダ問題

今回一番欠かせなかったのはヘッダの付与でした。

毎アクセス動的生成していた頃はPHPのheader()なんかを使っていたのですが、今回は静的ファイルですから、Apacheの力を借りる他ありません。

Apacheでは、.htaccessを使うと配下のファイルに対して指定したヘッダを付与することができます。

Header set (ヘッダ名) "(値)"

今回加えたヘッダは以下の二つです。

Header set Access-Control-Allow-Origin "*"
Header set Content-Type "application/json; charset=utf-8"

Content-Typeでは、文字化けしたりしないようにUTF-8を明示しています。

Access-Control-Allow-Originというのは見たことない人もいるのではないでしょうか。これは、JavaScriptにおいてクロスオリジンでアクセスしてもよいかの指定になります。

これをサーバーが明示的に許可しないとjsがアクセスすることはできません。jsでオープンなAPIが使えないなんてもったいない。*を指定することで誰でもアクセスできるようになります。(CORS / Cross-Origin Resource Sharingの許可、と呼ばれたりします。)

まとめ

サーバー上でキャッシュ（静的ファイル）を生成した
.htaccessでヘッダを指定した
Access-Control-Allow-Originの指定でjs勢にも利用してもらえる

感想

JavaScriptからのアクセス許可については、実際にjs勢の方から問い合わせがあって初めて気づきました。意外と見落としている方は多いんじゃないでしょうか。

個人的な信条として「サーバーサイドの魔法」というのがあります。サーバーサイドは制約が少なく、予想外のことができるということです。Apacheの設定ファイル.htaccessは特にその幅を広げてくれるので気に入っています。
他にも色々な機能があるので、調べてみると面白いと思います。
.htaccess の書き方 | murashun.jp

サーモンランAPIの他の記事

サーモンランAPIについて
https://splamp.info/salmon/api/

サーモンランAPIサンプル集（連載）
https://crieit.net/magazines/barley_ural/サーモンランAPIサンプル集

PHPで新しいプロセスに処理を引き継ぐ方法

2019-07-23T04:30:25+09:00

動機

PHPで無限ループ処理をしたかったのですが、サーバーの都合上5分でプロセスがタイムアウトしてしまうので、PHPからコマンドを呼び出して、新しくPHPプロセスを立てて処理を引き継ぐことにしました。

方法

PHPで外部コマンドを実行するには、exec()を使います。

ところで、PHPがインストールされているOSで/home/example.phpを実行するなら、次のようなコマンドを打ちますよね。

php /home/example.php

( ˘ω˘) ｡ｏ(つまりこうすれば…)

exec('php /home/example.php');

残念！！

ねえプロセス殺せないんだけどなんで？？？？？？
— ウラル (@barley_ural) July 20, 2019

処理中のプロセスを見ると、大量のPHPが。そして、手元には大量のエラー通知メールが…。

ここで、exec()のPHPリファレンスをもう一度よく見てみましょう。

注意:

プログラムがこの関数で始まる場合、バックグラウンドで処理を続けさせるには、プログラムの出力をファイルや別の出力ストリームにリダイレクトする必要があります。そうしないと、プログラムが実行を終えるまで PHP はハングしてしまいます。

https://www.php.net/manual/ja/function.exec.php

つまりexec()からコマンドを実行すると、子プロセスの出力があるまでこのPHPはkillされないということです。これは、exec()が返り値を待っているためでしょう。

しかし厄介なのは、この待機中のプロセスは子プロセスが終了しない限り、あらゆるタイムアウト処理を無視する点です。いつまでもプロセスに残り続け、メモリを食い続けるのです。

これを防ぐためには、以下のようにします。

exec('php /home/example.php > /dev/null &');

>を使うと、左側（ここではphp /home/example.php）の出力を右側（ここでは/dev/null）にリダイレクトします。

/dev/nullは虚無を表すスペシャルファイルで、ここを出力先に指定すると、その出力は破棄されます。

&はコマンドの後ろに付けることで、バックグラウンド実行を示します。これにより、非同期でその処理を扱うことができます。

まとめ

PHPで新しいプロセスを立ててバックグラウンド実行するには次のコマンドを使います。

exec('php /home/example.php > /dev/null &');

重たい処理だけバックグラウンドに逃がしたいときにも使えそうです。

参考

Linuxコマンド(Bash)でバックグラウンド実行する方法のまとめメモ

【php】 exec()関数などでバックグラウンドでコマンドを実行するとき

apacheのconfigtestは"Syntax OK"でもエラー扱い

2019-07-12T19:35:42+09:00

最初に。ごめんなさい

タイトル盛りました。
正確には、
apacheのconfigtestは"Syntax OK" を標準エラー出力する。戻り値はちゃんと0が返る。
です。

調べてもあまり情報出てこなかったし、誰も気にしていないんだろうけど。

確認したバージョン

Server version: Apache/2.2.34 (Unix)

Server version: Apache/2.4.33 (Unix)

経緯

定期的に（結構な頻度で）apacheのエイリアスを増やさなきゃいけない不思議な環境がありまして。
いい加減、手作業がダルいので、シェルで自動化しようと考えまして。

# 色々処理をごにょごにょ
doSomething1
doSomething2
doSomething...

service httpd configtest >> logfile
RET=$?
echo $RET >> logfile
if [ ${RET} = 0 ]; then
    service httpd graceful
fi

（今、そらで書いたのでだいぶ怪しい）

で、動かして見たらconfigtestのところがログになかった。
あれ???ってなって、構文ミスったかな？　とか、いろいろ見直した。
最終的にやっと気が付いて、

# 色々処理をごにょごにょ
doSomething
doSomething2
doSomething...

service httpd configtest >> logfile 2>&1
RET=$?
echo $RET >> logfile
if [ ${RET} = 0 ]; then
    service httpd graceful
fi

これでちゃんとログに出た。

ちょっと待って

Q. これってapacheの仕様うんぬんの前に……。
A. はい。何らかのエラー出力があった場合もログに出ないので、最初のプログラムはただの僕が作ったバグです。

まあ

戻り値はちゃんと出し分けてるのに（当たり前だ）
出力は出し分けずに標準エラー出力で統一ってのも、なんか不思議な気はする。
まあ、だいたい2>&1するし、実害はないんだけど。

「Apache」の記事 - Crieit

\xe3\x83\xbc ... のような \x 始まりのエンコードがされた文字列について

【障害切り分けのコツはまずは森を見ること！】Gitlabのpushエラー、原因は（恐らく？）buffalo製ルータだった話

(Docker) Almalinux を見据えて CentOS8 での環境構築を試験してみる

.htaccess で PHP のエラーログの出力先を変える

サーバ入門5 Webサーバのインストールと動作確認

【サーバ基礎】Apacheのインストールと自動設定

Apache HTTP Serverをインストールします。

ある日突然ロードアベレージが200を超えた

【XAMPP】【Apache】URLとフォルダパスの関係を定義する

.htaccess で Perl を有効にする

Apache でフォームの入力内容などをロギングする

Apache で gzip のファイル圧縮転送 を設定する

vsftpd と Apache の設定を削除しLinuxユーザも削除する

CentOS7にWebサーバをインストールしよう

Ansible を使って FTPユーザの作成と Apache の仮想サイトの設定をする

【Apache Laravel Vue.js Vuetify】webアプリをスマホに対応させるためにやったこと

PHPで爆速APIを作るとき工夫したこと

サーバ入門5　Webサーバのインストールと動作確認

Apache で gzip のファイル圧縮転送を設定する