「Ansible」の記事 - Crieit

公開鍵認証でSSH接続しようとしたのにパスワードを求められた 2

2021-05-04T11:10:50+09:00

以前も似たような現象に遭遇しましたが、原因が少し異なっていたので書き留めておきます。

経緯・状況

前回の状況と同じ状況です。 Ansible でリモートサーバを操作しようとしましたが、公開鍵認証のはずなのにパスワードを求められてしまいました。

対処

/var/log/secure を確認すると、 Authentication refused: bad ownership or modes for directory /home/REMOTE_USER/.ssh のエラーメッセージが記録されていました。

sshの公開鍵認証でServer refused our keyが出る問題について - Simple, Slowly

調べてみると、 .sshディレクトリの権限が誤った設定になっているとこのエラーが起きるとのこと。

.ssh/authorized_keys は 600 にしていましたが、ディレクトリの方は見落としていました。確認したところ、 775 でした。

これを chmod 755 /home/REMOTE_USER/.ssh で修正。

結果、公開鍵認証が成功するようになり、 Ansible のプレイブックも正常に動作するようになりました。

参考

sshの公開鍵認証でServer refused our keyが出る問題について - Simple, Slowly

vsftpd と Apache の設定を削除しLinuxユーザも削除する

2020-12-24T00:28:56+09:00

以前取り上げたAnsible を使って FTPユーザの作成と Apache の仮想サイトの設定をするの逆方向バージョンです。

つまり、

Linuxユーザを削除
上記ユーザを vsftpdユーザからも削除
Apache の仮想サイトの設定と該当ディレクトリのデータを全て削除

を行うタスクを作ろう、と考えました。

これは、上記のプレイブックを一時的なテスト環境として作った後、削除することも往々にしてあり、手動で削除するのが面倒になってきたからです。

前提

テストに利用するサーバは前の記事と同じサーバで、該当プレイブックによって vsftpd や Apache が設定されている、という状況を想定しています。

動作確認

削除用プレイブックを走らせる前

# less /etc/passwd

## 略

USERNAME:x:

設定用プレイブックで追加されたユーザがいることを確認。

# less /etc/vsftpd/user_list

## 略

# BEGIN ANSIBLE basic setup: USERNAME
USERNAME
# END ANSIBLE basic setup: USERNAME

ここにも。

# ls -al /etc/vsftpd/user_conf/
合計 4
drwxrwxr-x 2 ADMIN_USER ADMIN_USER  23 MM月 DD hh:ii .
drwxr-xr-x 3 ADMIN_USER ADMIN_USER 150 MM月 DD hh:ii ..
-rw-rw-r-- 1 ADMIN_USER ADMIN_USER 107 MM月 DD hh:ii USERNAME

# less /etc/vsftpd/user_conf/USERNAME

# BEGIN ANSIBLE basic setup: USERNAME
local_root=/var/www/sample_site
# END ANSIBLE basic setup: USERNAME

ここにも。

# ls -al /var/www/
合計 4
drwxr-xr-x   5 ADMIN_USER ADMIN_USER   51 MM月 DD hh:ii .
drwxr-xr-x. 22 ADMIN_USER ADMIN_USER 4096 MM月 DD hh:ii ..
drwxr-xr-x   2 ADMIN_USER ADMIN_USER    6 MM月 DD hh:ii cgi-bin
drwxr-xr-x   3 ADMIN_USER ADMIN_USER   35 MM月 DD hh:ii html
drwxr-xr-x   3 ADMIN_USER ADMIN_USER   17 MM月 DD hh:ii sample_site

# ls -al /etc/httpd/conf.d/
合計 36
drwxr-xr-x 2 ADMIN_USER ADMIN_USER  137 MM月 DD hh:ii .
drwxr-xr-x 5 ADMIN_USER ADMIN_USER   92 MM月 DD hh:ii ..
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  366 MM月 DD hh:ii README
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 2926 MM月 DD hh:ii autoindex.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii php.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 9443 MM月 DD hh:ii ssl.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii userdir.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  824 MM月 DD hh:ii welcome.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  439 MM月 DD hh:ii sample_site.conf

# less /etc/httpd/conf.d/sample_site.conf


DocumentRoot "/var/www/sample_site/web"
ServerName www.sample_site.jp
ServerAlias sample_site.jp
ScriptAlias /cgi-bin/ /var/www/sample_site/web/cgi-bin/
RewriteEngine on
RewriteCond %{HTTP_HOST} ^sample_site\.jp$
RewriteRule ^(.*)$       http://www.sample_site.jp$1 [R=301,L]

allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

Apache 側にも仮想サイトの設定があり、仮想サイト用のディレクトリが切られていることを確認。

FTPでログインしたり、 hosts で名前解決して仮想サイトにアクセスできることを確認。

一通りプレイブックの設定通りです。

削除用プレイブックを走らせた後

それでは、念のため確認していきたいと思います。

# less /etc/passwd

設定したユーザが消えていることを確認。

# ls -al /etc/vsftpd/user_conf/
合計 0
drwxrwxr-x 2 ADMIN_USER ADMIN_USER   6 MM月 DD hh:ii .
drwxr-xr-x 3 ADMIN_USER ADMIN_USER 150 MM月 DD hh:ii ..

# less /etc/vsftpd/user_list

## 略

nobody

vsftpd の設定も消えています。OK。

# ls -al /var/www/
合計 4
drwxr-xr-x   4 ADMIN_USER ADMIN_USER   33 MM月 DD hh:ii .
drwxr-xr-x. 22 ADMIN_USER ADMIN_USER 4096 MM月 DD hh:ii ..
drwxr-xr-x   2 ADMIN_USER ADMIN_USER    6 MM月 DD hh:ii cgi-bin
drwxr-xr-x   3 ADMIN_USER ADMIN_USER   35 MM月 DD hh:ii html

# ls -al /etc/httpd/conf.d/
合計 32
drwxr-xr-x 2 ADMIN_USER ADMIN_USER  114 MM月 DD hh:ii .
drwxr-xr-x 5 ADMIN_USER ADMIN_USER   92 MM月 DD hh:ii ..
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  366 MM月 DD hh:ii README
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 2926 MM月 DD hh:ii autoindex.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii php.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 9443 MM月 DD hh:ii ssl.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER 1252 MM月 DD hh:ii userdir.conf
-rw-r--r-- 1 ADMIN_USER ADMIN_USER  824 MM月 DD hh:ii welcome.conf

仮想サイトのディレクトリは丸ごと消えて、設定ファイルも消えました。OKです。

当然、FTPでログインできなくなっていますし、ブラウザでアクセスすると仮想サイトが消えたので代理の仮想サイトが応答してきました。OKです。

以上より、一通り意図通りの動作になったことを確認できました。

Ansible を使って FTPユーザの作成と Apache の仮想サイトの設定をする

2020-12-04T00:13:51+09:00

Ansible を使って設定を行う例として、 Linuxユーザを作成してFTPユーザとし、 Apache の仮想サイトを作成する部分をやってみたいと思います。

前提

対象サーバの LAMP はCentOS7.5 + Apache + PHP + MySQL サーバを構築し、WordPressサイトを引っ越す(2018/11/20)のうち

1.初期設定～ 4.リポジトリ追加
5.vsftpd のうち
- 5.1.インストール, 5.2.設定
6.Apache ～ 11.Webmin
12.Apache仮想サイトのうち
- 12.1.ダミーサイトの作成
16.SSH

が既に設定済みの状態のサーバとします(13.Let’s Encrypt ～ 15.WP-CLI は対象外)。

また、今回 Ansible で設定するのは

5.vsftpd のうち
- 5.3.ユーザ設定
- 5.4.ユーザ作成・設定
12.Apache仮想サイトのうち
- 12.2. 仮想サイト作成

の部分を想定しています。

設定

ディレクトリ階層

PROJECT_ROOT/
  ├ workspace/                              // データ永続化領域
  │    ├ entrypoint.sh                      // Dockerコンテナ起動時に実行するシェルスクリプト
  │    └ ansible/                           // Ansible 用ディレクトリ
  │         ├ targets/                      // リモートホストの情報を収めるディレクトリ
  │         │    └ hosts                    // リモートサーバの一覧 (今回は1つのみ)
  │         │
  │         ├ tasks/                        // Ansible のタスクを収めるディレクトリ
  │         │    ├ add_user.yml             // Linuxユーザの作成
  │         │    ├ vsftpd_user_settings.yml // vsftpd の設定
  │         │    └ apache_settings.yml      // Apache 仮想サイトの設定
  │         │
  │         ├ templates/                    // Apache 仮想サイト設定のテンプレートを収めるディレクトリ
  │         │    └ vhost.conf.j2            // Apache 仮想サイト設定のテンプレート
  │         │
  │         ├ vars/                         // 各種パラメータ変数の設定を収めるディレクトリ
  │         │    └ param_vars.yml           // 各種パラメータ変数
  │         │
  │         └ main.yml                      // Ansible の playbook
  │
  ├ docker-compose.yml                      // Docker Compose 設定ファイル
  └ Dockerfile                              // Dockerfile

Ansibleコントロールノードを Dockerコンテナでビルドし、リモートサーバに公開鍵認証でSSH接続してインストール済みのパッケージの一覧を取得するまでやAnsible を使って yum update を実行するの記事の構造をベースにカスタマイズ。

arm-band/philotic_moby_test at yum_update

一揃いを Github に置きました。

Dockerfile, docker-compose.yml, entrypoint.sh. ansible/targets/hosts

この辺りはそのまま。 ansible/targets/hosts はグループ名を変更していますが、対となる ansible/main.yml の hosts の指定を変えれば良いだけなので些事。

ansible/vars/param_vars.yml

username: USERNAME
password: Password1234
rootdirectory: sample_site
domain: www.sample.jp
ipaddress: 192.0.2.1
portnum: 80

まずは今回の新顔の変数から。当初は末尾の「備考1: コマンドライン引数を変数に代入する」のように引数でコマンドラインから直接渡すことを考えていましたが、上記の通り6つもあるとそれだけでコマンドが長くなってしまい可読性が下がるので最終的に止めました。

代わりに変数を1つのファイルにまとめて、コマンド自体の長さは変わらないように調整しました。

この場合、以下の ansible/main.yml で触れますが vars_files: ./vars/param_vars.yml という一行で変数ファイルの読み込みができ、かつそれ以降は vars キーで変数としてそのまま使用できるので導入はわりとすんなり行きました。

ansible/main.yml

- name: Settings vsftpd and httpd

  become: yes
  become_user: ADMIN_USER
  become_method: su

  hosts:
    - add_vhost_servers

  vars_files: ./vars/param_vars.yml

  tasks:
    - name: Add Linux User
      include_tasks: ./tasks/add_user.yml
      vars:
        user: "{{ username }}"
        passwd: "{{ password }}"
    - name: Settings vsftpd user_list and user_conf
      include_tasks: ./tasks/vsftpd_user_settings.yml
      vars:
        user: "{{ username }}"
        directory: "{{ rootdirectory }}"
    - name: Setup Apache conffile
      include_tasks: ./tasks/apache_settings.yml
      vars:
        directory: "{{ rootdirectory }}"
        url: "{{ domain }}"
        ip: "{{ ipaddress }}"
        portnumber: "{{ portnum }}"

タスクのメイン部分。基本は前回と同様で、 tasks で指定する各種タスクが置き換わった形です。変数については上記の通り。

ansible/tasks/add_user.yml

- name: Add user, setting password and groups
  user:
    name: "{{ username }}"
    password: "{{ password | password_hash('sha512') }}"
    groups: apache
    append: yes

ansible/main.yml から渡ってきた各変数が使用される(ここでは username, password)、という形です。

一点注意なのはパスワードはそのままだと平文で保存されてしまいますが、実際に認証する際はハッシュ値に変換されるので不一致となってしまいます。そこで、保存時にハッシュ値に変換するように password_hash('sha512') を噛ませています。

ansible/tasks/vsftpd_user_settings.yml

- name: Settings vsftpd user_list
  blockinfile:
    path: /etc/vsftpd/user_list
    create: yes
    insertafter: EOF
    marker: "# {mark} ANSIBLE basic setup: {{ username }}"
    block: "{{ username }}"
- name: Settings vsftpd user_conf
  blockinfile:
    path: "/etc/vsftpd/user_conf/{{ username }}"
    create: yes
    insertafter: EOF
    marker: "# {mark} ANSIBLE basic setup: {{ username }}"
    block: "local_root=/var/www/{{ rootdirectory }}"
- name: Restart vsftpd
  systemd:
    name: vsftpd.service
    state: restarted
    daemon_reload: yes

次は vsftpd の設定。 user_list にユーザとして登録し、 user_conf ディレクトリの下にユーザ名のファイルを作成、そこに local_root の指定を記述する、という内容です。

ここでも一点注意。

設定ファイルへの書き込みとして blockinfile を使用しているのですが、 marker の値がユニークでないと、 loop で繰り返し処理をしたり、今回のケースだと異なる仮想サイトの設定を行ったり(Ansible を2回実行する)した場合に後勝ちで上書きされてしまうこと。

今回のケースでは user_list に2回目の変数のユーザしか残らなくなってしまいます。そのため、 marker の最後にユーザ名を混ぜることでコメント文が実行の度にユニークとなるようにしました。

ansible/tasks/apache_settings.yml

- name: mkdir root
  file:
    path: "/var/www/{{ rootdirectory }}"
    state: directory
    owner: ADMIN_USER
    group: ADMIN_USER
    mode: 0755
    recurse: no
- name: mkdir web
  file:
    path: "/var/www/{{ rootdirectory }}/web"
    state: directory
    owner: apache
    group: apache
    mode: 0775
    recurse: no
- name: Setup Apache conffile
  template:
    src: ../templates/vhost.conf.j2
    dest: "/etc/httpd/conf.d/{{ rootdirectory }}.conf"
    mode: '0644'
- name: Restart httpd
  systemd:
    name: httpd.service
    state: reloaded
    daemon_reload: yes

続いて Apache 仮想サイトの設定。ディレクトリを作ったり権限・所有者設定したり。

最後の Setup Apache conffile の処理では jinja2 のテンプレートから仮想サイト用の conf ファイルを作成しています。

ansible/templates/vhost.conf.j2

{{ ipaddress }}:{{ portnum }}>
DocumentRoot "/var/www/{{ rootdirectory }}/web"
ServerName {{ domain }}
{% if domain | regex_search("^www\.", ignorecase=True) %}
ServerAlias {{ domain | regex_replace("^www\.(.*)$", '\\1') }}
{% endif %}
ScriptAlias /cgi-bin/ /var/www/{{ rootdirectory }}/web/cgi-bin/
{% if domain | regex_search("^www\.", ignorecase=True) %}
RewriteEngine on
RewriteCond %{HTTP_HOST} {{ domain | regex_replace("^www\.(.*)$", '^\\1$') | regex_replace("\.", '\.') }}
RewriteRule ^(.*)$       http://{{ domain }}$1 [R=301,L]
{% endif %}
{{ rootdirectory }}/web">
allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

大体設定ファイルの内容ですが、各種変数を使用しています。

また、ドメイン(変数 domain )が www. 始まりの場合はサーバ名を www.example.jp のように www. 付きとし、同時に ServerAlias で example.jp と www. なしもフォローするような条件分岐(if, regex_search)を挟みました。

併せて、 www. なしのURLにアクセスした場合に www. ありにリダイレクトする設定も、変数 domain を正規表現置換(regex_replace)で一括で入れるようにしました。

例えば、 domain: www.example.jp とした場合は以下のような設定ファイルが作成されます。


DocumentRoot "/var/www/example/web"
ServerName www.example.jp
ServerAlias example.jp
ScriptAlias /cgi-bin/ /var/www/example/web/cgi-bin/
RewriteEngine on
RewriteCond %{HTTP_HOST} ^example\.jp$
RewriteRule ^(.*)$       http://www.example.jp$1 [R=301,L]

allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

一方、 domain: form.example.jp のようなケースだと以下。


DocumentRoot "/var/www/form_example/web"
ServerName form.example.jp
ScriptAlias /cgi-bin/ /var/www/form_example/web/cgi-bin/

allow from all
AllowOverride All
Options FollowSymLinks
Require all granted

上記の通り、 ServerAlias と Rewrite 系がありません。

動作確認

以上のような構成で動作検証。

# ansible-playbook -i /workspace/ansible/targets/hosts /workspace/ansible/main.yml -u SSH_REMOTEUSER --private-key="/root/.ssh/PRIVATE_KEY" -K
BECOME password: 

PLAY [Settings vsftpd and httpd] **********************************************************************************
TASK [Gathering Facts] ********************************************************************************************ok: [192.0.2.1]

TASK [Add Linux User] *********************************************************************************************included: /workspace/ansible/tasks/add_user.yml for 192.0.2.1

TASK [Add user, setting password and groups] **********************************************************************changed: [192.0.2.1]

TASK [Settings vsftpd user_list and user_conf] ********************************************************************included: /workspace/ansible/tasks/vsftpd_user_settings.yml for 192.0.2.1

TASK [Settings vsftpd user_list] **********************************************************************************changed: [192.0.2.1]

TASK [Settings vsftpd user_conf] **********************************************************************************changed: [192.0.2.1]

TASK [Restart vsftpd] *********************************************************************************************changed: [192.0.2.1]

TASK [Setup Apache conffile] **************************************************************************************included: /workspace/ansible/tasks/apache_settings.yml for 192.0.2.1

TASK [mkdir root] *************************************************************************************************changed: [192.0.2.1]

TASK [mkdir web] **************************************************************************************************changed: [192.0.2.1]

TASK [Setup Apache conffile] **************************************************************************************changed: [192.0.2.1]

TASK [Restart httpd] **********************************************************************************************changed: [192.0.2.1]

PLAY RECAP ********************************************************************************************************192.0.2.1                 : ok=12   changed=8    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

OKです。

仮想サイトにアクセスして Apache のデフォルトページが表示される、FTPでログインできる、ファイルアップロードなどの操作ができる、といった動作を一通りできることを確認できました。

備考1: コマンドライン引数を変数に代入する

例えば、以下のような main.yml を用意します。

- name: Get packages from hosts and do yum update

  become: yes
  become_user: ADMIN_USER
  become_method: su

  hosts:
    - update_servers

  tasks:
    - name: Get packages from hosts before update
      include_tasks: ./tasks/get_packages.yml
    - name: Output packages from hosts before update
      include_tasks: ./tasks/output_packages.yml
      vars:
        flag: "{{ before }}"
    - name: Do yum update
      include_tasks: ./tasks/yum_update.yml
    - name: Get packages from hosts after update
      include_tasks: ./tasks/get_packages.yml
    - name: Output packages from hosts after update
      include_tasks: ./tasks/output_packages.yml
      vars:
        flag: "{{ after }}"

Ansible を使って yum update を実行するの main.yml のうち、 vars の部分を少し編集したものです。

これで以下のように playbook を実行。

# ansible-playbook -i /workspace/ansible/targets/hosts /workspace/ansible/main.yml -u SSH_REMOTEUSER --private-key="/root/.ssh/PRIVATE_KEY" -K -e "before=before2 after=after22"

すると、 workspace/192.0.2.1_packages_before2 と workspace/192.0.2.1_packages_after22 が生成され、コマンドラインの引数が変数として使用されたことが分かりました。

当初はこれの延長線を考えていましたが、冒頭の通り6つも引数があると長くなってしまうので最終的には不採用としました。

ただし、これはこれで引数の使い方として参考になりそうなのでメモとして残しておきます。

参考

Ansible

変数

Ansible: vars_files を使用した loop処理 - Qiita

vars_files を採用。

Facts

Ansible：Factsについて（Ansible 2.9.6） | matsublog

blockfile

blockinfile モジュール-φ(.. ) のメモ

複数のテキストブロックを追加する場合、マーカーラインをユニークにしないとテキストブロックが上書きされる

marker の文字列はユニークになるようにすること。

httpd

Role を使ったAnsibleのチュートリアル | Developers.IO

usermod

【 usermod 】コマンド――ユーザーアカウントの情報を変更する：Linux基本コマンドTips（73） - ＠IT

AWX をインストールした後の Server Error を解決したかった話

2019-11-01T02:12:38+09:00

この記事は、 Ansible AWX をインストールしたときに、 Server Error に なったりならなかったりする 問題に対処したときのポエムだ。

はじめに断っておくが、最終的に AWX 8.0.0 で解消しているっぽいものの、原因や正確な条件などは不明なままである。
また後述するが、（タイトルに反して）おそらく Ansible AWX の問題ではなく、 postgres:9.6 の docker イメージの問題ではないかと思われる。

発生した問題の状況

まず、問題が起きている状況をまとめると、以下のような状況だ。

AWX を Docker-Compose を使ってインストール
AWX のバージョンは、 7.0.0 または 6.1.0 (どちらでも発生する)
インストール先は CentOS 7.7 1908 の VirtualBox のゲストマシン
どういうわけか、 問題が起きる場合と起きない場合がある
- 仮想ストレージが (SSD ではなく) HDD 上にあると発生しやすい気がする
- VM のホストが、バックエンドで I/O をガリガリやっていると発生しやすい気がする
- VM のホストが、（バッテリー駆動などで）で省電力モードになっていると発生しやすい気がする
問題が発生するかどうかは、インストール後の最初の起動で決まる。
- 最初の起動で問題が発生すれば、その後も発生し続ける。
- 逆に、最初の起動で問題が発生しなければ、その後は発生しない。

最後の2つが非常に厄介で、全て VirtualBox で同じリソースを割り当てた VM のゲストマシンに、同じ設定で CentOS をインストールしているのにもかからず、問題が発生したりしなかったりする。
訳がわからない。

VM のホストをいろいろ買えつつ試してみたところ、上記のような状態の時に問題が派生しやすい気がするが、ハッキリ「そうだ」と言えるほどの回数は試せていない。

最初、良くある SELinux 関係の問題かと思って SELinux を切って AWX のインストールをやり直してみたが、何も変わらなかった。

AWX エラーの内容

上記スクショの "Server Error" "A server error has occurred" のメッセージだけでは、どんな問題が発生しているのか全くわからないので、とりあえず各コンテナのログをみてみる。

どうやら、 awx_postgres コンテナで、以下のようなエラーが発生しているようだ。

FATAL:  no pg_hba.conf entry for host "172.18.0.2", user "awx", database "awx", SSL off

問題が起きていない環境と、起きている環境で pg_hba.conf (※) を比べると、
問題が起きていない環境では、このファイルの末尾に

host all all all md5

が追記されているという違いがある。

(※: pg_hba.conf は awx_postgres コンテナの /var/lib/postgresql/data/pgdata/pg_hba.conf にあるほか、 docker ホスト側でも /tmp/pgdocker/pgdata/pg_hba.conf として永続化されている。 (postgres_data_dir 変数が初期値の場合。))

この行がないため、 WEB サービスを走らせているコンテナから PostgreSQL を動かしているコンテナへのアクセスが拒否されているようだ。

しかし、問題となっている環境で pg_hba.conf を書き換えても、別のエラーが発生して Server Error が表示される問題は解決しない。

問題が起きる環境と起きない環境を更に詳しく比べると、 PostgreSQL の DB が作成すらされていないことがわかった。
本来なら、 awx_postgres コンテナ内に awx ユーザで DB が作成されている筈なのにもかかわらず、以下のようにコンテナに入って psql の --list オプションを実行すると、エラーになってしまう。

$ sudo docker exec -it awx_postgres /bin/bash
root@xxxxxxxxxxxx:/# psql --list -U awx
psql: FATAL:  database "postgres" does not exist

以上のことから、 pg_hba.conf の書き換えや、 PostgreSQL DB の初期化といった、初期化プロセスが実行されずに「初期化済み」扱いされているのが原因ではないかと、予想がつく。

awx リポジトリ内で同様の不具合が挙がっていないか確認してみたが、似たような問題は挙がっているものの、それそのものズバリの回答は見つからなかった。

AWX 7.0.0 インストール時の docker-compose.yml も、 AWX 6.1.0 インストール時の docker-compose.yml も、 postgres:9.6 の docker イメージを使っていることがわかる。
このため、上記の pg_hba.conf の書き換えを行っている docker-entrypoint.sh は、 postgres:9.6 イメージの Dockerfile のエントリーポイントであるこの docker-entrypoint.sh だろう。

前後の PostgreSQL の初期化プロセスも働いていないことを考えると、

        # look specifically for PG_VERSION, as it is expected in the DB dir
        if [ ! -s "$PGDATA/PG_VERSION" ]; then
                # "initdb" is particular about the current user existing in "/etc/passwd", so we use "nss_wrapper" to fake that if necessary
                # see https://github.com/docker-library/postgres/pull/253, https://github.com/docker-library/postgres/issues/359, https://cwrap.org/nss_wrapper.html

この条件分岐の部分が、意図通り働かないことがあるのではないかと思う。

しかし、私は docker に関してはほとんどシロウトなので、ここから docker イメージの定義ファイルを辿って、どこがおかしいのかを調査するのはちょっと難しい。。。

AWX 8.0.0 がリリースされたら解決してた

…とかなんとかやってるうちに、 AWX 8.0.0 がリリースされてしまった。

8.0.0 で AWX のインストールを試してみると、ぱったりと問題が発生しなくなった。

awx_postgres コンテナを作成する docker イメージが、 postgres:9.6 から postgres:10 に変更になったからではないかと考えているが、具体的にどう変わったかは正直わからない。

ひょんなことから、原因は不明ながら問題が解決してしまったので、これ以上調査する気力も失せて、私は考えるのをやめた。

追記: そして、記事を書いた直後に AWX 9.0.0 がリリースされた。ちょっとペース早すぎない!?

AnsibleでVPSをセットアップする【その2】

2019-06-30T21:16:15+09:00

VPSをAnsibleを使ってセットアップするの後日譚的なものです。

docker/docker-composeのインストール

- name: Add Docker GPG key
    apt_key: url=https://download.docker.com/linux/ubuntu/gpg

apt-get updateでロックがかかってしまう問題

pathで指定したファイルを削除

state "absent"に変える。absent(欠席の意＝つまりない状態)
対義語はpresent

- name: remove lock file
   file:
     path: /var/lib/apt/lists/lock
     state: absent

エラー「E: Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)」

NodeJS/npmのインストール

後でgit pullしてnpm installするのですが、インストールされてないことに気づいたのでここでインストールしてしまいます。

  - name: Install basic list of packages
    apt:
      name: ['apt-transport-https','ca-certificates','curl','gnupg2','software-properties-common','npm','nodejs']
      state: present
      update_cache: yes

  - name: Add Docker APT repository
    apt_repository:
      repo: deb [arch=amd64] https://download.docker.com/linux/{{ansible_distribution|lower}} {{ansible_distribution_release}} stable

  - name: Install Docker packages
    apt:
      name: ['docker-ce','docker-ce-cli','containerd.io']
      state: present

  - name: Install Docker-compose 
    shell: curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
  - name:
    command: chmod +x /usr/local/bin/docker-compose

プライベートリポジトリをgit clone

まだメインのスクリプトと統合してない状態です。
githubからpersonal tokenを発行して使います。

- hosts: all
  user: "{{ user_name }}"
  #become: yes
  tasks:
  - name: git pull
    git:
      repo: "https://{{account_name}}:{{ personal_token }}@github.com/{{account_name}}/{{ repo_name }}.git"
      dest: "~/{{ target_dir }}"
      accept_hostkey: yes

課題点

docker-composeがパーミッションエラーで起動できない

ユーザをsudoできる権限を持ったグループに追加しないといけないみたいです。

ERROR: Couldn't connect to Docker daemon at http+docker://localunixsocket - is it running?

VPSをAnsibleを使ってセットアップする

2019-06-01T23:26:13+09:00

一念発起してVPSを借りたのですが、サーバの初期設定の操作で色々詰まってサーバ削除・新規作成を繰り返していたので、手順を残すこともできるAnsibleを使い始めました。

Ansibleって？

RedHatが提供している、サーバの設定自動構成ツール。
クライアントからサーバへSSHで接続してリモートでコマンドを実行できます。

動作条件

クライアント: ansibleがインストールされていること
サーバ: SSHで接続できること。python(2系でも3系でも可)がインストールされていること。

まずクライアント(mac)にansibleをインストール

$ brew install ansible

playbookを作る

playbookと呼ばれる、実行したいスクリプトをyamlで記述します。
以下がplaybookの設定例です。

サーバにログインする

hostsファイルで設定したallというグループに属するサーバにアクセスします。
サーバ作成直後でroot以外のユーザがいない状況を想定しているのでrootでログインします。

- hosts: all
  user: root

一般ユーザを新規作成する

ubuntuはsudo権限を持ったグループ名がsudo

    - name : add user
      user: 
        name: "{{ user_name }}"
        state: present
        password: "{{ password }}"
        groups: sudo

.sshディレクトリを作成する

パーミッションは700ではなく0700

- name: mkdir .ssh
      file: 
        path: "~{{ user_name }}/.ssh"
        state: directory
        owner: "{{ user_name }}"
        group: "{{ user_name }}"
        mode: 0700

公開鍵を一般ユーザのホームディレクトリに配置する

パーミッションは600ではなく0600

- name: private key for slave server
      copy: 
        dest: "~{{ user_name }}/.ssh/authorized_keys"
        content: "{{ lookup('file', '~/.ssh/public_openSSH') }}"
        mode: 0600
        owner: "{{ user_name }}"
        group: "{{ user_name }}"

セキュリティ設定変更

ポート番号変更

 - name: "待受ポートを {{ sshd_port }} に変更"
       lineinfile:
         dest: /etc/ssh/sshd_config
         regexp: "^Port"
         insertafter: "^#Port"
         line: "Port {{ sshd_port }}"

iptablesで変更後のSSHポートを許可

    - name: Allow new incoming SYN packets.
      iptables:
        chain: INPUT
        protocol: tcp
        destination_port: "{{ sshd_port }}"
        ctstate: NEW
        syn: match
        jump: ACCEPT
        comment: Accept new SSH connections.

ufw(ubuntuのファイアウォール)で変更後のSSHポートを許可

パスワードログイン禁止

- name: パスワード認証の無効化
      lineinfile:
        dest: /etc/ssh/sshd_config
        regexp: "^PasswordAuthentication"
        insertafter: "^#PasswordAuthentication"
        line: "PasswordAuthentication no"

rootログイン禁止

Ansible でSSHのセキュリティ設定

rootユーザからログアウト

これ以降は作成した一般ユーザでスクリプトを実行した方がよいのでユーザ切り替えのためにログアウト。

- name: logout
      meta: reset_connection

playbookを実行する

server_setup.ymlというplaybookを、hostsというファイルで設定したサーバに対して実行します。公開鍵認証をする場合はprivate-keyオプションでopenSSH形式の秘密鍵を指定します。

$ ansible-playbook server_setup.yml -i hosts --private-key ~/.ssh/private_openSSH.ppk