「Bash」の記事 - Crieit

Docker run の起動時に任意コードを実行後 bash や ash を終了しない

2022-12-29T16:47:37+09:00

この記事は、 Docker Advent Calendar 2022 の 23日目の記事だ。
空いていたので埋めちゃうよ。

この記事では、 bash や ash で任意のコードの実行後、ターミナルを終了せずに入力待ちにする方法について紹介する。
特に、 docker run の実行後に、その環境を維持したまま入力待ちにすることを考える。

例えば、 Windows コマンドプロンプトや PowerShell であれば、 CMD /K *** オプションや、 -NoExit -Command *** オプションで実現できるような内容だ。

本来なら、 docker build にてその任意コードの実行後の内容をイメージにするべきだが、わざわざ build するまでもないとか、 build できない事情などもあるかもしれない。

ということで、 bash の場合と、 alpine などで使われる BusyBox ash それぞれについて、 docker run 実行時に任意コード実行後、ターミナルの入力待ちにする方法を紹介する。

bash の場合

bash の場合、 --rcfile オプションにて、起動時に実行するコマンドを指定できる。

ただし、 --rcfile はファイルを指定する必要があるため、替わりにプロセス置換で実行コードを与えてやる方法をとる。

user@hostmachine:~$ docker run --rm -it debian:bullseye bash -c "bash --rcfile <(echo 'ls && export '\''FOO=B A R'\'' && MY_TIME=\$(date)')"
bin   dev  home  lib64  mnt  proc  run   srv  tmp  var
boot  etc  lib   media  opt  root  sbin  sys  usr
root@container:/# echo $FOO : $MY_TIME
B A R : Thu Dec 22 15:00:00 UTC 2022
root@container:/#

プロセス置換はコンテナ内で実行される必要があるため、一旦 bash -c にてコンテナ内で bash 実行させ、その中で改めて --rcfile オプションを指定した bash を起動する流れとなる。

実際に実行したいコマンドは、 echo で文字列として書き出す。
上記例では、 ls && export 'FOO=B A R' && MY_TIME=$(date) と言う文字列を echo させている。

引用符が二重三重になっていて、エスケープが非常に難しくなっているので注意。

BusyBox ash

alpine 3.15 以降に含まれる BusyBox の ash であれば、意外にもプロセス置換が使える。

しかし、 --rcfile に相当するオプションは残念ながら無い。
替わりに、 ash には ENV という環境変数に記載されたファイルを ash 起動時に実行する機能がある。

これを使おう。

user@hostmachine:~$ docker run --rm -it alpine:3.15 ash -c "ash -c 'export ENV=\$1;ash' -s <(echo 'ls && export '\''FOO=B A R'\'' && MY_TIME=\$(date)')"
bin    etc    lib    mnt    proc   run    srv    tmp    var
dev    home   media  opt    root   sbin   sys    usr
/ # echo $FOO : $MY_TIME
B A R : Thu Dec 22 15:00:00 UTC 2022
/ #

ash の -c のコマンドに対して引数を与える -s オプションを使ってプロセス置換のファイルを与え、それを $1 経由で ENV 環境変数にセット。その状態で再度 ash を起動させれば、 bash と同様のことが行える。

ENV 環境変数に直接プロセス置換のファイルを指定せず、わざわざ一旦引数を経由させているのは、入力を受け付ける ash プロセスが動いている間、プロセス置換のファイルにアクセス可能にする必要があるためだ。
例えば、 export ENV=<(echo 'command');ash と実行しても、 ash 実行の段階ではプロセス置換のファイルが閉じられているので、コマンドは実行されない。

もうちょっと複雑な例

起動時に apt パッケージマネージャーのリポジトリを書き換える方法（Ubuntu）:

docker run --rm -it ubuntu:22.04 bash -c "bash --rcfile <(echo 'sed -i -E '\''s%^(deb(-src|)\s+)https?://(archive|security)\.ubuntu\.com/ubuntu/%\1http://srv2.ftp.ne.jp/Linux/packages/ubuntu/archive/%'\'' /etc/apt/sources.list && apt update && FooBar=`date -uIs`')"

起動時に apk パッケージマネージャーのリポジトリを書き換える方法（Alpine）:

docker run --rm -it alpine:3.15 ash -c "ash -c 'export ENV=\$1;ash' -s <(echo 'sed -i -E '\''s%^https?://dl-cdn\.alpinelinux\.org/alpine/%https://ftp.udx.icscoe.jp/Linux/alpine/%'\'' /etc/apk/repositories && apk update && FooBar=`date -uIs`')"

参考: https://stackoverflow.com/questions/74094552/how-not-to-terminate-after-carried-out-commands-in-bash

パスを追加したのに反映されない

2022-05-31T10:06:10+09:00

PATHを通しているつもりなのに、反映されないことがありました。

現象

例えば、.~/binにあるファイルscript.shを、ファイル名だけで実行できるようにしたく、
.zprofileに、下記を追加しました。

PATH="$PATH:~/bin"

しかし、script.shと打ってみても、下記エラーとなりました。

script.sh not found

対策

チルダ"~"の代わりに、"$HOME"にしたところ、動きました。

PATH="$PATH:$HOME/bin"

Docker の php:7-alpine イメージで Composer と Xdebug を使えるようにする

2022-05-10T22:39:48+09:00

経緯

slimphp/Slim-Skeleton を利用したいと考えました。

手元の端末で開発しようとしたところ、 XAMPP に Xdebug を入れ忘れていたことに気付きました。しかも、 XAMPP の PHP のバージョンで Xdebug のインストールが止まってしまいました。

そこで、スケルトンプロジェクトに付随している Docker Compose での開発を試みましたが、この Docker Compose 内で pull してくるイメージは Composer も Xdebug もないので入れることにしました。

コード

docker-compose.yml

version: '3.7'

volumes:
    logs:
        driver: local

services:
    slim:
        build:
            context: ./_docker/dockerfiles/
            dockerfile: Dockerfile
        working_dir: /var/www
        command: php -S 0.0.0.0:8080 -t public
        environment:
            docker: "true"
        ports:
            - 8080:8080
        volumes:
            - .:/var/www
            - ./logs:/var/www/logs
    db:
        image: mariadb
        restart: always
        ports:
            - 3306:3306
        volumes:
            - ./_docker/mysql/mysql:/var/lib/mysql
            - ./_docker/mysql/initdb.d:/docker-entrypoint-initdb.d
        environment:
            - MYSQL_ROOT_PASSWORD=pwd
            - MYSQL_DATABASE=test
            - MYSQL_USER=user
            - MYSQL_PASSWORD=pwd
    phpmyadmin:
        image: phpmyadmin/phpmyadmin
        volumes:
            - ./_docker/phpmyadmin/sessions:/sessions
            - ./_docker/phpmyadmin/conf/phpmyadmin-misc.ini:/usr/local/etc/php/conf.d/phpmyadmin-misc.ini
        environment:
            - PMA_ARBITRARY=1
            - PMA_HOST=db
            - PMA_USER=user
            - PMA_PASSWORD=pwd
        ports:
            - 8081:80

変更点は以下。

PHP 用環境: Dockerfile を使ったイメージにカスタマイズ
DB: MariaDB のイメージをそのまま利用
- environment のパラメータはそのまま使用。アプリケーションや phpMyAdmin 側と動機は取れていないですがひとまずはこれで……
phpMyAdmin: これも phpMyAdmin 公式イメージを流用

_docker/dockerfiles/Dockerfile

FROM php:7-alpine
RUN apk --update add curl
RUN set -ex \
  && apk --no-cache add \
  autoconf build-base
RUN pecl install xdebug
RUN docker-php-ext-enable xdebug
RUN docker-php-ext-install pdo_mysql
COPY settings/php.ini /usr/local/etc/php/conf.d
RUN curl -sS https://getcomposer.org/installer | php -- --install-dir=/usr/bin --filename=composer

php:7-alpine をベースに Xdebug と Composer を追加。

_docker/dockerfiles/settings/php.ini

xdebug.mode=coverage

Xdebug でカバレッジを有効化するための設定を追加するため。なお、 Dockerfile で COPY する際のホストマシンでのパスは Dockerfile の存在するディレクトリから下でないと参照できない という地味な制約があるので dockerfiles ディレクトリをわざわざ掘りました。

_docker/phpmyadmin/conf/phpmyadmin-misc.ini

allow_url_fopen = Off
max_execution_time = 600
memory_limit = 64M
post_max_size = 64M
upload_max_filesize = 64M

メモリ上限等のカスタマイズ。

これで今回はカバレッジ出力まで動作することを確認しました。

Dockerfile

Dockerで作るNginx + PHP7 + Xdebug環境 | Crudzoo

ほぼこれでOK.

php-alpineコンテナにxdebugをインストールする時にハマったメモ - Qiita

こちらも参照。 php -v で with Xdebug と付いていればOK。

Dockerfile の COPY

【Docker】COPYで指定されたファイルは、Dockerfileが存在するディレクトリからの相対パスで、親ディレクトリを見れない - タカの技術ノート

Mariadb

could not find driver

普通に考えたら確かにドライバがないので追加して解決。

シェル

dockerでalpine linux ベースのcontainerに入って、shellを使いたいとき。 - Qiita

bash ではなく ash 。 bin/ash 指定。

sr -c

docker-compose.ymlのcommandプロパティに複数コマンドを設定する方法 | ゲンゾウ用ポストイット

最終的には使わずに済みましたが念のためメモ。

[Linux] messagesログの日付指定参照

2022-02-04T22:26:58+09:00

Linuxにおける「/var/log/messages」ファイルのフォーマットは以下のように「日　時　ホスト名　情報」となっている。

Feb 16 18:00:10 web sshd[13865]: Accepted publickey for user01 
from 192.168.0.2 port 45680 ssh2

問題なのが1桁の日にちの場合以下のように「月(スペース)(スペース)日にち」の表現になっている点だ。

Feb  4 21:25:22 ホスト名 情報

「04」ならともかく「(スペース)4」と表現されることにより、
bashスクリプト等で実行日に絞り込みたい場合、以下のコマンドだと絞り込みができない。

$ LANG=C date "+%b %d"
Feb 04

以下のコマンドだと、1桁の日にちも2桁の日にちも処理できる。

$ LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"

LANG=C date「 Fri Feb 4 22:10:50 JST 2022」のような日付を取得
cut -d " " -f 2-4 「Feb 4 」に絞り込み、ただし、2桁日にちの場合時刻まで取れてしまう。
sed -e "s/ ..:.*$//" 2桁日にちの場合の時刻除去

1桁日にちのコマンド実行例

$ LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"
Feb  4

2桁日にちのコマンド実行例

LANG=C date --date '5 day ago' | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"
Jan 30

注意として変数に入れて使用する場合、変数をダブルクォート(")で囲む必要がありそうだ。
そうしないとスペースの2個が1個で処理してしまう可能性がある。

$ LOGDATE=`LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"`
$ echo $LOGDATE
Feb 4
echo "$LOGDATE"
Feb  4
$

ワンライナーでの実行例 (先頭.は表現回避用)

.# cat /var/log/messages | grep "`LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"`"
Feb  4 10:0:01 ホスト名 情報
Feb  4 10:0:01 ホスト名 情報

変数定義後の事項例 (先頭.は表現回避用)

.# LOGDATE=`LANG=C date | cut -d " " -f 2-4 | sed -e "s/ ..:.*$//"`
.# cat /var/log/messages | grep "${LOGDATE}"
Feb  4 10:0:01 ホスト名 情報
Feb  4 10:0:01 ホスト名 情報

[Linux] ssh鍵の自動生成

2022-01-03T23:53:56+09:00

Linuxの1ユーザの複数サーバ分のssh鍵の自動生成

コードブロックに行番号を付加できないかは模索中

ファイル名;create_key.sh

#!/bin/bash
# values
KEYSIZE=2048

# script dir
DIR_BASE=$(cd $(dirname ${0}); pwd)

if [ $# = 0 ] ; then
    echo -e "Error: No arguments set"
    echo -e "Usage: $0 [user name] [server01:server02:...]"
    exit 10
fi

USER=$1
SERVERS=`echo $2 | sed -e 's/:/ /g'`
USERDIR=${DIR_BASE}/${USER}

test ! -d ${USERDIR} && mkdir ${USERDIR}
for server in ${SERVERS}
do
    test ! -d ${USERDIR}/${server} && mkdir ${USERDIR}/${server}
    passphrase=`cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [0-9] | grep -vE '(.)\1' | shuf -n 1`
    keyfile=${USERDIR}/${server}/${USER}
    ssh-keygen -f ${keyfile} -t rsa -b ${KEYSIZE} -N ${passphrase}
    if [ $? = 0 ] ; then
        echo -e "User: ${USER} ,Server: ${server}, Passphrase: [${passphrase}]"
        echo -e "## ${server}\nUser:\n${USER}\n\nPassphrase:\n${passphrase}" > ${server}_${USERDIR}/SSHinfo_${USER}.txt
    else
        echo -e "Couldn't make the key. -User: ${USER} ,Server: ${server}"
    fi
done

実行例

$ ./create_key.sh user01 web:mail

引数1 ユーザ名
引数2 サーバ名、複数の場合はサーバ名を: (コロン)で区切る

説明
1. スクリプトファイルと同じディレクトリ階層に作成したいユーザ名のディレクトリを作成する (実行例:user01)
2. サーバごと以下2-1から2-4を繰り返す
2-1.1番で作1番で作成したユーザディレクトリ配下にサーバ名のディレクトリを作成する (実行例:web)
2-2.パスフレーズをランダムの文字列で生成
2-3.2-2番で生成したパスフレーズをもとに、2-1番で作成したサーバ名のディレクトリに鍵のペアを作成
2-4.1番で作成したユーザ名のディレクトリにサーバ名、ユーザ名、パスフレーズを記載したファイルを作成

2-4で作成したファイル名はSSHinfo_サーバ名_ユーザ名.txt
例 web_SSHinfo_user01.txt

## web
User:
user01

Passphrase:
U4#DvXnH

エラー処理を最小限にしているため、予期せぬ事態に対処できてないかも

課題 (後日記載)
複数ユーザに対応するため、引数にリストファイルを指定することで、複数ユーザの指定サーバごとに鍵を作成する

memo
psslibでのパスワードのハッシュ化

    passhash=`python3 -c 'import passlib.hash; print(passlib.hash.sha512_crypt.using(rounds=5000).hash("$passphrase"))'`
    echo -e "password hash is [${passhash}] "
    echo -e "\npassword hash\n${passhash}"  >> ${server}_${USERDIR}/SSHinfo_${USER}.txt

[Linux] ランダム文字列

2022-01-01T21:51:05+09:00

Linux環境にてパスワードやパスフレーズ等の設定に使うランダム文字列を生成

条件：8文字構成で数字、アルファベット小文字、大文字、記号の使用かつ類似文字を除外
数字 10文字 (0 1 2 3 4 5 6 7 8 9)
小文字 23文字 (a b c d e f g h i j k m n p r s t u v w y z)、除外 (l o q)
大文字 14文字 (A B D E F G H J L M N Q R T)、除外 (C I K O S U V W X Y Z)
記号 4文字 (# ? _ !)

cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [A-Z] | grep [a-z] | grep [0-9] | grep -vE '(.)\1' | uniq | shuf -n 1

省略版　記号と数字のチェックすれば問題なさそう

cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [0-9] | grep -vE '(.)\1' | shuf -n 1

cat /dev/urandom ランダムな文字列を生成
tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' 条件の含めたい文字
fold -w 8 8文字
head -n 300 行頭から300文字
grep -v '^[#?_!]' 先頭記号の文字列を除く
grep '[#?_!]' | grep [A-Z] | grep [a-z] 条件に合致しているか絞り込み
grep -vE '(.)\1' 繰り返し文字を除く
uniq 念のため重複行の取り除き、後のコマンドで含まれているのでいらない
shuf -n 1 ランダムの1行を出力

実行例

$ cat /dev/urandom | tr -dc 'a-kmnpr-zABD-HJL-NQRPT0-9#?_!' | fold -w 8 | head -n 300 | grep -v '^[#?_!]' | grep '[#?_!]' | grep [0-9] | grep -vE '(.)\1' | shuf -n 1
9eD?8aiG

シェルスクリプト（Bashスクリプト）でかんたんな自作言語のコンパイラを書いた

2021-12-21T07:40:58+09:00

シェルスクリプト Advent Calendar 2021
https://qiita.com/advent-calendar/2021/shellscript
の20日目の記事です。

Bashがある環境ならどこでも自作言語で書いたプログラムをコンパイルできるようになりました。

できたもの

https://github.com/sonota88/vm2gol-v2-bash

いろいろと雑なのですが、アドベントカレンダーの期日があるのでとりあえず公開します。

サイズはこんな感じ。

$ wc -l {lexer,parser,codegen}.sh lib/*.sh
  220 lexer.sh
  655 parser.sh
  525 codegen.sh
   42 lib/common.sh
  193 lib/json.sh
  284 lib/utils.sh
 1919 合計

動かし方の例

echo '
func add(a, b) {
  return a + b;
}

func main() {
  var one = 1;
  var result;
  call_set result = add(one, 2);
}
' | ./lexer.sh | ./parser.sh | ./codegen.sh

# ↓アセンブリが出力される
  call main
  exit
label add
  push bp
  cp sp bp
  cp [bp:2] reg_a
  push reg_a
  cp [bp:3] reg_a
  push reg_a
  pop reg_b
  pop reg_a
  add_ab
  cp bp sp
  pop bp
  ret
label main
  push bp
  cp sp bp
  sub_sp 1
  cp 1 reg_a
  cp reg_a [bp:-1]
  sub_sp 1
  cp 2 reg_a
  push reg_a
  cp [bp:-1] reg_a
  push reg_a
  _cmt call~~add
  call add
  add_sp 2
  cp reg_a [bp:-2]
  cp bp sp
  pop bp
  ret
# (snip)

移植元

https://github.com/sonota88/vm2gol-v2

Bashスクリプト版のベースになっているバージョンは tag:62 のあたり

＜自作言語処理系の説明用テンプレ＞

自分がコンパイラ実装に入門するために作った素朴なトイ言語とその処理系です。簡単に概要を書くと下記のような感じ。

小規模: コンパイラ部分は 1,000 行程度
pure Ruby / 標準ライブラリ以外のライブラリ不要
x86風の自作VM向けにコンパイルする
ライフゲームのために必要な機能だけ
- 変数宣言、代入、反復、条件分岐、関数定義
- 演算子: +, *, ==, != のみ（優先順位は ( ) で明示）
- 型なし（値は符号付き整数のみ）
作ったときに書いた備忘記事
- RubyでオレオレVMとアセンブラとコード生成器を2週間で作ってライフゲームを動かした話
- Rubyでかんたんな自作言語のコンパイラを作った
本体には含めていない後付けの機能など
- 真偽値リテラル / break / if/else / 単項マイナス / Racc などを使って書いたパーサの別実装
Ruby 以外の言語への移植
- コンパイラ部分のみ
- Python, Java, TypeScript など、2021-12-19 の時点では 20言語
セルフホスト版
製作過程を知りたい場合は製作メモを見てください

＜説明用テンプレおわり＞

メモ

文字列

下記の記事のおかげでなんとかなりました。ありがとうございます 🙏

シェルスクリプトはバイナリを扱えない。さてどうしよう…… - Qiita

バイト単位で16進数表現との相互変換さえできてしまえば、あとは煮るなり焼くなり思いのまま、です。

データ構造

[
  123, "fdsa",
  [
    11, "FDSA",
    []
  ]
]

のような、リストの要素として整数、文字列、リストを持たせることができる再帰的なデータ構造が必要です。Bashスクリプトの配列は単純な値を入れる分にはいいのですが、ネストしたリストを扱うことができなさそうでした。

（※ いつもならこういうことをやりたくなった段階で別の言語で書くことを検討しますが、今回は Bashスクリプトで書くこと自体が目的です）

そこで、ひとまず下記のようにしました。もっと良いやり方がある気がします。

リストの要素にあたるデータの表現はこんな感じ。

# 整数
"int:-123"

# 文字列
"str:fdsa"

# リスト
"list:1"

先頭に型を表すタグを付けた1行の文字列
文字列の値（str:... の ... の部分）は改行を含まない（レキサで捨てる）ため、改行についての考慮は不要
list: の後に続く数字はリストID

たとえば ["+", 1, -2] というリストは次のように3行の文字列で表せます。1行がリストの要素1つに対応します。

"str:+
int:1
int:-2
"

この文字列をグローバルな配列変数に入れて管理する形にしました。要素のインデックスがリストIDに対応します。

たとえば、入れ子のあるリスト ["+", 1, ["*", 2, 3]] は次のようになります。

# GLOBAL[0]
"str:*
int:2
int:3
"

# GLOBAL[1]
"str:+
int:1
list:0
"

パフォーマンスの問題は別途ありますが、要するに下記のような操作ができるインターフェイスが用意できればOK。

リストの要素数を求める
リストからn番目の要素を読み書きする
リストの要素の型を判別する
リストの要素の値を取りだす

関数からの値の返却

関数 myfunc から標準出力に出力して result="$(myfunc)" のようにコマンド置換で受け取る方法だと不都合な点が2つあります。

(1) 末尾の改行の有無を制御しにくい
- シェルスクリプトにはコマンド出力を変数に入れると末尾の改行が全部消えてしまう罠がある！ - Qiita に書かれている通り
(2) 呼び出した関数内でグローバル変数を更新できない
- コマンド置換だとサブシェルになるので

ちょっと悩みましたが、結局下記の方式に落ち着きました。

関数からの戻り値の受け渡し用のグローバル変数 RV1 を用意する
$(...) で囲まずに普通に関数を呼び出す
関数側では、返したい値を RV1 に代入する
呼び出し元では、関数呼び出しの直後に RV1 から移し替える

単純な例として、文字列を２つ受け取って連結した文字列を返す関数。

# return value
RV1=

myfunc() {
  RV1="${1}${2}"
}

myfunc "foo" "bar"
retval="$RV1"

こうですね。単にこのパターンで書けばよいだけなので頭は使わなくてよいです。無心に書いていくとコンパイラができあがります。並行処理とかやってないですし、関数から戻った直後で受け取る約束さえ守っていれば問題は起こりません。

全然スマートじゃなくてなんじゃこりゃって感じのソリューションですけど、この方法にも良いところがあって、RV2, RV3, ... と増やすことで複数の値をいくらでも返すことができます。あと、コマンド置換よりはオーバーヘッドが小さいかもしれません（未確認）。

関数の中でグローバル変数を書き換える実際の例としてはリストの生成処理があります。ヒープにリスト用の領域を確保して、リストを指し示すポインタを返すようなイメージです。

new_list() {
  new_gid
  local self_=$RV1
  GLOBAL[$self_]=""

  RV1=$self_
}

new_list
list1_=$RV1

Ruby で書くとしたらこんな感じ。

def new_list
  self_ = new_gid() # 新しいインデックスを採番
  $GLOBAL[self_] = ""
  return self_
end

list_ = new_list()

というわけで、かんたんなコンパイラを書くことにより、Bashスクリプトにおける

文字列処理
データ構造（入れ子のあるリスト）
関数からの値の返却

についてのノウハウが新たに得られました。めでたしめでたし。

この記事を読んだ人は（たぶん）こちらも読んでいます

Perlでかんたんな自作言語のコンパイラを書いた

なでしこ3でかんたんな自作言語のコンパイラを書いた

素朴な自作言語のコンパイラをLibreOffice Basicに移植した

bash で標準出力と標準エラーを 2つのコマンドに出し分ける

2021-12-17T09:13:56+09:00

本記事はシェルスクリプトのカレンダー | Advent Calendar 2021 - Qiita 17日目の記事だ。

シェルスクリプトのカレンダー | Advent Calendar 2021 - Qiita

殆どカレンダーが埋まってなかったので、思いついたネタで埋めちゃえ埋めちゃえ。

今回は、 bash 系列 (bash, zsh 等) のプロセス置換 (process substitution) 機能の話だ。

このプロセス置換は POSIX 互換の機能では無いため、以降の例は ash 系列 (busybox hush (ash), dash 等) では利用できない。

bash のプロセス置換

bash 系のプロセス置換という機能と、 tee コマンドを組み合わせて、同時に複数のコマンドにパイプできるらしい。

詳しい説明を読んでも、正直頭がさっぱり追いつかないが…

Linuxでのプロセス置換 #Linux - Qiita

要は、引数部分でファイルを指定するべき場所で、コマンドの標準入出力を代用できる機能ということか。

例えば、 "cat <(ls ./a) <(ls ./b)" とすれば、 "ls ./a" の内容と "ls ./b" の内容が連結されて出力されるし、
"command0 | tee >(command1) | command2" とすれば、 command0 の標準出力が、 command1 の標準入力と、 command2 の標準入力両方に渡される。
また、「ファイルの読み書きの代替」となるため、 "command0 2> >(command1)" のようにリダイレクト先のファイル名の替わりにプロセス置換を使えば、標準エラーだけを command1 の標準入力に渡すことができる。

ちょっとその尖った使い所を考えてみる。

例えばこんな、標準出力と標準エラーを吐き出すスクリプトがあったとしよう。

$ cat <<'EOF' > ./testecho.sh
#!/bin/bash
echo "stdout1" >&1
echo "stderr1" >&2
echo "stdout2" >&1
echo "stderr2" >&2
EOF
$ chmod u+x ./testecho.sh

このスクリプトを実行し、標準エラーだけ command2 に渡して、標準出力は command1 に渡したい場合、プロセス置換を使うと以下のようにできる。

$ ./testecho.sh 2> >(command2) | command1
# -> 各コマンドの入力
#   command1:
#     stdout1
#     stdout2
#   command2:
#     stderr1
#     stderr2

ここで更に、標準出力と標準エラーの両方を command2 に渡して、標準出力だけを command1 に渡したい場合、ちょっと複雑になるが以下のようにして実現できる。

$ ./testecho.sh 2>&1 > >(tee >(command1)) | command2
# -> 各コマンドの入力
#   command1:
#     stdout1
#     stdout2
#   command2:
#     stdout1
#     stderr1
#     stderr2
#     stdout2

少し複雑なので分解して考えてみよう。

まずは testecho.sh のリダイレクト部分 (赤枠) を考える。
1. リダイレクトを複数並べる場合は左から評価されるが、後ろに書いたリダイレクトで上書きされるような動きをするので、右から順番にリダイレクトされると考えるとわかりやすい。 ¹
  このため、まずは (黄色下線部) の部分を見てみよう。
  この部分は、標準出力をファイルにリダイレクトしているだけ (つまり、只の "> ファイルパス") の表記だ。
  ただ、ファイルパスの代わりにプロセス置換 (">(cmd_list)") が使われており、標準出力が tee の標準入力へ書き込まれている。
  1. さらに、 tee のファイル出力もまた、プロセス置換を使って command1 の標準入力に渡される。
    結果的に、 testecho.sh の標準出力だけが、 command1 の標準入力に渡されることになる。
  2. 次に、 tee の標準出力のほう、これは ./testecho.sh を実行した標準出力に戻ってくる。
2. さて、 testecho.sh のリダイレクトに話を戻すと、その次のリダイレクト (水色下線部) の "2>&1" によって、 tee の標準出力と ./testecho.sh の標準エラーが、標準出力側に統合される。
最後に、その統合された標準出力が、パイプで command2 に渡される。
結果的に、 testecho.sh の標準出力と標準エラーの両方が、 command2 の標準入力に渡されることになる。

ちなみに、 ./testecho.sh の標準出力と標準エラーの出力速度が早いと、上記の出力例のように command2 に渡される標準出力と標準エラーが順不同になってしまう。

なお、以下のようにやっても同じ結果になるはずだ。

$ ./testecho.sh > >(command2) 2>&1 > >(tee >(command1))

実用例

例えば、以下のようにすると、コマンドの標準出力だけメールを出しつつ、メールの内容と標準エラーの両方を journal に書き込む事ができる。

./testecho.sh 2>&1 > >(tee >(/usr/sbin/sendmail [email protected])) | /usr/bin/systemd-cat

ただ、どうせ journal に記録するなら、 -t オプションを使って、以下の 3 つを識別子で分けて記録したほうが良いかもしれない。

./testecho.sh の標準エラー
./testecho.sh の標準出力
sendmail の標準出力＆エラー

./testecho.sh 2> >(/usr/bin/systemd-cat -t cmderr) > >(tee >(/usr/bin/systemd-cat -t mailout /usr/sbin/sendmail -v [email protected]) | /usr/bin/systemd-cat -t cmdout)

うーん、 ここまで来ると初見で動作を理解できる気がしない。

参考:

https://tellme.tokyo/post/2020/02/07/tee-command/
https://www.greptips.com/posts/189/

記事の初稿でリダイレクトの参照順の説明が誤っていたので訂正。ただ、詳しい仕組みは難しくて説明しきれないのでググって。 ↩︎

IPAのネットワークスペシャリスト試験の過去問一括ダウンロードスクリプト

2019-10-12T12:27:26+09:00

IPAのネットワークスペシャリスト試験の過去問を一括ダウンロードするスクリプト。
平成16年～平成20年は、午前がまとまっているので、午後の問題のみ。

スクリプトはこんな感じ

#!/bin/bash

# *****************************************************************************
# * ネットワークスペシャリスト試験の過去問一括ダウンロードスクリプト
# *****************************************************************************

first_year=16 # 平成16年から
last_year=30  # 平成30年まで

base_url='https://www.jitec.ipa.go.jp/1_04hanni_sukiru'
dl_dir='dist'

dl_pdf() {
  year_label="${1}h${2}"
  fname="$3"

  url="${base_url}/mondai_kaitou_${year_label}_2/${year_label}a_${fname}.pdf"
  echo "#### DOWNLOAD: ${url}"

  wget ${url} -P "./${dl_dir}"
  sleep 1  # 1秒待つ
}

rm -rf ${dl_dir}
mkdir ${dl_dir}

for i in `seq ${first_year} ${last_year} | sort -r`;do
  year="$((1988 + i))"
  year2="${i}"
  echo "${year} - ${year2}"
  if [ $year2 -gt 21 ]; then
    dl_pdf "$year" "$year2" 'nw_am2_qs'
    dl_pdf "$year" "$year2" 'nw_am2_ans'
    dl_pdf "$year" "$year2" 'nw_pm1_qs'
    dl_pdf "$year" "$year2" 'nw_pm1_ans'
    dl_pdf "$year" "$year2" 'nw_pm1_cmnt'
    dl_pdf "$year" "$year2" 'nw_pm2_qs'
    dl_pdf "$year" "$year2" 'nw_pm2_ans'
    dl_pdf "$year" "$year2" 'nw_pm2_cmnt'
  elif [ $year2 -gt 18 ]; then
    dl_pdf "$year" "$year2" 'nw_pm1_qs'
    dl_pdf "$year" "$year2" 'nw_pm1_ans'
    dl_pdf "$year" "$year2" 'nw_pm1_cmnt'
    dl_pdf "$year" "$year2" 'nw_pm2_qs'
    dl_pdf "$year" "$year2" 'nw_pm2_ans'
    dl_pdf "$year" "$year2" 'nw_pm2_cmnt'
  else
    dl_pdf "$year" "$year2" 'nw_pm1_qs'
    dl_pdf "$year" "$year2" 'nw_pm1_ans'
    dl_pdf "$year" "$year2" 'nw_pm2_qs'
    dl_pdf "$year" "$year2" 'nw_pm2_ans'
  fi
done

こんな感じで実行すると...

$ bash download_pdf_nw.sh 2>&1

こんな感じにdist配下にPDFをダウンロードしてきます。

あとは、好きなのを印刷すればOK(´ω｀)

システムアーキテクトやデータベーススペシャリスト版はこちら。
・システムアーキテクト試験の過去問一括ダウンロードスクリプト - くらげになりたい。
・データベーススペシャリスト試験の過去問一括ダウンロードスクリプト - くらげになりたい。

以上！！

こんなのつくってます!!

積読用の読書管理アプリ『積読ハウマッチ』をリリースしました！
積読ハウマッチは、Nuxt.js+Firebaseで開発してます!

もしよかったら、遊んでみてくださいヽ(=´▽`=)ﾉ

要望・感想・アドバイスなどあれば、
公式アカウント(@MemoryLoverz)や開発者(@kira_puka)まで♪

パイプで受け取った標準入力を列ごとに読みこんで配列っぽく処理したい

2019-10-11T01:39:47+09:00

最近、古いシェルスクリプトをリファクタリングしたので、そのときに使ったテクニックをここに残しておく。

コマンドをパイプでつないで、最終的に出力を行単位で読み込みたいときがある。例えば、以下のlsコマンドの出力から一番ファイルサイズが大きいやつを選びたいとする。

$ ls /tmp/
total 28
...
drwx------  2 root wheel   64 10  8 01:25 KSDownloadAction.dFCyHsIUZR
-rw-r--r--  1 root wheel    0 10  9 23:35 wetrsmuoutpDmR5aR
-rw-r--r--  1 root wheel    0 10  9 23:36 wetrsmuoutpalIXOW
...

レガシー（というかマナーが悪い）なコードだとこんな感じになる。

#!/usr/bin/env bash

set -eu

OLD_IFS="${IFS}"; IFS=$'\n'
max_size=0
max_filename=
ls_outpu="$(\ls -l /tmp/ | sed -e '1d' | grep -v '^d')"
for output in ${ls_outpu}
do
    filesize="$(echo "${output}" | awk '{print $5}')"
    filename="$(echo "${output}" | awk '{print $9}')"
    if [ "${filesize}" -gt "${max_size}" ]; then
        max_size="${filesize}"
        max_filename="${filename}"
    fi
done
IFS="${OLD_IFS}"

やりたいことはタイトルにあるように「パイプで受け取った標準入力を列ごとに読みこんで配列っぽく処理したい」なんだけど、上のコードはいくつか良くない点がある。

IFSを一時的に置き換えている。
空白区切りの行から特定位置の文字列を取り出すためにawkを使っている。
数字を比較している。

１つずつ説明する。

問題点と解決法

IFSを一時的に置き換えている。

これは古いシェルスクリプトだとよく見かけるけど、このやり方はメンテナンスが非常にやりにくくなり、本当に危ないのでやめたほうが良い。
まず、IFSはshellにおいて、文字列の区切りを示すもの。これを変えることで、文字列の区切りを変えることが出来る。

通常、IFSは半角スペース、タブ文字、改行の３つである。ここではls -lの出力を行ごとに読み込むために文字列の区切りを改行区切りにしている（そうしなければ、出力を１行ごとに列単位で扱うことになってしまう）。そして処理が完了したらIFSを元に戻している。

これ、最初に書いた人は良いけど、別の人がコードを保守するときに、この部分を見落としがちなのでバグが発生しやすくなるんだよね。コードを読む人は途中でIFSが変わったことを常に意識しながら読むことを強いられるので、コードの保守性が著しく悪くなる。

よって、IFSの置き換えは良くないのでやめましょう。ではどうすれば良いのかと言うと、ヒアドキュメントを使ってreadで読み込めば良い。

while read line
do
    ...
done <<< "$(ls -l /tmp/ | sed -e '1d' | grep -v '^d')"

すこし見づらくなるけど、こうすることでIFSの置き換えが不要になり、行ごとに変数lineの中に文字列が格納されるようになる。

もしかしたらこうしたほうが良いかも？と思う人がいるかもしれない。

ls -l /tmp/ | sed -e '1d' | grep -v '^d' | while read line
do
    ...
done

べつにこれでも良いのだけど、パイプで繋がれた処理はサブシェルで起動するということを思い出してほしい。今回のようにwhileのループ文の中で、事前に定義した変数を読み込みたい場合、つまり、以下のような場合、

max_size=0
max_filename=
ls -l /tmp/ | sed -e '1d' | grep -v '^d' | while read line
do
    filesize="$(echo "${output}" | awk '{print $5}')"
    filename="$(echo "${output}" | awk '{print $9}')"
    if [ "${filesize}" -gt "${max_size}" ]; then
        max_size="${filesize}"
        max_filename="${filename}"
    fi

done

ループ文中のmax_sizeとmax_filenameは先に定義したものとは別の変数として扱われる。その上、サブシェルなのでループ文を抜けると、その中にあった変数たちは参照できなくなる。なぜなら、サブシェルはメインのシェルとは違う世界なので。よって、パイプでつなぐのでなく、ヒアドキュメントで入力を受け取るようにしている。

もちろん、サブシェルで起動しても問題なければパイプで繋げばいいと思うけど、ヒアドキュメントを使えばサブシェルの起動を１つ減らせるので、リソースやパフォーマンスの面からもオススメしたいやり方だったりする。

空白区切りの行から特定位置の文字列を取り出すために`awk`を使っている。

awkって便利なのでよく使われているんだけど、大抵の場合、空白切りの文字列の特定の位置の文字を取り出すときに使われることが多い。手元のコマンドラインで使うとかだったら良いんだけど、データ処理とかバッチ処理のスクリプトで使っているとしたら、なるべく次に紹介する方法で置き換えたほうが良い。awkは重いし、思わず色々awkの中に処理を詰め込みがちになってしまうから。

オススメのリファクタリングとしては、setを使うこと。setというのは、よくシェルスクリプトの冒頭でset -euとかやると思うんだけど、そのset。これはbuilt-in関数なのでawkと違って別途にプロセスがforkされることがなくて軽い。

で、どういうふうにsetをawkの代わりに使うのかというと、以下のようになる。

...
    set -- ${output}
    filesize="${5}"
    filename="${9}"
...

これだけ。スッキリしてわかりやすくなったと思う。解説はman setで見れば良いと思うけど、ここに引用しておく。

Any arguments remaining after option processing are treated as values for the positional parameters and are assigned, in order, to $1, $2, ... $n.

--については以下の引用を参考。grepとかでもよく使うので知っている人は多いと思う。

-- If no arguments follow this option, then the positional
parameters are unset. Otherwise, the positional parame-
ters are set to the args, even if some of them begin with
a -.

つまり、set -- foo bar bazとやると、それぞれが$1, $2, $3に格納される。Pythonで言うところの*argsみたいな可変長引数みたいな感じで位置引数として利用することが出来る。これにより、もうawkを使ってわざわざechoしてパイプで…みたいなことをしなくて済む（もちろんIFSを変更していないことが前提である）。

副作用としては、シェルスクリプトに渡された位置引数を上書きすることになるので、そういった引数は事前に別の変数に格納しておくのを忘れないこと。

数字を比較している

これはなんのこっちゃと思うかもしれないけど、-gtや-neは本来は数値を比較するためのものであって数字を比較するものではない。つまり、文字列のままで数字を扱うのは危ないのでやめましょうということ。ではどうするかというと、以下のようにすれば良い。

    if [ $((filesize)) -gt $((max_size)) ]; then

シェルスクリプトで足し算とかするときに$((foo + bar))みたいなことをするとおもんだけど（もしexprを使っているなら即刻書き換えましょう）、上のようにすることで数字を数値にすることが出来る。これの何が良いかと言うと、もし変数の中身がアルファベットのような数字ではない文字だった場合はゼロとして扱われる。

$ a="aaa"
$ echo $((a))
0

状況によるが、変数が数字でなければゼロとして扱って差し支えない場合はこのようにすることで余計な数字判定の式を省くことが出来る。

まとめ

ということで、ここまでの内容をまとめると以下のようになる。

max_size=0
max_filename=
while read -r line
do
    set -- ${line}
    filesize="${5}"
    filename="${9}"
    if [ "$((filesize))" -gt "$((max_size))" ]; then
        max_size="${filesize}"
        max_filename="${filename}"
    fi
done <<< "$(\ls -l /tmp/ | sed -e '1d' | grep -v '^d')"

行数はほとんど変わらないけど、最初の方と比べるとわかりやすくなったかなと思う。特別な処理とかないし。ちなみに、もっとも大きいファイル名を取得するだけならls -S | head -1で一発で取れるので、わざわざこんなことをしなくて良い。

Nuxt.jsで未利用のVueコンポーネントを探すシェルスクリプト

2019-10-08T16:56:35+09:00

最近Nuxt.jsでWebアプリを作ってるけど、
度重なる改修でVueコンポーネントが乱立。。

使ってないのもたくさんありそうなので、調べるスクリプトを作ってみた。

スクリプトはこんな感じ

#!/bin/bash

# vueコンポーネントの一覧を取得
FILES=`find components -name "*.vue"`
for i in $FILES; do
  #  全体からコンポーネントをインクルードしている行の数を取得
  NUM=`grep -r "$i" * | wc -l | sed -e "s:[^0-9]*::g"`

  # ファイル名と見つけた件数を表示
  echo "** ${NUM}: ${i}"

  # grepした結果を表示(確認用)
  grep -r "$i" * 
  echo ""
done

こんな感じで出力されるので、** 0:で始まるコンポーネントを削除していけばOK。

** 1: components/Hero.vue
pages/index.vue:import Hero from "~/components/Hero.vue";

** 0: components/OgpUserStock.vue

** 0: components/Card.vue

** 3: components/atom/TotalNumBooks.vue
pages/clip/_uid.vue:import TotalNumBooks from "~/components/atom/TotalNumBooks.vue";
pages/read/_uid.vue:import TotalNumBooks from "~/components/atom/TotalNumBooks.vue";
pages/stack/_uid.vue:import TotalNumBooks from "~/components/atom/TotalNumBooks.vue";

確認用にgrepの結果を出しているけど、コメントアウトしたり、
NUMが0件のときは、結果を表示しないようにすればいい感じ。

もしくは、| grep "** 0:"で結果をgrepするとかでもいいかも。

appとかディレクトリを変えてる場合

こんな感じにapp配下とかに場所を変えている場合は、

app/
  pages/
  components/

こんな感じで、findする場所を変えればOK♪

#!/bin/bash

FILES=`find app/components -name "*.vue" | sed 's:app/::g'`
for i in $FILES; do
  NUM=`grep -r "$i" app/* | wc -l | sed -e "s:[^0-9]*::g"`
  echo "** ${NUM}: ${i}"
  grep -r "$i" app/* 
  echo ""
done

以上!!

こんなのつくってます!!

積読用の読書管理アプリ『積読ハウマッチ』をリリースしました！
積読ハウマッチは、Nuxt.js+Firebaseで開発してます!

もしよかったら、遊んでみてくださいヽ(=´▽`=)ﾉ

要望・感想・アドバイスなどあれば、
公式アカウント(@MemoryLoverz)や開発者(@kira_puka)まで♪

Git Revert 複数コミットをまとめて取り消すときにコミットメッセージを設定する

2019-05-20T18:32:12+09:00

｢ここからここまでのコミット｣と範囲を指定したrevertをして、いい感じのコミットメッセージを作る方法です。

複数のコミットをrevertしたい場合は、単に複数のコミットを指定するか、オプション--no-commitでrevertコマンドを繰り返した後にrevert --continueして確定します。どちらの場合も、コミットメッセージをコマンドラインで指定することができません。オプション-eはコミットメッセージを編集するためのエディタを開くもので、メッセージをコマンドラインで指定できません。*コマンドリファレンス Git - git-revert Documentation

メッセージを指定するには、オプション--no-commitを実行した後に通常のコマンドgit commitをオプション-mと共に実行します。from: stack overflow

ところで、gitには｢ここからここまでのコミット｣を表す記法があります。例えば、master..HEADの｢..｣みたいなやつ。詳しくはここに書いてあります、Git Book コミットの範囲指定。revertコマンドでは、この記法で複数コミットを指定できます。

以下のコマンドではbashの文字列展開を使って、すべての取り消し対象コミットのメッセージの先頭行を結合したテキストを作ります。

$ ref=[ここまで戻したいコミット、タグ]
$ git revert --no-commit $ref..HEAD
$ git commit -m "Revert to $ref" -m "$(eval "git log --pretty=oneline $ref..HEAD")"

# 確認
$ git diff $ref HEAD

revert --no-commitで、チェリーピッキング
- revert --continueするとメッセージが指定できない
commit -mしてしまえばいい
- -mオプションを複数書いたら改行して追加される
bashで入れ子の文字列展開にはevalを使う
- "$(eval "$var")"

「Bash」の記事 - Crieit

Docker run の起動時に任意コードを実行後 bash や ash を終了しない

パスを追加したのに反映されない

Docker の php:7-alpine イメージで Composer と Xdebug を使えるようにする

[Linux] messagesログの日付指定参照

[Linux] ssh鍵の自動生成

[Linux] ランダム文字列

シェルスクリプト（Bashスクリプト）でかんたんな自作言語のコンパイラを書いた

bash で標準出力と標準エラーを 2つのコマンドに出し分ける

IPAのネットワークスペシャリスト試験の過去問一括ダウンロードスクリプト

パイプで受け取った標準入力を列ごとに読みこんで配列っぽく処理したい

空白区切りの行から特定位置の文字列を取り出すためにawkを使っている。

数字を比較している

Nuxt.jsで未利用のVueコンポーネントを探すシェルスクリプト

Git Revert 複数コミットをまとめて取り消すときにコミットメッセージを設定する

空白区切りの行から特定位置の文字列を取り出すために`awk`を使っている。