「シェルスクリプト」の記事 - Crieit

シェルスクリプト（Bashスクリプト）でかんたんな自作言語のコンパイラを書いた

2021-12-21T07:40:58+09:00

シェルスクリプト Advent Calendar 2021
https://qiita.com/advent-calendar/2021/shellscript
の20日目の記事です。

Bashがある環境ならどこでも自作言語で書いたプログラムをコンパイルできるようになりました。

できたもの

https://github.com/sonota88/vm2gol-v2-bash

いろいろと雑なのですが、アドベントカレンダーの期日があるのでとりあえず公開します。

サイズはこんな感じ。

$ wc -l {lexer,parser,codegen}.sh lib/*.sh
  220 lexer.sh
  655 parser.sh
  525 codegen.sh
   42 lib/common.sh
  193 lib/json.sh
  284 lib/utils.sh
 1919 合計

動かし方の例

echo '
func add(a, b) {
  return a + b;
}

func main() {
  var one = 1;
  var result;
  call_set result = add(one, 2);
}
' | ./lexer.sh | ./parser.sh | ./codegen.sh

# ↓アセンブリが出力される
  call main
  exit
label add
  push bp
  cp sp bp
  cp [bp:2] reg_a
  push reg_a
  cp [bp:3] reg_a
  push reg_a
  pop reg_b
  pop reg_a
  add_ab
  cp bp sp
  pop bp
  ret
label main
  push bp
  cp sp bp
  sub_sp 1
  cp 1 reg_a
  cp reg_a [bp:-1]
  sub_sp 1
  cp 2 reg_a
  push reg_a
  cp [bp:-1] reg_a
  push reg_a
  _cmt call~~add
  call add
  add_sp 2
  cp reg_a [bp:-2]
  cp bp sp
  pop bp
  ret
# (snip)

移植元

https://github.com/sonota88/vm2gol-v2

Bashスクリプト版のベースになっているバージョンは tag:62 のあたり

＜自作言語処理系の説明用テンプレ＞

自分がコンパイラ実装に入門するために作った素朴なトイ言語とその処理系です。簡単に概要を書くと下記のような感じ。

小規模: コンパイラ部分は 1,000 行程度
pure Ruby / 標準ライブラリ以外のライブラリ不要
x86風の自作VM向けにコンパイルする
ライフゲームのために必要な機能だけ
- 変数宣言、代入、反復、条件分岐、関数定義
- 演算子: +, *, ==, != のみ（優先順位は ( ) で明示）
- 型なし（値は符号付き整数のみ）
作ったときに書いた備忘記事
- RubyでオレオレVMとアセンブラとコード生成器を2週間で作ってライフゲームを動かした話
- Rubyでかんたんな自作言語のコンパイラを作った
本体には含めていない後付けの機能など
- 真偽値リテラル / break / if/else / 単項マイナス / Racc などを使って書いたパーサの別実装
Ruby 以外の言語への移植
- コンパイラ部分のみ
- Python, Java, TypeScript など、2021-12-19 の時点では 20言語
セルフホスト版
製作過程を知りたい場合は製作メモを見てください

＜説明用テンプレおわり＞

メモ

文字列

下記の記事のおかげでなんとかなりました。ありがとうございます 🙏

シェルスクリプトはバイナリを扱えない。さてどうしよう…… - Qiita

バイト単位で16進数表現との相互変換さえできてしまえば、あとは煮るなり焼くなり思いのまま、です。

データ構造

[
  123, "fdsa",
  [
    11, "FDSA",
    []
  ]
]

のような、リストの要素として整数、文字列、リストを持たせることができる再帰的なデータ構造が必要です。Bashスクリプトの配列は単純な値を入れる分にはいいのですが、ネストしたリストを扱うことができなさそうでした。

（※ いつもならこういうことをやりたくなった段階で別の言語で書くことを検討しますが、今回は Bashスクリプトで書くこと自体が目的です）

そこで、ひとまず下記のようにしました。もっと良いやり方がある気がします。

リストの要素にあたるデータの表現はこんな感じ。

# 整数
"int:-123"

# 文字列
"str:fdsa"

# リスト
"list:1"

先頭に型を表すタグを付けた1行の文字列
文字列の値（str:... の ... の部分）は改行を含まない（レキサで捨てる）ため、改行についての考慮は不要
list: の後に続く数字はリストID

たとえば ["+", 1, -2] というリストは次のように3行の文字列で表せます。1行がリストの要素1つに対応します。

"str:+
int:1
int:-2
"

この文字列をグローバルな配列変数に入れて管理する形にしました。要素のインデックスがリストIDに対応します。

たとえば、入れ子のあるリスト ["+", 1, ["*", 2, 3]] は次のようになります。

# GLOBAL[0]
"str:*
int:2
int:3
"

# GLOBAL[1]
"str:+
int:1
list:0
"

パフォーマンスの問題は別途ありますが、要するに下記のような操作ができるインターフェイスが用意できればOK。

リストの要素数を求める
リストからn番目の要素を読み書きする
リストの要素の型を判別する
リストの要素の値を取りだす

関数からの値の返却

関数 myfunc から標準出力に出力して result="$(myfunc)" のようにコマンド置換で受け取る方法だと不都合な点が2つあります。

(1) 末尾の改行の有無を制御しにくい
- シェルスクリプトにはコマンド出力を変数に入れると末尾の改行が全部消えてしまう罠がある！ - Qiita に書かれている通り
(2) 呼び出した関数内でグローバル変数を更新できない
- コマンド置換だとサブシェルになるので

ちょっと悩みましたが、結局下記の方式に落ち着きました。

関数からの戻り値の受け渡し用のグローバル変数 RV1 を用意する
$(...) で囲まずに普通に関数を呼び出す
関数側では、返したい値を RV1 に代入する
呼び出し元では、関数呼び出しの直後に RV1 から移し替える

単純な例として、文字列を２つ受け取って連結した文字列を返す関数。

# return value
RV1=

myfunc() {
  RV1="${1}${2}"
}

myfunc "foo" "bar"
retval="$RV1"

こうですね。単にこのパターンで書けばよいだけなので頭は使わなくてよいです。無心に書いていくとコンパイラができあがります。並行処理とかやってないですし、関数から戻った直後で受け取る約束さえ守っていれば問題は起こりません。

全然スマートじゃなくてなんじゃこりゃって感じのソリューションですけど、この方法にも良いところがあって、RV2, RV3, ... と増やすことで複数の値をいくらでも返すことができます。あと、コマンド置換よりはオーバーヘッドが小さいかもしれません（未確認）。

関数の中でグローバル変数を書き換える実際の例としてはリストの生成処理があります。ヒープにリスト用の領域を確保して、リストを指し示すポインタを返すようなイメージです。

new_list() {
  new_gid
  local self_=$RV1
  GLOBAL[$self_]=""

  RV1=$self_
}

new_list
list1_=$RV1

Ruby で書くとしたらこんな感じ。

def new_list
  self_ = new_gid() # 新しいインデックスを採番
  $GLOBAL[self_] = ""
  return self_
end

list_ = new_list()

というわけで、かんたんなコンパイラを書くことにより、Bashスクリプトにおける

文字列処理
データ構造（入れ子のあるリスト）
関数からの値の返却

についてのノウハウが新たに得られました。めでたしめでたし。

この記事を読んだ人は（たぶん）こちらも読んでいます

Perlでかんたんな自作言語のコンパイラを書いた

なでしこ3でかんたんな自作言語のコンパイラを書いた

素朴な自作言語のコンパイラをLibreOffice Basicに移植した

シェルスクリプト内のエラーで実行を停止する「-e」と、実行コマンドを出力する「-x」オプションを使ったシェルスクリプトの開発

2020-01-04T00:49:50+09:00

「ソフトウェアデザイン2020年1月号」を読んでいるのですが、その中に次の一節がありました。

GitLab のCI に関する部分は.gitlab-ci.yml に書き、単独でも実行できる内容はシェルにまとめて、scriptで呼び出すのがお勧めです。
そうすると、.gitlab-ci.ymlに必要な事項だけがまとまって見やすくなるはずです。
しかし、シェルスクリプトにまとめてしまうと実行経過が見えなくなったりするので、シェルスクリプト内で実行過程を標準出力に出力するか、シェルスクリプトのshebang注C に「set -x」または
「set -xe」を付けることをお勧めします。

GitLab特集の記事ですが、CI上で実行するシェルスクリプトには、「set -x」または「set -xe」を付けようという内容です。

なぜ「set -x」または「set -xe」なのか、少し深堀ってみます。
これが理解できるようになると、CI以外の環境であっても、重要なオプションであることがわかります。

なお本記事では、「/bin/bash」を使用しております。

「-e」オプション（bash -e / set -e）

errexit -e：パイプやサブシェルで実行したコマンドが1つでもエラーになったら、直ちにシェルを終了する
https://www.atmarkit.co.jp/ait/articles/1805/10/news023.html より

シェルスクリプトを実行する際に「-e」を追加すると、エラーが起きたコマンドの時点でスクリプトが終了するようになります。

#!/bin/bash -e

# 存在しないファイルを閲覧しようとする
cat ./test1

# 以下は実行されない
cat ./test2
cat ./test3

$ /bin/bash -e test.sh
cat: ./test1: No such file or directory
$ echo $?
1 # 1が出力されるため、test.shが成功しなかったことがわかります

または「set -e」を使っても、同様にエラーが発生した時点で処理を止めることができます。

#!/bin/bash

# -o：シェルオプションを有効にする
set -e

# 存在しないファイルを閲覧しようとする
cat ./test1

# 以下は実行されない
cat ./test2
cat ./test3

# +o：シェルオプションを無効にする（-oによる設定を打ち消す）
set +e

「-e」オプションを使わない場合

自力で頑張る場合は、コマンドの終了ステータスを判定することによって、制御が可能です。

#!/bin/bash

cat ./test1

# コマンドの終了ステータスが「0」以外であれば、コマンドは成功していない
cmdstatus=$?
if [ $cmdstatus -ne 0 ]; then
    echo "command error!!"
    # 必要なら、ここで異常系フローの後処理ができる

    # 実行を終了させる
    exit $cmdstatus
fi

# 以下は実行されない
cat ./test2
cat ./test3

「-x」オプション（bash -x / set -x）

xtrace -x：トレース情報として、シェルが実行したコマンドとその引数を出力する。情報の先頭にはシェル変数PS4の値を使用
https://www.atmarkit.co.jp/ait/articles/1805/10/news023.html より

シェルスクリプトを実行する際に「-x」を追加すると、シェルが実行したコマンドを出力します。

#!/bin/bash -x

cat ./test1
cat ./test2
cat ./test3

$ /bin/bash -x test.sh
+ cat ./test1
cat: ./test1: No such file or directory
+ cat ./test2
cat: ./test2: No such file or directory
+ cat ./test3
cat: ./test3: No such file or directory

スクリプト内に「set -x」を記述する場合は、トレースしたい箇所の前後に追加します。

#!/bin/bash

set -x
cat ./test1
cat ./test2
cat ./test3
set +x

「-ex」は、シェルスクリプトのデバッグで役に立つ

これら2つのオプションは、組み合わせて使うことができます。

「-e」オプションによりエラーが起きた時点でスクリプトが終了しますが、「-x」オプションにより実行コマンドが逐一出力されるため、開発中やデバッグ時はとくに便利です。

#!/bin/bash -ex

# 存在しないファイルを閲覧しようとする
cat ./test1

# 以下は実行されない
cat ./test2
cat ./test3

$ /bin/bash -ex test.sh
+ cat ./test1
cat: ./test1: No such file or directory
# 「cat ./test1」でエラーが起きて失敗したことが、ひと目でわかる

CI上で実行されるシェルスクリプトのデバッグ

CI上でシェルスクリプトを動かす場合、基本的には自分の手の届かない範囲でスクリプトが実行さます。

でもシェルスクリプトの実行にデバッグオプションを付けておけば、CIのログを確認することで、スクリプトの実行確認やエラーの追跡がとてもやりやすくなります。

さいごに

アプリケーションのプログラミングでは、「try〜catch」をはじめとするエラー制御が必要であるという認識は普及しています。

一方で、シェルスクリプトにおいてもエラー処理や異常系を考慮して開発する必要があります。
これは意外と抜け落ちやすいので、忘れないようにしましょう（・・という戒めを込めた、自分向けの記事だったりします）。

ちなみに「ソフトウェアデザイン2020年1月号」にはGitLab特集があるのですが、私もGitLabは好きです。
実際に業務で使ってますが、CIがとても書きやすいです。

apacheのconfigtestは"Syntax OK"でもエラー扱い

2019-07-12T19:35:42+09:00

最初に。ごめんなさい

タイトル盛りました。
正確には、
apacheのconfigtestは"Syntax OK" を標準エラー出力する。戻り値はちゃんと0が返る。
です。

調べてもあまり情報出てこなかったし、誰も気にしていないんだろうけど。

確認したバージョン

Server version: Apache/2.2.34 (Unix)

Server version: Apache/2.4.33 (Unix)

経緯

定期的に（結構な頻度で）apacheのエイリアスを増やさなきゃいけない不思議な環境がありまして。
いい加減、手作業がダルいので、シェルで自動化しようと考えまして。

# 色々処理をごにょごにょ
doSomething1
doSomething2
doSomething...

service httpd configtest >> logfile
RET=$?
echo $RET >> logfile
if [ ${RET} = 0 ]; then
    service httpd graceful
fi

（今、そらで書いたのでだいぶ怪しい）

で、動かして見たらconfigtestのところがログになかった。
あれ???ってなって、構文ミスったかな？　とか、いろいろ見直した。
最終的にやっと気が付いて、

# 色々処理をごにょごにょ
doSomething
doSomething2
doSomething...

service httpd configtest >> logfile 2>&1
RET=$?
echo $RET >> logfile
if [ ${RET} = 0 ]; then
    service httpd graceful
fi

これでちゃんとログに出た。

ちょっと待って

Q. これってapacheの仕様うんぬんの前に……。
A. はい。何らかのエラー出力があった場合もログに出ないので、最初のプログラムはただの僕が作ったバグです。

まあ

戻り値はちゃんと出し分けてるのに（当たり前だ）
出力は出し分けずに標準エラー出力で統一ってのも、なんか不思議な気はする。
まあ、だいたい2>&1するし、実害はないんだけど。