「なでしこ3」の記事 - Crieit

なでしこ3でかんたんな自作言語のコンパイラを書いた

2021-12-13T06:56:59+09:00

日本語プログラミング言語「なでしこ」 Advent Calendar 2021
https://qiita.com/advent-calendar/2021/nadesiko
の13日目の記事です。

ライフゲームのコンパイルが通ればヨシ、という程度の雑なものです。

https://github.com/sonota88/vm2gol-v2-nadesiko3

移植元

https://github.com/sonota88/vm2gol-v2

なでしこ3版のベースになっているバージョンは tag:62 のあたり

＜自作言語処理系の説明用テンプレ＞

自分がコンパイラ実装に入門するために作った素朴なトイ言語とその処理系です。簡単に概要を書くと下記のような感じ。

小規模: コンパイラ部分は 1,000 行程度
pure Ruby / 標準ライブラリ以外のライブラリ不要
独自VM向けにコンパイルする
ライフゲームのために必要な機能だけ
- 変数宣言、代入、反復、条件分岐、関数定義
- 演算子: +, *, ==, != のみ（優先順位は ( ) で明示）
- 型なし（値は符号付き整数のみ）
作ったときに書いた備忘記事
- RubyでオレオレVMとアセンブラとコード生成器を2週間で作ってライフゲームを動かした話
- Rubyでかんたんな自作言語のコンパイラを作った
本体には含めていない後付けの機能など
- 真偽値リテラル / break / if/else / 単項マイナス / Racc などを使って書いたパーサの別実装
Ruby 以外の言語への移植（コンパイラ部分のみ）
セルフホスト版
製作過程を知りたい場合は製作メモを見てください

＜説明用テンプレおわり＞

メモ

なでしこ3版のサイズ（行数）はこれくらい。1,000行切ってますね。

$ wc -l *.nako3 lib/*.nako3
  365 codegen.nako3
  110 lexer.nako3
  422 parser.nako3
   49 lib/utils.nako3
  946 合計

そんなに苦労しなかった
- 書き味は普通にスクリプト言語っぽい感じ
- 標準でJSON読み書きできる、ネストした配列が作れる
- [1, "a", []] のように JavaScript っぽくリテラルが書ける
ファイル分割できない？
- ナデシコ命令を使って分割したファイルの取込み（というか読み込んだコードの評価）ができないか軽く試したのですが、期待した動きにならなかったので、諦めて適当なスクリプト（preproc.rb）で前処理することに

引数＋助詞、引数＋助詞、 ... 関数。 のように書くのだ、ということをまず最初に知ると基本的な読み書きができるようになります。

なでしこさんマニュアル - 文法/基本

命令文の基本的な文形 *
そして、なでしこのプログラムの構造は、以下のような形式になっています。
引数＋助詞、引数＋助詞、 ... 関数。
『「こんにちは」と表示』という命令文で言えば、「こんにちは」が引数で、「表示」が関数となります。

「読んで」が 読 と んで に別れる、みたいなのもあって最初はよく分からなかった気がするので、助詞一覧にも目を通しておくとよいです。

なでしこさんマニュアル - 文法/字句解析

予約語や助詞はハイライトがあるといいなと思って、 Emacs の generic-mode で色を付けて書いていました。最初は助詞一覧が頭に入ってないので、エディタのサポートがあると入門がスムーズになるように思います。Qiita のコードブロックでもサポートされるといいですね。

参考: Emacs でオレオレ言語用モードを簡単作成！ (ヘルプもあるよ！) - Qiita

最初は慣れてなくて試行錯誤が少しありました、という例をメモ。

# 「変数宣言パース」はトークン列をパースして変数宣言文オブジェクトを返す自作関数
# 「文リスト」は配列
変数宣言パースして文リストに配列追加

変数宣言パース 関数の戻り値を 文リスト に追加したいのですが、これは文法エラーになります。

マニュアルの「配列追加」命令の説明に書かれているように、AにBを または Aへ の形で引数を渡さなければいけない（関数定義で定められた通りに助詞を添えなければいけない）からです。

ふーむ、なるほど、ということで次のように一時変数を補って2行（2文？）に分けると AにBを配列追加 の形になり、動くようになります。

変数宣言パースして文に代入
文リストに文を配列追加

1行で書けないでしょうか？

# () はなくてもOK
文リストに（変数宣言パース）を配列追加

1行で書けるようになりました。でもなんか微妙ですね……:thinking:

こういう場合は、「それ」を使うと AにBを配列追加 の形に持ち込むことができます。

変数宣言パースして、文リストにそれを配列追加

# 「Aに」「Bを」の順番は入れ替えてもよい
変数宣言パースして、それを文リストに配列追加

自然になりました。なるほど、こう書けばいいのかー。

なでしこさんマニュアル - 文法/それ

なでしこ3には敬語があります。

なでしこさんマニュアル - 文法/敬語

なでしこv3.1.14以降、なでしこで礼節をわきまえたプログラムを書くことができるようになりました。

使ってみました。なでしこ3では礼節のあるコンパイラを書くことができます。

パースして抽象構文木に代入してください。
抽象構文木をJSONエンコードして、それを表示してください。お願いします。

この記事を読んだ人はこちらも（たぶん）読んでいます

なでしこ3で簡単なcatコマンドを作る

なでしこ3で簡単なcatコマンドを作る

2021-12-07T21:52:40+09:00

なでしこ3 に入門しています。

$ cnako3 -v    
3.2.30

新しくプログラミング言語を覚えるとき、入出力や反復などの基本的な機能の下調べも兼ねて、最近はよく cat コマンドを書いています。なでしこでもやってみます。

参考: 【 cat 】コマンド――設定ファイルの内容を簡単に確認する：Linux基本コマンドTips（1） - ＠IT

ちなみに、なでしこ3は Node.js ベースなので Linux でも使えます。この記事も Docker コンテナ内で動かして書いています。

ローカルPCでバッチ処理に使う - 日本語プログラミング言語「なでしこ3」
- npm install -g nadesiko3 でインストールできます
Chromebookになでしこをインストールする - Qiita

標準出力に出力する

まずは基本ということで。

「こんにちは」と表示。

これは簡単。チュートリアルの最初に出てきますね。

なでしこさんマニュアル - チュートリアル

標準入力から読む

マニュアルで探して 標準入力取得時 という命令を見つけました。

なでしこさんマニュアル - plugin_node/標準入力取得時

使ってみます。

# cat1.nako3

標準入力取得時には（行）
    行を表示
ここまで

なでしこさんマニュアル - 文法/無名関数 / 「…には」構文 / 暗黙的な無名関数の指定

動かしてみます。

$ cat cat1.nako3 | cnako3 cat1.nako3
標準入力取得時には（行）
標準入力取得時には（行）
    行を表示
    行を表示
ここまで
ここまで
$

各行が2回表示されていますが、これはインストールしたなでしこに含まれている src/plugin_node.js を修正して createInterface のオプションとして terminal: false を指定することで解消できました。

$ cat cat1.nako3 | cnako3 cat1.nako3 | cat
標準入力取得時には（行）
    行を表示
ここまで
$

参考:

はい、これで cat コマンドっぽいものができました。簡単ですね。

さすがにこれだけだとさびしいので、もうちょっとあれこれやってみます。

末尾に改行を付けない版の「表示」が使いたい

なでしこ v1 には「継続表示」という命令があり、末尾に改行を付けずに出力できるようなのですが、v3 では用意されていないようです（v3.2.30 時点）。

cat コマンドの基本の動作としては入力の内容を変えずにそのまま出力したいのですが、「表示」命令だと末尾に改行がない入力が来た場合に内容が変わってしまいます。

そこで、「JSメソッド実行」という命令を利用して「継続表示」関数を作ってみました。

なでしこさんマニュアル - plugin_system/JSメソッド実行

●（値を）継続表示とは
    「process.stdout」の「write」を["{値}"]でJSメソッド実行
ここまで

123を継続表示
「継続表示の」を継続表示
「テスト」を継続表示
「です。{LF}」を継続表示

$ cnako3 sample_keizoku_hyouji.nako3
123継続表示のテストです。
$

よしよし。ちなみに stdout を stderr にすれば標準エラー出力に出力できます。

このように、なでしこ自体に命令が用意されていない場合でも JavaScript（Node.js）の機能を使うことで自分でなんとかすることができます。

この例では「JSメソッド実行」を使いましたが、他にも似た命令として「JS実行」などがあります。

なでしこさんマニュアル - plugin_system/特殊命令

余談ですが eval がありますね！

なでしこさんマニュアル - plugin_system/ナデシコ

↓のようなことができるそうです。

AAA=0
『AAA=123』をナデシコする
AAAを表示

標準入力から全部読みたい

標準入力取得時 だと EOF （入力ストリームの終端）が検出できないため、「標準入力からとりあえず全部読んで何かしたい」「標準入力から読み終わったタイミングで何かしたい」といったことができないようでした。

なでしこの機能だけで簡単に済ます方法を思いつけなかったので、標準入力からの入力をシェルスクリプトで一時ファイルに出力して、なでしこではその一時ファイルから読む、という方式にしてみました。
ファイル名は stdin で決め打ち。

#!/bin/bash

STDIN_FILE=stdin

if [ -e $STDIN_FILE ]; then
  rm $STDIN_FILE
fi

if [ -p /dev/stdin ]; then
  # 標準入力の内容をすべてファイルに保存
  cat > $STDIN_FILE
fi

cnako3 "$@"

これを cnako3.sh として保存して、以降は cnako3 コマンドを置き換える形で

$ ls | ./cnako3.sh sample.nako3

のように使っていきます。

参考: 標準入力にデータを与えられているかどうか調べる方法 - Qiita

なでしこ側では普通にファイルを読めばよいですね。

# cat2.nako3

●標準入力全部読とは
    もし、「stdin」が存在するならば
        「stdin」を読んで戻す
    違えば
        「標準入力からの読み込みに失敗」のエラー発生
    ここまで
ここまで

標準入力全部読んでテキストに代入
テキストを表示

標準入力全部読んでテキストに代入 したあとは、普通の文字列の処理です。

$ cat sample_end_with_newline.txt | ./cnako3.sh cat2.nako3 
UTF-8 テキストファイル
ファイル終端の改行あり
行末にスペース→  

$

改造してみる

cat コマンドなんか作って何が面白いんや？と思われるかもしれませんが、 cat ができるとそれを改造していろいろ遊べます。

LF を "＜改行＞" + LF に置換してファイル終端も表示

# cat3.nako3
# 継続表示、標準入力全部読 は同じなので省略

標準入力全部読んでテキストに代入

テキストのLFを「＜改行＞{LF}」に置換して継続表示
「＜ファイル終端＞」を表示

入力の最後に改行がある場合:

$ cat sample_end_with_newline.txt | ./cnako3.sh cat3.nako3 
UTF-8 テキストファイル＜改行＞
ファイルの最後に改行あり＜改行＞
行末にスペース→  ＜改行＞
＜ファイル終端＞
$

入力の最後に改行がない場合:

$ cat sample_end_without_newline.txt | ./cnako3.sh cat3.nako3 
UTF-8 テキストファイル＜改行＞
ファイルの最後に改行なし＜改行＞
行末にスペース→  ＜ファイル終端＞
$

これで行末の余分なスペースを見つけやすくなりますね！
cat --show-all みたいな感じ。
最後に ＜ファイル終端＞ を付けて、最後の改行やスペースがあるかどうかも分かりやすくしてみました。

なでしこさんマニュアル - plugin_system/置換
なでしこさんマニュアル - plugin_system/システム定数
- LF はシステム定数として定義されています

行番号を表示

cat -n みたいなの。

# cat4.nako3
# 継続表示、標準入力全部読 は同じなので省略

標準入力全部読んでテキストに代入

テキストをLFで区切って行リストに代入
行数 = 行リストの配列要素数

行番号を1から（行数）まで繰り返す
　　「{行番号}: {行リスト@(行番号 - 1)}」を表示
ここまで

$ cat sample_end_with_newline.txt | ./cnako3.sh cat4.nako3 
1: UTF-8 テキストファイル
2: ファイルの最後に改行あり
3: 行末にスペース→  
4: 
$

行番号が分かってべんり！

なでしこさんマニュアル - 文法/配列変数

1文字ずつ処理

1文字ずつ処理するバージョンも書いてみました。

# cat5.nako3
# 継続表示、標準入力全部読 は同じなので省略

●（テキストから位置の）文字取得
    文字配列 = テキストを文字列分解
    文字配列@位置を戻す
ここまで

標準入力全部読んでテキストに代入

テキスト文字数はテキストの文字数
位置は0
位置が（テキスト文字数 - 1）以下の間繰り返す
    テキストから位置の文字取得して文字に代入
    文字を継続表示
    位置 = 位置 + 1
ここまで

「文字取得」関数を呼び出すたびに文字列分解していて効率悪いですが、おためしなので気にしない。

$ cat sample_end_with_newline.txt | ./cnako3.sh cat5.nako3 
UTF-8 テキストファイル
ファイルの最後に改行あり
行末にスペース→  
$

行をソート

cat コマンドを改造すると、たとえば行をソートするコマンドなんかも作れるようになります。

# sort.nako3
# 継続表示、標準入力全部読 は同じなので省略

標準入力全部読んでテキストに代入
テキストをLFで区切って行リストに代入
行リストを配列ソートしてソート済行リストに代入

ソート済行リストを反復
    対象を表示
ここまで

$ cat sort.nako3 | ./cnako3.sh sort.nako3 




        「stdin」を読んで戻す
        「標準入力からの読み込みに失敗」のエラー発生
    「process.stdout」の「write」を["{値}"]でJSメソッド実行
    ここまで
    もし、「stdin」が存在するならば
    対象を表示
    違えば
●標準入力全部読とは
●（値を）継続表示とは
ここまで
ここまで
ここまで
ソート済行リストを反復
テキストをLFで区切って行リストに代入
標準入力全部読んでテキストに代入
行リストを配列ソートしてソート済行リストに代入
$

というわけで cat コマンドっぽいものを作っていろいろ試してみました。この記事は以上です。

この記事を読んだ人は（ひょっとしたら）こちらも読んでいます