tag:crieit.net,2005:https://crieit.net/tags/lisp/feed Crieitでタグ「lisp」に投稿された最近の記事 2022-07-17T13:24:40+09:00 https://crieit.net/tags/lisp/feed tag:crieit.net,2005:PublicArticle/18245 2022-07-17T13:24:18+09:00 2022-07-17T13:24:40+09:00 https://crieit.net/posts/mal-lisp-template-engine <p>これは <a target="_blank" rel="nofollow noopener" href="https://qiita.com/advent-calendar/2021/lisp">Lisp Advent Calendar 2021</a> の25日目の記事です。Qiita に書いていた記事のクロスポストです。</p> <hr /> <p>言語非依存なテンプレートエンジンがあったらいいなと昔からボンヤリ考えていた（切実にほしいという程ではない）のですが、<a target="_blank" rel="nofollow noopener" href="https://github.com/kanaka/mal">mal（Make a Lisp）</a>で作ったらどうだろうと思って試しにやってみました。「なんかやってみたくなってやってみた」系の記事です。</p> <p>Lisp を書くのは年に数回という感じの人が書いていますので、拙いところは大目に見ていただければと思います。</p> <p>↓ちなみに去年のアドベントカレンダーではこんなのを書きました。</p> <p><a target="_blank" rel="nofollow noopener" href="https://qiita.com/sonota88/items/501f0efa437bc4d53cc7">LibreOffice BasicでLispインタプリタ（mal）を書いた - Qiita</a></p> <h1 id="できたもの"><a href="#%E3%81%A7%E3%81%8D%E3%81%9F%E3%82%82%E3%81%AE">できたもの</a></h1> <p><a target="_blank" rel="nofollow noopener" href="https://github.com/sonota88/malten">https://github.com/sonota88/malten</a></p> <p><code>sonota88/mal</code> をサブモジュールとして使っているので、 <code>git clone --recursive ...</code> でクローンする必要があります。</p> <h1 id="Ruby版"><a href="#Ruby%E7%89%88">Ruby版</a></h1> <p>Ruby 版だとこんな感じ。</p> <pre><code class="ruby">template = <<TEMPLATE <h1>品目一覧</h1> <p>購入日: <%= date %></p> <table> <tr> <th>ID</th> <th>品名</th> <th>価格</th> </tr> <% (map (fn* [item] (do %> <tr> <td><%= (get item "id") %></td> <td><%= (get item "name") %></td> <td><%= (- (get item "price") (if (get item "discount") (get item "discount") 0)) %> 円</td> </tr> <% )) items) %> </table> TEMPLATE context = { date: "2021-12-25", items: [ { id: 1, name: "foo", price: 100, discount: nil }, { id: 2, name: "bar", price: 200, discount: nil }, { id: 3, name: "baz", price: 300, discount: 50 } ] } rendered = Malten.render(context, template) print rendered </code></pre> <p><code><% ... %></code> または <code><%= ... %></code> の中にコードを書きます。ERB や JSP に倣ってベタなスタイルにしましたが、コードの部分が mal なので、見たことあるような、ないような、怪しげな雰囲気ですね。</p> <hr /> <p>出力も一応貼っておきます。</p> <pre><code class="html"><br /><h1>品目一覧</h1> <p>購入日: 2021-12-25</p> <table> <tr> <th>ID</th> <th>品名</th> <th>価格</th> </tr> <tr> <td>1</td> <td>foo</td> <td>100 円</td> </tr> <tr> <td>2</td> <td>bar</td> <td>200 円</td> </tr> <tr> <td>3</td> <td>baz</td> <td>250 円</td> </tr> </table> </code></pre> <h1 id="Java版"><a href="#Java%E7%89%88">Java版</a></h1> <p>Java 版も作ってみました（テンプレートは同じなので省略）。</p> <pre><code class="java"> String template = getTemplate(); Context context = new Context(); context.map.put("date", "2021-12-25"); { List<Map<String, Object>> items = new ArrayList<>(); items.add(new Item(1, "foo", 100, null).toPlain()); items.add(new Item(2, "bar", 200, null).toPlain()); items.add(new Item(3, "baz", 300, 50).toPlain()); context.map.put("items", items); } String rendered = Malten.render(context, template); System.out.println(rendered); </code></pre> <p>大体似たような感じですね。</p> <h1 id="概観"><a href="#%E6%A6%82%E8%A6%B3">概観</a></h1> <p>大雑把な処理の流れ。</p> <pre><code>テンプレートテキスト ↓ ↓レンダリング用コード生成 ↓ レンダリング用コード（mal のコード） ↓ ↓eval（ここでコンテキストを参照） ↓ 出力テキスト </code></pre> <h1 id="レンダリング用コード生成"><a href="#%E3%83%AC%E3%83%B3%E3%83%80%E3%83%AA%E3%83%B3%E3%82%B0%E7%94%A8%E3%82%B3%E3%83%BC%E3%83%89%E7%94%9F%E6%88%90">レンダリング用コード生成</a></h1> <p>たとえば、次のようなテンプレートテキストがあったとして、</p> <pre><code class="erb"># 品目一覧 <% (map (fn* [item] (do %> - <% (print (get item "name")) %> <% (print (get item "price")) %> 円 <% )) items) %> </code></pre> <p>これを変換すると次のような mal のコードになる。元のテンプレートと比べて眺めると何やってるかなんとなく分かりますよね。</p> <pre><code class="clojure">(print "# 品目一覧\n\n") (map (fn* [item] (do (print "\n\n- ") (print (get item "name")) (print " ") (print (get item "price")) (print " 円\n\n") )) items) </code></pre> <p>下請けの関数などは除いて骨組部分だけ貼ります。</p> <pre><code class="clojure">;; malten.mal ;; <% ... %> の中身の長さを求める (def! mal-code-length (fn* [rest] (let* [iter (fn* [rest2 pos] (if (s#start-with? rest2 "%>") pos (iter (s#rest rest2) (+ pos 1)))) ] (iter rest 0)))) ;; <% ... %> の部分の処理 (def! gen-renderer-code (fn* [rest buf acc] (let* [len (mal-code-length rest)] (gen-renderer-text (s#drop rest (+ len 2)) "" ; clear buf (cons (if (s#start-with? rest "=") (list 'code-print (s#substring rest 1 len)) (list 'code (s#substring rest 0 len))) (cons (list 'text buf) acc)))))) (def! gen-renderer-text (fn* [rest buf acc] (if (nil? rest) (cons (list 'text buf) acc) ; end of iteration (if (s#start-with? rest "<%") (gen-renderer-code (s#drop rest 2) ; "<%" を除去 buf acc) (gen-renderer-text (s#drop rest 1) (str buf (s#first rest)) acc))))) (def! to-code (fn* [part] (let* [ type (nth part 0) content (nth part 1) ] (cond (= type 'code) content (= type 'code-print) (str "(print " content ")\n") (= type 'text) (str "(print " (pr-str content) ")\n"))))) (def! gen-renderer (fn* [template] (let* [reversed-parts (gen-renderer-text template "" ; buf '() ; acc ) ] (l.foldr (fn* [part acc] (str acc (to-code part))) "" reversed-parts)))) </code></pre> <p>軽い用途向けでも、たとえば入力が 1000 文字を越えると動きません、では困るので TCO（末尾呼び出しの最適化）が効くように書く必要があります。理解があやふやだったのですが、今回 mal の TCO のしくみについておさらいして、ある程度書いて慣れることができて良かったです。</p> <h1 id="レンダリング用コードの eval"><a href="#%E3%83%AC%E3%83%B3%E3%83%80%E3%83%AA%E3%83%B3%E3%82%B0%E7%94%A8%E3%82%B3%E3%83%BC%E3%83%89%E3%81%AE+eval">レンダリング用コードの eval</a></h1> <p>基本的には eval するだけですが、コンテキストは mal の型に合わせて変換してあげる必要があります。Ruby 版だとこんな感じ。</p> <pre><code class="ruby"># ruby/mal.rb def self.to_mal_val(v) case v when Array # List は mal 側で用意されているクラス List.new(v.map { |el| to_mal_val(el) }) when Hash v .to_a .map { |k, _v| [k.to_s, to_mal_val(_v)] # Java版に合わせてキーを String にしている } .to_h else v end end </code></pre> <h1 id="core への追加"><a href="#core+%E3%81%B8%E3%81%AE%E8%BF%BD%E5%8A%A0">core への追加</a></h1> <p>文字列処理をするための最低限の関数として <code>s#first</code>, <code>s#rest</code>, <code>s.cons</code> と、改行なしで print する <code>print</code> を追加しました。</p> <p>Ruby 版であればこんなの。</p> <pre><code class="ruby"># ruby/mal.rb ADDITIONAL_CORE_FUNCS = { :print => lambda { |x| print x }, :"s#first" => lambda { |_self| _self[0] }, :"s#rest" => lambda { |_self| if _self.size <= 1 nil else _self[1..-1] end }, :"s.cons" => lambda { |first, rest| if rest.nil? first else first + rest end } } </code></pre> <p>あとはこれを <code>$core_ns</code> に追加してあげればOK。</p> <pre><code class="ruby"># {mal}/impls/ruby/stepA_mal.rb のこの部分 $core_ns .merge(ADDITIONAL_CORE_FUNCS) </code></pre> <p>他にも便利な関数を追加してリッチにしていくと、mal のレイヤーで書く部分が楽になったりパフォーマンスが改善されたりすると思うのですが、移植コストとのトレードオフになるでしょう。</p> <hr /> <p>というわけで、 mal のコードを一度書くだけ（※1）で 86 の言語（※2）で同じように動く（※3）テンプレートエンジンが手に入りました。</p> <p>※1: 実際は各言語ごとに多少手を入れる必要あり<br /> ※2: 2021-12-25 現在<br /> ※3: たぶん。試してないです。</p> <h1 id="メモ"><a href="#%E3%83%A1%E3%83%A2">メモ</a></h1> <ul> <li>動いたので満足（という程度の試みです）</li> <li>2日くらいで書いたプロトタイピングです。細かいとこは雑。</li> <li>自分用のツールなどでは様子を見つつ使っていこうかなという気持ちになった</li> <li>テンプレートエンジン、ミニマムな機能だけでよければ簡単。「試しに何か書いてみたい」というときのお題としてもお手頃で、実用できそうな雰囲気があるのも良いです。</li> <li><code>pr-str</code> は言語依存の機能で実装されている <ul> <li>たとえば Ruby 版は inspect、 Java 版では commons-lang3 の StringEscapeUtils を使っている</li> <li>コーナーケースが気になる場合は mal で書き直すとよさそう</li> </ul></li> <li>遅い。文字列の処理で、一度文字のリストにばらして加工してまた文字列に戻す（<code>s#to-chars</code> と <code>s.from-chars</code>）ということをやっていて、遅いです。<br /> 文字列版の car, cdr, cons だけあればあとはリスト用の関数に丸投げできるよね、というのを（やったことなかったので）試してみたかったのでした。今回やってみて気が済みました。<br /> 直交性はあるけど普通に計算量的に厳しい、という体験ができました。後で書き直すかも。</li> <li>たとえば Java でテンプレートエンジン自作するとなると、コード生成まではいいとして実行どうするんだろ、コンパイルしないといけないよね？ <a target="_blank" rel="nofollow noopener" href="https://www.ne.jp/asahi/hishidama/home/tech/java/JavaCompiler.html">JavaCompiler</a><br /> を使えばできそう？ とかのあたりがめんどくさそうだなーと思って実際に作るとこまで至っていなかったのですが（やったことないので億劫）、Java で書かれたインタプリタで動かせばコンパイルのことを考えなくてよくなると気付いて、そっか、そういう手があるのか、なるほどとなりました。で、そういうのを思いついたときにサッと使える mal は便利。</li> </ul> <h2 id="Java版だとhashmapのキーとしてシンボルが使えない"><a href="#Java%E7%89%88%E3%81%A0%E3%81%A8hashmap%E3%81%AE%E3%82%AD%E3%83%BC%E3%81%A8%E3%81%97%E3%81%A6%E3%82%B7%E3%83%B3%E3%83%9C%E3%83%AB%E3%81%8C%E4%BD%BF%E3%81%88%E3%81%AA%E3%81%84">Java版だとhashmapのキーとしてシンボルが使えない</a></h2> <p>詳しく調べてませんがメモ。</p> <p>Java版は hashmap のキーとして文字列を期待しているらしく、エラーになります。</p> <pre><code>Mal [java] user> { 'a 123 } Uncaught java.lang.ClassCastException: mal.types$MalList cannot be cast to mal.types$MalString: mal.types$MalList cannot be cast to mal.types$MalString # 文字列ならOK user> { "a" 123 } {"a" 123} </code></pre> <p>Ruby 版だとシンボルでもOK。</p> <pre><code>Mal [ruby] user> { 'a 123 } {a 123} </code></pre> sonota486