「Ruby」の記事 - Crieit

DXOpalでスイカゲームみたいなのを作った

2023-12-06T18:31:09+09:00

これは Ruby Advent Calendar 2023 の6日目の記事です。一つ前の記事はRubyのプロダクトコードの複雑度の変化を可視化するです。

こんにちは。今年は mruby や picoruby にも触れてみたかったのですがもう12月ですね……おかしいな……。

できたもの

遊んでみたい方はこちらのリンクからどうぞ。

https://sonota88.github.io/dxopal-suikalike/index.html

マウス操作のみ対応しています
ボール（正方形ですが）のサイズは 1 から 10 まで
- 球にするのが面倒だったため正方形で作り始め、面倒だったため正方形のまま完成としました。以下「ボール」と言い張ります。
オリジナルに寄せる方向ではがんばってません。それっぽければヨシ。

リポジトリはこちら。効果音はパブリックドメインとします。何かに使えそうなら使ってください。

https://github.com/sonota88/dxopal-suikalike

DXOpal + 物理演算 → スイカゲーム

https://github.com/yhara/dxopal

DXOpal についてざっくり特徴を挙げると次のような感じでしょうか。

手軽にゲームを作れるフレームワーク
作ったゲームはブラウザで実行する
- ここで Opal が使われる（Ruby のコードが JavaScript に変換されて実行される）
- OS などの環境に依存せず同じように動かせる
- ウェブで配信する形にすればダウンロードやインストールなしで使ってもらえる・遊んでもらえる・見てもらえる
- 参考: DXOpalで作ったゲームを無料で公開する

入門用のドキュメントとしては以下2つがおすすめです。

Rubyで始めるゲームプログラミング - DXOpal編 -
Opal Advent Calendar 2018 の「DXOpalでUndertaleっぽい画面を作る」シリーズ

DXOpal には物理演算ライブラリ（matter.js）を利用した機能が実験的に用意されており、リポジトリの examples ディレクトリにサンプルがあります。

https://github.com/yhara/dxopal/tree/master/examples/matter

これを使って何かできないかなーと以前からボンヤリ考えていたのですが、今年はスイカゲームが流行りましたから、じゃあ作ろうかと。

作り自体は割と簡単です。めんどくさいところ（ボール同士の接触判定や物理演算）は DXOpal と matter.js がやってくれるので基本部分は数時間で動くようになりました。

できあがりのサイズはこのくらい。小さく作るのが好き。

  $ wc -l *.rb
  57 ball.rb
 314 game.rb
 119 main.rb
 490 合計

メモ

以下、開発メモです。

物体の消去

なるべく DXOpal 本体に手を加えない範囲に収めたかったのですが、物体を消去する処理は必要なのでここだけ追加しました。

--- a/lib/dxopal/sprite/physics.rb
+++ b/lib/dxopal/sprite/physics.rb
@@ -56,6 +56,15 @@ module DXOpal
       `Matter.World.addBody(#{Sprite._matter_engine}.world, body)`
     end

+    def remove_matter_body
+      Sprite._remove_matter_body(@_matter_body)
+    end
+
+    def self._remove_matter_body(body)
+      _matter_sprites.delete(`body.id`)
+      `Matter.World.remove(#{Sprite._matter_engine}.world, body, null)`
+    end
+
     # Return true if `physical_body=` is ever called
     def self.matter_enabled?
       # Note: we cannot use `!!` here because @matter_engine may be a JS object,

これを追加するために matter.js のドキュメントとソースを軽く眺めましたが、matter.js 絡みの手間はその程度で済みました。見様見真似の間に合わせなのでひょっとしたらおかしなことしてるかもしれません。

音量の変更

やっぱり音量調節もしたいということで。Sound クラスと SoundEffect クラスの代わりに少しいじったクラスを用意してそっちを使っています。DXOpal 本体に手を入れなくて済むので今回はこの方式にしました。

事前コンパイル

今回は事前コンパイルする方式で開発を進めました。以下の記事を参照してください。

Dockerを利用してDXOpalアプリケーションを手軽に事前コンパイルする

まとめ

DXOpal を使うとブラウザで動かせるゲームが手軽に作れて便利
スイカゲームみたいなのを作った

以下おまけです。

dxopal-demos

今回作ったものとは無関係ですが DXOpal 関連ということでご紹介です。
思いつきで書いてみた小物をときどき追加しているリポジトリです。アルゴリズムの解説とか見るとこういうの作りたくなりますよね。

https://github.com/sonota88/dxopal-demos

メタボール

Marching squares

連立方程式を解くやつ（ガウス・ジョルダンの消去法）

フーリエ変換

簡単なCPUシミュレータ

今回作ったものとは無関係ですが DXOpal 関連ということでご紹介です。

DXOpal は「ゲームを作るためのフレームワーク」という位置づけにはなっていますが、いわゆる普通のゲームを作る以外にも

Ruby でちょっとしたお絵描きやデータ可視化をしたい（特に動きのあるもの）
ついでにマウスやキーボードからの入力も扱ってインタラクティブにしたい
どうせなら音も出したい
作ったものを手軽に他の人に見せたい、使ってもらいたい

という場合にサッと使えて重宝しています。

そのような「ゲームではないもの」の例として、以前簡単な CPU シミュレータを作ったことがありました。

回路を描画して、
マウスクリックでスイッチを切り替えられて、
リレーが切り替わる時にカシャッと音が鳴る

というものです。

Ruby＋DXOpalでリレー式論理回路シミュレータを自作して1bit CPUまで動かした

これ作るの結構楽しかったのでみなさんもぜひ！と言いたい気持ち。

以下の書籍にもゲーム以外のアプリケーションの例が載っています。参考までに。

実践Opal（達人出版会）
- DXOpal を使ってお絵かきアプリを作る
Pragmatic Opal　Rubyで作るブラウザアプリケーション開発ガイド（達人出版会）
- ICFPCビジュアライザ

今年 Ruby 関連で書いたもの

せっかくのアドベントカレンダーですので、今年書いたものを貼っておきます。

去年の

去年のアドベントカレンダーではこういうのを書いていました。

『RubyでつくるRuby』のMinRubyのパーサを書いた（手書きの再帰下降パーサ）

「世は大パーサー時代！」より数カ月早く書いてしまってタイミングを逃した（？）感がなくもないですが、パーサにご興味あればこちらもどうぞ！

【Rust/Ruby】OBS Studioの録画時間をスクリプトから取得してみる

2023-09-27T12:17:24+09:00

こんにちは、しきゆらです。
連休は出かけていてブログ書けませんでした。

今回は、最近ちょっと触っているOBSをプログラムから操作したり情報を取得できるということを知ったので、サンプルを見ながら情報を取得してみようと思います。

OBSのドキュメントは以下になります。詳しく知りたい方はこの辺を参考にするとよいかなと思います。

Welcome to OBS Studio’s documentation! — OBS Studio 29.1.3 documentation https://docs.obsproject.com/

上記を見るとC系での話が主なようですが、今回はよく使う言語であるRubyと、最近ちょっと触っているRustで書けることを目的として調べてみました。
どうやらOBSはWebSocket経由で操作することができるようです。

公式のリポジトリにもOBSのWebSocketプラグインがあるようで、v28以降のバージョンに対応しています。手元の環境では、初期状態で入っていてちょっと設定してあげればすぐ使えるようになったので、初めはこの辺を触ってみるのが良いかなと思います。

GitHub - obsproject/obs-websocket: Remote-control of OBS Studio through WebSocket https://github.com/obsproject/obs-websocket

Rubyから録画時間を取得する

上記を受けてRubyから操作するgemがないかな、と思って調べてみると非公式ながらありました。

GitHub - onyx-and-iris/obsws-ruby: Ruby clients for OBS Studio WebSocket v5.0 https://github.com/onyx-and-iris/obsws-ruby

まずは、RubyからOBSを操作するためにサンプルを見たり内部のスクリプトを見ながら録画時間を取得するコードを書いてみました。

require "obsws"

client = OBSWS::Requests::Client.new(
    host: "IPアドレスなど",
    port: ポート番号,
    password: "PWの文字列"
)
loop do
    p client.get_record_status.output_timecode
    sleep 1
end

上記コードはシンプルに1秒ごとに録画時間を取得してターミナルへ表示するコードです。

IPアドレスやポート番号などは、OBSの「ツール」>「WebSocketサーバ設定」から確認・設定可能です。

実際にスクリプトを実行しつつOBSで録画すると、録画時間が表示されました。

Rustから録画時間を取得する

では、同様のことをRustでやってみます。
RustからOBSのWebSocketを操作するcrateは、obs-websocketにリンクがあったこちらを使ってみました。

GitHub - dnaka91/obws: The obws (obvious) remote control library for OBS https://github.com/dnaka91/obws

サンプルや内部コード、エラーを修正しつつできたのがこちら。

use std::{thread, time};
use anyhow::Result;
use obws::{Client, client, requests::EventSubscription};

#[tokio::main]
async fn main() -> Result<()> {
  let sleep_time = time::Duration::from_secs(1);
  let config = client::ConnectConfig {
    host: "IPアドレス",
    port: ポート番号,
    password: Some("PW文字列"),
    event_subscriptions: Some(EventSubscription::all()),
    broadcast_capacity: Some(100),
  };
  let client = Client::connect_with_config(config).await?;

  loop {
    let outputs = client.recording();
    let status = outputs.status().await?;
    println!("outputs: {}", status.timecode);

    thread::sleep(sleep_time)
  };

  Ok(())
}

サンプルコードから動かしてみたのですが、諸々エラーだったりcrateが足りなかったりと動かず悪戦苦闘しながらここまで持っていきました。
Rustのお作法をきちんと理解できていなので躓いただけかもですが、動く状態まで持っていけてよかったなと。

これにて、Rustでも同様にターミナルに録画時間を表示することができました。

まとめ

今回は、OBS Studioの操作をスクリプトからできることを知ったのでRuby/Rustで簡単なサンプルを作ってみました。
どちらもライブラリが用意されているので、そこまで難しくはありませんでした。
また、Rustの勉強にもなったのでちょっと自信が付いたかもしれません。

今回はここまで。

おわり

【Ruby/Selenium】v115からChromeDriverの配布元が変わったようなので対応した話

2023-07-29T23:01:28+09:00

こんにちは、しきゆらです。
数年ごとに時たま書いているSeleniumネタ、今回は久々に大きく動かなくなったので調べつつ対応した記録を残しておきます。

webdriversが動かなくなった

これまではwebdriversというgemを使い、インストールされているChromeのバージョンにあったChromeDriver良しなに取得するようにしていました。

GitHub - titusfortner/webdrivers: Keep your Selenium WebDrivers updated automatically

さっくりwebdriversの中身を見てみましたが、インストールしているChromeのバージョンを確認し、必要なDriverがなければ以下のサイトから該当バージョンのものを取得・配置するようです。

「https://chromedriver.storage.googleapis.com/LATEST_RELEASE_114」のようにChromeのバージョン値を指定するとその最新版となるChromeDriverのバージョンを取得できるので、これをもとに取得する感じでした。

ところが、先日Seleniumを動かしたらChromeDriverがない、とエラーが出て動かなくなっていました。
何事かと思って調べてみました。

ChromeDriverの配布先が変わった

ChromeDriverのサイトを見てみると、配布先が変更されたようです。

ChromeDriver - WebDriver for Chrome - Downloads

Latest ChromeDriver Binaries

Starting with M115 the latest Chrome + ChromeDriver releases per release channel (Stable, Beta, Dev, Canary) are available at the Chrome for Testing availability dashboard. For automated version downloading one can use the convenient JSON endpoints.

The older releases can be found at the Downloads page.

ということでwebdriversが参照していたサイトとは別のところで配布するようになったようです。

ついでに調べていると、Chrome for Testingなるものが出てきました。

Chrome for Testing: reliable downloads for browser automation - Chrome Developers

以前も何かのタイミングでちらっと見た気がするんですが、あまり詳しく見てはいなかったので今回読んでみました。

どうやら、Chromeは自動更新なので開発者はテストをするタイミングによって意図しないバージョンになっていたりしてつらい、そうだテスト用に自動更新がないChromeを作ろう、ということのようです。

ということでテスト用Chromeとそのバージョン向けのChromeDriverが以下のサイトで一緒に配布されるようになっていました。

Chrome for Testing availability

自前でChromeDriverを取得するスクリプトを組んでいる場合は、この辺の対応が必要になりそう。

対応方法

暫定対応

webdriversでも対応するPRが上がってますが、記載時点(2023/07/29)ではまだマージされてません。

Fixed Webdrivers::VersionError with chrome version greater than 115 by sadahiro-ono · Pull Request #249 · titusfortner/webdrivers

こちらのissueで対応方法が記載されていました。

Webdrivers trying to load a Chrome version that doesn't exist · Issue #247 · titusfortner/webdrivers

現在はv114向けのChromeDriverでも動くようなので、コード内でChromeDriverのバージョンを決め打ちすることでその場しのぎをすることができます。
ただ、これもこのバージョンで動作しなくなるのは時間の問題なのでいつまで使えるかは不明です。

Webdrivers::Chromedriver.required_version = "114.0.5735.90"

Selenium Manager

issueを見ていくと、Selenium Managerなるものが出てきました。

Selenium Manager (Beta)

まだBetaのようですが、Selenium自体に含まれる各WebDriverの取得などをしてくれるツールのようです。

これまでは、手動で配布サイトから取得したり上記webdriversのような別ツールでWebDriverを取得して使う必要がありましたが、Selenium Managerを使えば外部ツールを使わずにSeleniumだけで完結するようになりますね。

使い方も、以下の3点を満たしていれば勝手に動いてくれるようです。

ServiceクラスでWebDriverのパスを指定していない
webdriversのような外部のWebDriver管理ツールを使っていない
環境変数PATHの中にWebDriverがない

ということで、webdriversが動かないのでこっちを使ってみることにしました。

ここでは、タイトルの通りRuby環境である前提で記載しますが
selenium-webdriverのgemを最新にしたうえで、上記3点を満たすように環境を整えるだけで勝手に使えるようになります。

なお、selenium-webdriverのCHANGELOGを見てみると、4.6.0のころからSelenium Managerへ対応が入っているようです。

手元では、webdriversのみしか使っていないのでこれを削除するだけで利用できました。

webdriversがない状態でSeleniumを使ってブラウザを立ち上げようとするとターミナル上に以下のように記載されてChromeが立ち上がるようになりました。

2023-07-29 20:53:08 WARN Selenium applicable driver not found; attempting to install with Selenium Manager

Selenium Managerが良しなに動いてくれているようです。

これで、対応はおしまいです。

まとめ

今回はSeleniumを使っていたらChromeDriverを取得できずに死んでしまったので、原因を調べつつ対応してみました。

結果としては、外部ツールに頼ることなくSeleniumが擁してくれているSelenium Managerを使うことで無事動くようになりました。

今回は、ここまで。

おわり

Lramaで簡単な自作言語のパーサを書いた

2023-06-25T08:41:34+09:00

先日 Ruby にマージされた LALR(1)パーサジェネレータ Lrama を使ってみました。

https://github.com/ruby/lrama

参考: RubyにlramaがマージされてBison依存がなくなった（RubyKaigi 2023）｜TechRacho by BPS株式会社

できたもの

https://github.com/sonota88/vm2gol-v2-c/tree/alt-parser-lrama

alt-parser-lrama ブランチに mrcl_parser_lrama.y が入っています。

概要

Mini Ruccola は私がコンパイラ実装に入門するために作った自作言語とその処理系です。原始的だけどその分入門者（＝私）視点では分かりやすい、という方向性のものです。私でも作れるコンパイラ。

https://github.com/sonota88/vm2gol-v2

作ったときに書いた備忘記事:

コンパイラのパーサ部分は元々手書きの再帰下降パーサだったのですが、他のパーサライブラリも試したくて Racc 版と Parslet 版のパーサを以前書きました。

今回の Lrama 版はこのシリーズの延長です。

Mini Ruccola コンパイラはレキサ・パーサ・コード生成器が独立しています。そのため、レキサとコード生成器は Ruby 製のものをそのまま使い、パーサだけ別の言語で書いて一緒に動かすなんてことも可能です。

可能なのですが、C言語への移植版
github.com/sonota88/vm2gol-v2-c
を使った方が楽なので今回はこっちを使いました。

参考: 素朴な自作言語のコンパイラをCに移植した

Racc 版パーサ実装と C移植版がすでにありますから、あとは Racc 版パーサを Lrama + C 向けに書き直せば一丁あがり、という寸法です。

たとえば以下は関数定義の規則とアクションの記述の比較です。

# Racc
func_def : "func" IDENT "(" args ")" "{" stmts "}"
             {
                 _, fn_name, _, args, _, _, stmts, _, = val
                 result = ["func", fn_name, args, stmts]
             }

// Lrama
func_def : TS_KW_FUNC TS_IDENT TS_PAREN_L args TS_PAREN_R TS_SYM stmts TS_SYM
         // "func"    fn_name  "("        args ")"        "{"    stmts "}"
             {
                 NodeList* func_def = NodeList_new();
                 NodeList_add_str(func_def, "func");
                 NodeList_add_str(func_def, $2);
                 NodeList_add_list(func_def, $4);
                 NodeList_add_list(func_def, $7);

                 $$ = func_def;
             }

こんな感じで読み換えていきました。どちらも Yacc から派生した LALRパーサジェネレータなのでよく似ていますね。

メモ

1日くらいでババッと書いたものなので雑だったり手抜きで済ませている部分があります。一応動いてる、という程度の出来です。
- 警告もひとまず放置
Yacc, Bison もそのうち触ってみようと思いつつ結局今まで触らずじまいだった
- 今回ちょっとやってみて雰囲気が知れてよかった
- Rubyソースコード完全解説の第9章速習yacc を読んだらとりあえずなんとかなった
Rubyには慣れているけどCは分からないという状態で LALR パーサジェネレータに入門したい人は、まず Racc で入門するのが良いのではないかと思います。Ruby の知識だけで使えるので、いきなり Yacc や Bison や Lrama に挑戦するよりはお手軽かと。
- Racc の作者（青木峰郎さん）による解説本『Rubyを256倍使うための本無道編』もまだ中古で入手可能（Amazon）

この記事を読んだ人は（ひょっとしたら）こちらも読んでいます

Ruby/Racc: パース時のスタックの動きをFlameGraphっぽくビジュアライズする

Racc の気持ちが分かるように↓こういう図を描かせてみたもの。

Ruby: 入れ子の配列だけをパースできるパーサを作る（手書きの再帰下降パーサ）

メソッドの再帰呼び出しについてすでに知っていれば1時間もかからず書ける内容。比較的簡単で時間がかからないので、LALR パーサにこだわる事情がなければ先に再帰下降パーサで入門するのも良いと思います。

Ruby + PyCall でデータサイエンス100本ノック（構造化データ加工編）をやってみた

2023-06-03T18:02:29+09:00

まだ誰もやってなさそうだったのでやってみました。

github.com/sonota88/100knocks-preprocess/tree/ruby-pycall

オリジナルのリポジトリ The-Japan-DataScientist-Society/100knocks-preprocess をフォークして ruby-pycall ブランチを追加しています。

GitHub でノートブックを閲覧したい場合はこちら:
https://github.com/sonota88/100knocks-preprocess/blob/ruby-pycall/docker/work/answer/ans_preprocess_knock_Ruby_PyCall.ipynb

解答例が複数ある場合など一部TODOにしている箇所がありますが、100問全部動かすことができました（私は Python版からコピペして書き換えただけなので、これは PyCall.rb がすごい！という話です）。

一応筆者について書いておくと、データサイエンスに関しては入門者レベルです。データフレームという概念は一応知ってるとか、Jupyter Notebook を触ったことはあるが日常的に使っているわけではない、という感じの人です。Python, Pandas, NumPy のいずれにも詳しくありません。

:::note

ちなみに Ruby + RedAmber 版は heronshoes さんが作成中とのことです。

:::

動かし方

リポジトリとブランチが違う以外はオリジナルのデータサイエンス100本ノック（構造化データ加工編）の README で書かれている手順と同じです。

git clone --branch ruby-pycall https://github.com/sonota88/100knocks-preprocess.git

cd 100knocks-preprocess
docker compose up -d --build --wait

docker compose up が完了するのを待ってからブラウザで http://127.0.0.1:8888/ を開きます。

左のメニューから /work/answer/ans_preprocess_knock_Ruby_PyCall.ipynb を選択してノートブックを開きます。

左側に Table of Contents を表示させておくと各問題に移動したいときに便利です。

メモ

Ruby 向けのカスタマイズ

Python 版の Dockerfile をコピー＋修正して Ruby 用の Dockerfile-ruby を用意する
docker-compose.yml を修正して Dockerfile-ruby に切り替える

やったのはこれだけですね。ここはほとんど手間がかかっていません。

RubyData プロジェクトでメンテナンスされている rubydata/datascience-notebook という Docker イメージがありまして、

github.com/RubyData/docker-stacks

これをベースイメージとして使うのがポイントです。自前でカスタマイズする必要がほとんどなく、たいへん助かりました。このイメージは便利なのでどんどん使わせてもらいましょう！（← この記事で一番強調したいのはここ）

Python版の Dockerfile との差分はこんな感じ。

--- Dockerfile  2023-05-06 12:13:18.226946937 +0900
+++ Dockerfile-ruby     2023-05-06 12:13:18.242946463 +0900
@@ -1,5 +1,6 @@
-FROM jupyter/datascience-notebook:python-3.10.8
-#FROM jupyter/datascience-notebook:d53a302fbcd0
+# 2023-02-03
+FROM rubydata/datascience-notebook:24a7f04dfc46
+
 USER root
 ENV DEBCONF_NOWARNINGS yes

@@ -29,4 +30,6 @@
     && Rscript -e 'pak::repo_add(CRAN = "RSPM@2022-12-16"); pak::pak(c("DBI", "RPostgreSQL", "themis"))' \
     && rm -rf Pipfile* /tmp/* /var/tmp/*

+RUN pip install tabulate
+
 HEALTHCHECK --interval=5s --retries=20 CMD ["curl", "-s", "-S", "-o", "/dev/null", "http://localhost:8888"]

ほぼベースイメージの差し替えだけで済んでいます。

DataFrame#query

Python版の解答例では DataFrame#query を使っている箇所がいくつかあるのですが、pandas.rb ではエラーになります（2023-05-13 時点）。そこで、次のように DataFrame#[] を使う方法で愚直に書き換えました。

# P-004 Python版の解答例1
# df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']] \
#            .query('customer_id == "CS018205000001" & amount >= 1000')

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']] \
    [(df_receipt['customer_id'] == "CS018205000001") & (df_receipt['amount'] >= 1000)]

PyCall.rb + Pandas: DataFrame#query の代わりにS式っぽく書けないか試してみたという別記事で書いたように他の対策もありますが、今回は素朴に DataFrame#[] を使うだけにしました。なるべく素のまま書く方針です。

参考

この記事を読んだ人は（ひょっとしたら）こちらも読んでいます

Ruby + Numo::Gnuplot（numo-gnuplot gem）で散布図を描く

2023-02-23T15:03:54+09:00

@obelisk68 さんに教えてもらったサンプル（ruby_gnuplot の記事のコメント, ブログ）で十分という気もしたのですが、一応自分でも触ってみました。

https://rubygems.org/gems/numo-gnuplot

https://github.com/ruby-numo/numo-gnuplot

準備

gnuplot コマンドをインストール
- Ubuntu 18.04 の場合は sudo apt install gnuplot
Numo::Gnuplot をインストール
- gem install numo-gnuplot

これだけ。

Numo::NArray は必須ではありません（インストールも不要）。以下は Numo::NArray なしで試しています。

最低限の例

PNG ファイルに出力する最低限の例です。

# sample.rb

require "numo/gnuplot"

xs = [1, 2, 3, 4, 5]
ys = [11, 22, 33, 44, 55]

Numo.gnuplot do
  set terminal: "png"
  set output: "output.png"
  plot xs, ys
end

  # 実行 ... output.png が生成される
ruby sample.rb

簡単ですね。
ちょっと見えにくいですが、両端の点は枠線に重なっています。

環境

Ubuntu Linux 18.04
gnuplot -V #=> gnuplot 5.2 patchlevel 2
ruby -v    #=> ruby 3.1.2p20 (2022-04-12 revision 4491bb740a) [x86_64-linux]
gem:
  numo-gnuplot 0.2.4

メモ

ruby_gnuplot と同様、インストールが楽なのが良い。gnuplot コマンドのインストールさえ済んでしまえば、他にインストール絡みでトラブルが起きる余地がなさそう。気分的に楽。
numo/gnuplot.rb ( https://github.com/ruby-numo/numo-gnuplot/blob/master/lib/numo/gnuplot.rb ) はコメントを除くと1,000行ちょいなので、サッと読める。ruby_gnuplot よりは大きめですが。
- Numo::Gnuplot#initialize で IO.popen したプロセスにコマンドを送る方式

ruby_gnuplot との機能比較でいえば、以下のあたりが違うようです:

Numo::NArray に対応している
IRuby に対応している
irb で対話的に操作できる
- gnuplot の対話型インターフェイスの代わりに使えるっぽい

自分が使いそうな機能についてメモ

グラフのタイトル指定
複数の系列の描画
数式のプロット

などは README や Introduction.ja · ruby-numo/numo-gnuplot Wiki にサンプルがあるので、そっちを見てください。

軸タイトル

Numo.gnuplot do
  set xlabel: "x軸のラベル"
  set ylabel: "y軸のラベル"
  # ...

x軸, y軸の範囲指定

Numo.gnuplot do
  set xrange: 0..6
  set yrange: 0..60
  # ...

凡例の系列名

Numo.gnuplot do
  plot xs, ys, title: "series name"
  # ...

日本語フォント

無指定だと日本語が豆腐になりました。

Numo.gnuplot do
  set terminal: "png font 'VL Gothic,20'"
  # ...

点の代わりにラベルを表示する

xs = [1, 2, 3, 4, 5]
ys = [11, 22, 33, 44, 55]
labels = ["A", "B", "C", "D", "E"]

Numo.gnuplot do
  # ...
  plot xs, ys, labels, with: "labels"
end

デバッグ出力

debug_on を使うと、 gnuplot に送信しているコマンドを標準出力に出力することができます。

xs = [1, 2, 3, 4, 5]
ys = [11, 22, 33, 44, 55]

Numo.gnuplot do
  debug_on
  set terminal: "png"
  set output: "output.png"
  plot xs, ys
end

$ ruby sample_debug.rb



行頭の < を取り除いてやれば、そのまま gnuplot に渡せるようです。

$ ruby sample_debug.rb | sed -e 's/^ sample.gs

$ cat sample.gs
set terminal png
set output "output.png"
plot '-' 
1 11
2 22
3 33
4 44
5 55
e

  # スクリプトを gnuplot コマンドに渡して実行
$ gnuplot sample.gs


まとめたもの

せっかくなのでいろいろ含めたものも貼ってみます。

@obelisk68 さんが書いてくださったのとほぼ同じ。

require "numo/gnuplot"

xs = [1.0, 1.8, 3.1]
ys1 = [11, 25, 32]
ys2 = [21, 35, 42]
ys3 = [31, 45, 52]

Numo.gnuplot do
  set terminal: "png font 'Noto Sans CJK JP,12'"
  set output: "output.png"
  set title: "グラフのタイトル"
  set xrange: 0..6
  set yrange: 0..60
  set xlabel: "x軸のラベル"
  set ylabel: "y軸のラベル"

  plot xs, ys1, { title: "系列1（点のみ）" },
       xs, ys2, { title: "系列2（線のみ）", with: :lines },
       xs, ys3, { title: "系列3（点と線）", with: :linespoints },
       "x * 10", { title: "y = x * 10" }
end




with: :lines のように指定するか、または数式を使えば任意の直線が描画できるので、回帰直線もこれでいけますね（フィッティングの話については割愛）。

参考

ruby-numo/numo-gnuplot-demo: Ruby/Numo::Gnuplot Demo

めちゃくちゃいっぱいある gnuplot 本家のサンプルを Numo::Gnuplot に書き直した版。README から辿れる情報ですが一応。

この記事を読んだ人は（ひょっとしたら）こちらも読んでいます

Ruby + ruby_gnuplot（gnuplot gem）で散布図を描く

ruby_gnuplot もシンプルで良いと思いますよ。



SVG::Graph（svg-graph gem）で散布図を描く

Galaaz を触ってみた（TruffleRuby + ggplot2 で散布図を描いてみた）



『RubyでつくるRuby』のMinRubyのパーサを書いた（手書きの再帰下降パーサ）
2023-01-22T17:38:20+09:00
これは Ruby Advent Calendar 2022 の25日目の記事です。

書籍 『RubyでつくるRuby ゼロから学びなおすプログラミング言語入門』（以下、 『RubyでつくるRuby』 ）で扱われているミニ言語 MinRuby のパーサを書いてみました。



『RubyでつくるRuby』は、Ruby を使った基本的なプログラミングの入門から始まり、後半ではミニ言語 MinRuby（Ruby のサブセット）のインタプリタを作って最終的に MinRuby言語で MinRuby インタプリタを書くところまでやってしまう、という内容の入門書です。



……と自分なりに内容紹介してみましたが、以下もあわせて参考にしていただければと思います。


書籍『Ruby でつくる Ruby』が発売されます - まめめも


著者の遠藤さん

『RubyでつくるRuby』の読み方（私論） - golden-luckyの日記


ラムダノートの鹿野さん





RubyでつくるRuby ゼロから学びなおすプログラミング言語入門 – 技術書出版と販売のラムダノート


PDF版のみの販売ページ
Amazon



  プログラミングを始めるなら、プログラミング言語を自分でつくってみるのがいちばん！ 最低限の機能なら、こんなに簡単にインタプリタを作れます。よくわからなかったプログラミングも、裏側の仕組みから分かってしまえば怖くない！　
  
  2016年9月から2017年1月にかけてアスキーjpの「プログラミング＋」コーナーで連載された大好評のWebコンテンツ『Rubyで学ぶRuby』を、さらにわかりやすく紙版の書籍として編纂しなおして発売するものです。豊富なイラストもカラーで完全採録。



プログラミング初心者を想定して丁寧に解説してある
分量が多すぎず（144ページ）読み通しやすい
評価器にフォーカスしており、パーサはスコープ外


パースは minruby gem にまかせる



たしか発売された頃に読んで「せっかくだからパーサも自作したい」と思った記憶があります。当時はパーサの作り方についての知識が足りずどうすればよいか分からなかったのですが、その後あれこれあって簡単なものなら作れるようになりました。

できたもの

https://github.com/sonota88/cookpad-hackarade-minruby/tree/recursive-descent-parser

  $ wc -l rcl_*.rb my_minruby_parser.rb 
   33 rcl_common.rb
   65 rcl_lexer.rb
  496 rcl_parser.rb
   17 my_minruby_parser.rb
  611 合計


一応動いてはいます。advent calendar には間に合った……リファクタリングなどは冬休み以降の宿題にします。

（2023-01-22 追記） interp.rb がパースできるようになりました。

動作例

  $ cat test3-4.rb
n = 1
while n < 100
  if n % 3 == 0
    if n % 5 == 0
      p("FizzBuzz")
    else
      p("Fizz")
    end
  else
    if n % 5 == 0
      p("Buzz")
    else
      p(n)
    end
  end
  n = n + 1
end

  $ ruby my_minruby_parser.rb test3-4.rb
[:stmts, [:var_assign, "n", [:lit, 1]],
 [:while,
  [:<, [:var_ref, "n"], [:lit, 100]],
  [:stmts,
   [:if,
    [:==, [:%, [:var_ref, "n"], [:lit, 3]], [:lit, 0]],
    [:if,
     [:==, [:%, [:var_ref, "n"], [:lit, 5]], [:lit, 0]],
     [:func_call, "p", [:lit, "FizzBuzz"]],
     [:func_call, "p", [:lit, "Fizz"]]],
    [:if,
     [:==, [:%, [:var_ref, "n"], [:lit, 5]], [:lit, 0]],
     [:func_call, "p", [:lit, "Buzz"]],
     [:func_call, "p", [:var_ref, "n"]]]],
   [:var_assign, "n", [:+, [:var_ref, "n"], [:lit, 1]]]]]]


cookpad-hackarade-minruby

まずは先行事例を軽く調べました。

Hackarade #04: Create Your Own Interpreter - クックパッド開発者ブログ


  完全セルフホスト：MinRubyでパーサを書き、minruby gemに依存せずにinterp.rb単体でセルフホストするようにした


さすがのクックパッドさん。今回私はここまではやっていません。パーサを MinRuby で書くのもおもしろそう……。

同記事により、 mame/cookpad-hackarade-minruby というリポジトリでテストケースが用意されていることを知りました。ありがたく有効活用させていただきましょう。

mame/cookpad-hackarade-minruby: material for Cookpad's Hackarade #4

今回はこのテストケースを使い、自作パーサと minruby gem に同じ入力を与えて同じ結果になればヨシ！ ということにしました。

方針

パーサ入門でよくある再帰下降パーサにしました。

専用のパーサライブラリを使うのに比べるとデメリットもあり本格的な言語実装ではあまり採用されない手法だと思いますが、入門者目線だと「全部自分で書いたぞ感」「全部把握できてる感覚」が得られるという、とても良い良さがあります。

（ちなみに、Rust製 Ruby 実装 ruruby のパーサは手書きだそうです。すごい……。）

ここで選択肢が2つあり、


(1) 何もないところから全部書く
(2) Ruccola のパーサを改造する


ちょっとだけ (1) を試した後、時間（というか計画性）がないこともあって (2) に切り替えました。

さて、Ruccola というのがスッと出てきましたね。これはなんでしょうか。

Ruccola とは

Ruccola は私が自分の勉強のために作っている素朴な自作プログラミング言語です。

https://github.com/sonota88/ruccola

最新の知見を盛り込んだキラリと光る言語……とかでは全然なく、現代の水準からするとかなり原始的なものです。自分の勉強用・入門用なので素朴でよいと割り切っています。

2021年にセルフホストできた（詳しくは↓の記事を参照）後も趣味の盆栽プログラミング的にちびちびと機能追加やリファクタリングを続けています。

素朴な自作言語Ruccolaのコンパイラをセルフホストした - Qiita


コンパイラを Ruby で書いている
Ruccola言語のコードの見た目は Ruby っぽい
なんとなくC言語っぽいものをイメージして作ったが、現時点では型がない（整数しかない）ので B言語 や BCPL の方が近いのかも（詳しくないのでボンヤリした書き方）


ざっくり書くとこんな感じです。このうち「見た目は Ruby っぽい」というのがポイントで、Ruccola のパーサ（ 202-12-25 時点のソース ）にいくつか手を加えれば MinRuby のパーサとして使えそうでした。

コード例です。以下は Ruccola言語で書いた cat コマンド。

def main()
  var EOF = -1;
  var c;

  while (true)
    c = getchar();
    if (c == EOF)
      break;
    end

    write(c, 1);
  end
end


だいたい Ruby ですね。中身は原始的なのに見た目は Ruby 風なので、書いているとちょっと不思議な気分になります。

作者の目にはだいたい Ruby と同じに見えますが、Ruby に慣れている方には次のような点が目に付くのではないでしょうか。


文末の ; （必須）
while の条件式を囲む (  ) （必須）
変数宣言の var（必須）


他にも関数呼び出しの ( )、関数定義の仮引数を囲む ( )、エントリポイントとなる main 関数も必須です。

自分が言語実装ビギナーなので、難しいことをしなくていいように Ruby の文法にいろいろ制限を加えてこうなっています。Ruby と完全にコンパチではありませんが、構文ハイライトやエディタのインデント支援は Ruby 向けのものがだいたいそのまま使えています。

ちなみに、Ruccola よりももっとコンパクトな mini-ruccola（元は vm2gol-v2 という名前だった）もあります。VM〜コンパイラを割と素朴に書いて1500行以下というもの。自分が欲しい（難しすぎず、簡単すぎず、読み書きに慣れている言語向けの）教材が見つけられず、じゃあ自分で作ってしまえとなって作ったもの。

https://github.com/sonota88/vm2gol-v2

以前週刊Railsウォッチで紹介していただきました。

週刊Railsウォッチ（20210209後編）Rubyでミニ言語処理系を作る、Kernel#getsの意外な機能、CSSのcontent-visibilityほか｜TechRacho by BPS株式会社

作った順番としては mini-ruccola の方が先で、最初にこっちで簡単なコンパイラ実装になんとか入門し、その後セルフホストに必要な機能を追加していく形で Ruccola を作っていきました。

主な変更点

MinRuby の AST に合わせる

Ruccola の AST は現時点では MinRuby と同じく入れ子の配列（のようなもの）で木構造を表す方式です。そこは同じ。ただ細かいところが違うので合わせていきます。

簡単なところでいえば、たとえば以下は変数への代入です。

- [:set, var_name, expr]
+ [:var_assign, var_name, expr]


ものによってはこの程度の変更でOK。

演算子の優先順位

Ruccola では自分でも手に負えるようにいろいろと単純化しています。演算子の優先順位もそのひとつで、たとえば 1 + 2 * 3 という式は (1 + 2) * 3 として扱われます（単純に左結合とする）。

えっそれでいいの？ と思いましたか？ 思いますよね。

言語処理系の解説を見ると必ずといっていいほど演算子の優先順位の話題が出てきて、自作言語を作るには避けて通れないトピックであるかのように思われます。私もある時までそう思い込んでいたのですが、実はそんなことはありません……と思うんですよね（微妙な自信のなさ）。

Ruccola では 1 + (2 * 3) と解釈させたい場合は明示的に括弧で優先順位を指定して 1 + (2 * 3) と書けばよい、ということにしています。たまに自分でも忘れていて素でびっくりします。まあ自分の勉強用の言語だからいいんですよこれで。最初から実装しなくてもよいので後回しにしています。Ruccola言語の記述力がまだ低いため、今入れてもコード量が膨れるデメリット（セルフホストしているのでばかにならず、下手に機能追加すると自分が困る）の方が大きそうで嫌かなという考えもあり。

ちなみに、似たような方針を採っている言語として VTL (Very Tiny Language) という言語があると後から知りました。仲間がいた……。


  VTLでは，演算子の間に優先順位は存在せず，左から順番に演算が行われます．演算の順序を変えたい場合は括弧"()"をつけます．例えば，"2+3*4"の結果は"20"となり，"2+(3*4)"の結果は"14"となります．


あ、ていうか優先順位を明示する言語といえば Lisp があるじゃないか、とこの記事を書いていて今思い至りました。Lisp、心強いですね。

さて、Ruccola ではそれでいいとして、演算子の優先順位に対応しないと cookpad-hackarade-minruby のテストが通りません。なんとかしなければ。

これについては自分にとって今回初めてという訳ではなく、以前単体で履修していたのでした。

四則演算と剰余のみのexprコマンドをRubyで作ってみた

これを組み込めばいけるはず。

test1-4.rb と test1-5.rb の間の飛躍が大きかったので小さなテストを追加しながら進めました。


まずは一番優先順位の低い 1 == 2 から
二番目に優先順位の低い < を右側に加えた 1 == 2 < 3
...
1 == 2 < 3 + 4 * 5 が (1 == (2 < (3 + (4 * 5)))) と解釈できればOK
ここまでできたら test1-5.rb が通る


という流れで進めることで意外とすんなり書き換え完了しました。

参考: 演算子式 (Ruby 3.1 リファレンスマニュアル)

優先順位まわりについては書籍『Rubyで作る奇妙なプログラミング言語』もおすすめです。私はこの本の写経で入門しました。

if と case

Ruccola では if 文は case 文のシンタックスシュガーという扱いになっています。「case文が動けば if文はそのサブセット扱いにできるよね」という、大は小を兼ねる的な素朴な発想によるものです。あと Ruccola の前身の mini-ruccola は最初はパーサがなくて構文木を手書きするところからスタートしたため、その都合もあります。

MinRuby では逆になっていて、 case 式は内部的に入れ子の if 式としてパースされます（『RubyでつくるRuby』 p85）。ここは今回『RubyでつくるRuby』を読み返してなるほどと思ったところでした。

改行の扱い

Ruccola では現時点では if文の条件式全体を囲む括弧は省略不可です（case文、while文も同様）。また、代入や関数呼び出しなどの文の末尾にはセミコロンが必須です。改行はスペースと同じように字句解析の段階で捨てています。

if (i == 10)
  p(1);
end


一方 MinRuby では条件式を囲む括弧や関数呼び出しなどの末尾のセミコロンは省略可能です。改行の考慮が必要そう。

if i == 10
  p(1)
end


改行を考慮したパースはこれまで経験がなく不確実な部分でしたが、結論からいえば特別な対応は不要で、適当に改行を読み飛ばすだけで cookpad-hackarade-minruby のテストは通りました（というか試しにやってみたら字句解析の段階で全部捨てても大丈夫だった）。

今の実装では、式とみなせるまとまりの次に二項演算子が来たら「まだ式の続きがあるな」と判断し、そうでなければ「いったんそこで式が終わっているな」と判断する、という動作になっています。

たとえば上のコード例だと i == 10 の次に p というトークンが来ています。これは二項演算子ではありませんから、ここで式の区切りと判断され、i == 10 と p 以降は別のまとまりだということになります。

i == 10 + ...
        ^ 二項演算子なのでまだ式が続いていると判断

i == 10 p ...
        ^ 二項演算子ではないので p からは別のまとまり


あくまで cookpad-hackarade-minruby のテストのカバー範囲と今回作ったパーサの実装の組み合わせでは問題なかったというだけで、Ruby に近づけていこうとするとどこかでちゃんとした対応が必要になってくるでしょうね。

配列・ハッシュ

Ruccola では配列リテラルや配列の要素にアクセスするための専用の構文は（まだ）ありません。ハッシュはサポート予定なし。

なので配列・ハッシュまわりは新たに書きました。ここはすんなり書けてしまって特に書くことがありません。

TODO


if, case まわりがいいかげんなのでもうちょいちゃんとやる
interp.rb をパースできるようにする（ここまではやりたい）


（2023-01-22 追記） 上記2つ完了しました。「これで完璧！」というものではありませんが、とりあえず interp.rb はパースできています。

おわりに

以上のように自作言語 Ruccola のパーサにいくつかの変更を加えることで MinRuby のパーサを作ることができました（ただし cookpad-hackarade-minruby のテストを通すところまで）。

以前から MinRuby のパーサ作れないかなーとボンヤリ考えていたのでこの機会に実現できてよかったです。



以下、おまけ的な雑多な話題・メモなどです。

おまけ

再帰下降パーサについて

再帰下降パーサについては書籍やウェブに解説がたくさんありますので「再帰下降 パーサ」「再帰下降 構文解析」などで調べてください。英語だと recursive descent parser です。

今回作ったものはパーサだけで 500行くらいありますし、再帰下降パーサの一番最初の入門用としてはちょっと大きいかもしれません。そういう場合は分解してちょっとずつ手を付けるのがおすすめです。


くりかえしの構造


関数定義の仮引数、関数呼び出し時の引数、演算子を含む式、配列リテラル、ハッシュリテラルなど、いろんなところで登場する
数 のあとに , 数 をくりかえし
例: 1, 2, 3
数 のあとに 演算子 数 のくりかえし
例: 1 + 2 + 3

[[]], [[[]]] のような入れ子の構造
演算子の優先順位


上の方でも書いたように、演算子の優先順位は後回しにできますから、先にそれ以外の部分を作ってから後付けで追加するのもよいと思います。

「MinRuby のパーサを書いてみたいけどいきなり全部書くのは無理そう……また今度にしよう」と思った方は、まず次のような簡単なものから手を付けてみるのはどうでしょう。どちらも50行くらいです。


入れ子の配列だけをパースできるパーサを作る（手書きの再帰下降パーサ）


((), (())) のような入れ子の括弧だけをパースできるパーサ。コード例があった方がよさそうと思って簡単なものを昨日急いで書きました。
n年前の自分に「これで入門しろ」「最初はこれでいいと思うよ」といって送りつけるとしたらこれ

正規表現エンジン（ロブ・パイクのバックトラック実装）をRubyで写経した


バックトラック方式の正規表現エンジンもおすすめです。こっちも手軽。手軽だけどおもしろい。再帰下降パーサに考え方が似ています。



MinRuby 関連

今回調べていて見つけたもの。

https://speakerdeck.com/m_seki/extend-your-own-programming-language-rubykaigi-2018

MinRuby に末尾呼び出し最適化を実装する話や Rinda + MinRuby の話。

https://matsubara0507.github.io/posts/2019-05-16-minruby-with-patternmatch.html

パーサは「木を組み立てる」処理がメインなのでパターンマッチの出番はそんなにありませんが、評価器は「木を使う」処理がメインなのでパターンマッチを使うといい感じに書けますね。

関連書籍


Rubyで作る奇妙なプログラミング言語
つくって学ぶプログラミング言語 RubyによるScheme処理系の実装 - 達人出版会


『RubyでつくるRuby』もそうですが、どの本も古びていない、これからも通用する、使い回しのきく内容だと思います。Ruby に慣れていて言語処理系に興味があるという人におすすめです。

mal (Make a Lisp)

https://github.com/kanaka/mal

Lisp に興味のある方には mal（Make a Lisp）もおすすめです。ちょうど『RubyでつくるRuby』の Lisp 版といった感じで、簡単な Lisp インタプリタを作ってセルフホストするまでが11ステップに分かれており、テストを通しながら作っていきます。入門者向けのシンプルな実装ですが、マクロや例外機構、末尾呼び出しの最適化まで含まれています。すでに Ruby 版の実装（主な部分は500行程度）もリポジトリに含まれていますから、そのまま写経してもいいですし、自力で書いて詰まったときに参考にすることもできます。

ちなみに私は一度 Ruby で写経した後 LibreOffice Basic で書くということをやりました。

LibreOffice BasicでLispインタプリタ（mal）を書いた - Qiita

PicoRuby

入門者向けに作られているものではありませんが、Ruby 関連の小さめの処理系というと PicoRuby がありますね。

https://github.com/picoruby

https://github.com/picoruby/mruby-pico-compiler

この記事の前日（2022-12-24）に開発者募集されていました。

【お誘い】PicoRubyの開発者を募集しています · picoruby/picoruby Wiki

Ruby よりは小さくて難しくなさそう？？ 読めそうだったら参考のためにソース読んでみようかな……と思いつつまだ何もできていません。

Lemon というパーサジェネレータを使ってるんですね。Lemon 知らなかった。SQLite が使っているものだそうです。


The Lemon LALR(1) Parser Generator
Proposal for the Grant Program 2020 of Ruby Association · picoruby/picoruby Wiki


雑多


Raccでかんたんな自作言語のパーサを書いた
Parsletでかんたんな自作言語のパーサを書いた


mini-ruccola のパーサを Racc と Parslet を使って書いたもの。



自作言語のコンパイラにオレオレアセンブリではなくx86_64アセンブリを生成させる（関数呼び出しと足し算だけ） - Qiita

コンパイラ作ったらやはりこれもやっておきたい、ということで（ちょっとだけ）やったみたもの。RISC-V 版や WebAssembly 版もやってみたい。



Ruby＋DXOpalでリレー式論理回路シミュレータを自作して1bit CPUまで動かした - Qiita

言語処理系をやるとさらに下のレイヤーも気になってきますよね？ ということでついでに紹介。これも楽しかったです。Ruby（と DXOpal）で作れます！

今年 Ruby 関連で書いたもの

せっかくのアドベントカレンダーなので今年書いたものも並べてみます。


Galaaz を触ってみた（TruffleRuby + ggplot2 で散布図を描いてみた）
Ubuntu 22.04にJupyter NotebookとIRubyをインストール（pyenv, rbenv, Bundler を使用）
Ruby + Victor でSVGお絵描き（簡単な散布図を描いてみた）
SVG::Graph（svg-graph gem）で散布図を描く
Ruby + ruby_gnuplot（gnuplot gem）で散布図を描く
Ruby + Numo::Gnuplot（numo-gnuplot gem）で散布図を描く



Ruby + ruby_gnuplot（gnuplot gem）で散布図を描く
2022-12-29T18:12:03+09:00
https://rubygems.org/gems/gnuplot

https://github.com/rdp/ruby_gnuplot

準備


gnuplot コマンドをインストール


Ubuntu 18.04 の場合は sudo apt install gnuplot

ruby_gnuplot をインストール


gem install gnuplot



これだけ。

ただし、 Ruby 3.1.0 で matrix が bundled gem になったようなので、3.1.0 以降の場合は gem install matrix も必要です。

参考: [Ruby] Bundled gemsはGemfileに指定して使おう

最低限の例

PNG ファイルに出力する最低限の例です。

# sample.rb

require "gnuplot"

Gnuplot.open do |gp|
  Gnuplot::Plot.new(gp) do |plot|
    plot.terminal "png"
    plot.output "output.png"

    x = [1, 2, 3, 4, 5]
    y = [11, 22, 33, 44, 55]
    plot.data << Gnuplot::DataSet.new([x, y])
  end
end


  # 実行 ... output.png が生成される
ruby sample.rb




以上。簡単ですね。

ちょっと見えにくいですが、 両端の点は枠線に重なっています。

PNG 以外にも、 SVG や PDF として出力することもできます。

環境

Ubuntu Linux 18.04
gnuplot -V #=> gnuplot 5.2 patchlevel 2
ruby -v    #=> ruby 3.1.2p20 (2022-04-12 revision 4491bb740a) [x86_64-linux]
gem:
  gnuplot 2.6.2
  matrix 0.4.2


メモ


とにかくインストールが楽なのが良い。gnuplot コマンドのインストールさえ済んでしまえば、他にインストール絡みでトラブルが起きる余地がなさそう。気分的に楽 👌
gnuplot でできることは大体何でもできるはず。たぶん。
gnuplot.rb ( https://github.com/rdp/ruby_gnuplot/blob/master/lib/gnuplot.rb ) はコメントを除くと300行くらいなので、サッと読める


gnuplot 用のスクリプトに変換して gnuplot コマンドに渡しているだけ

「○○がやりたいけどどうすればいい？」となった場合は gnuplot 向けの情報を探す


gnuplot は枯れたプロダクトなので、情報はたくさんある
すでに gnuplot に習熟している人は楽そう

Charty のバックエンドとして使える？（まだ試していません）


（追記） 2022-05-29 現在では未対応でした



非常に薄いラッパーなので、素の gnuplot をそのまま使うのと実はそんなに大差なくて、そこを踏まえた上で使う分には便利。

「gnuplot の使い方を覚えたいわけではないんだけどなあ……」という人には向かないかもしれません。

自分が使いそうな機能についてメモ


グラフのタイトル指定
x軸, y軸の範囲指定、軸タイトル指定
複数の系列の描画
数式のプロット


などは README にサンプルがあるので、そっちを見てください。

系列名の凡例

DataSet.new にブロックを付けると、ブロックパラメータとして DataSet のインスタンスが渡されるので、それを使って指定できる。

plot.data << Gnuplot::DataSet.new([x, y]) { |ds|
  ds.title = "dataset"
}




日本語フォント

無指定だと日本語が豆腐になりました。

gnuplot フォント 日本語 set terminal のような検索ワードで調べると、 Plot#terminal で指定できることが分かります。

Gnuplot.open do |gp|
  Gnuplot::Plot.new(gp) do |plot|
    plot.terminal "png font 'VL Gothic,20'"
    plot.output "output.png"

    x = [1, 2, 3]
    y1 = [11, 25, 32]

    plot.data << Gnuplot::DataSet.new([x, y1]) { |ds|
      ds.title = "系列1"
    }
  end
end




点の代わりにラベルを表示する

Gnuplot.open do |gp|
  Gnuplot::Plot.new(gp) do |plot|
    plot.terminal "png"
    plot.output "output.png"

    x = [1, 2, 3]
    y = [11, 22, 33]
    label = ["A", "B", "C"]
    plot.data << Gnuplot::DataSet.new([x, y, label]) { |ds|
      ds.with = "labels"
    }
  end
end






点とラベルを両方表示するのは若干面倒そう。

In gnuplot, how to label each point in the plot with its coordinates? - Stack Overflow

https://stackoverflow.com/questions/23177716/in-gnuplot-how-to-label-each-point-in-the-plot-with-its-coordinates

生成されたスクリプトだけ欲しい

以下のように Gnuplot.open にモンキーパッチを当てると、グラフの描画は行わずに gnuplot 用に生成されたスクリプトの出力だけを行うことができます。

module Gnuplot
  def self.open(persist = true)
    io = $stdout
    yield io
  end
end

Gnuplot.open do |gp|
  Gnuplot::Plot.new(gp) do |plot|
    x = [1, 2, 3]
    y = [11, 22, 33]
    plot.data << Gnuplot::DataSet.new([x, y])
  end
end


$ ruby sample_print_script.rb > sample.gs

$ cat sample.gs
plot '-'
1 11
2 22
3 33
e

  # スクリプトを gnuplot コマンドに渡して実行
$ gnuplot -persist sample.gs


まとめたもの

せっかくなのでいろいろ含めたものも貼ってみます。

require "gnuplot"

Gnuplot.open do |gp|
  Gnuplot::Plot.new(gp) do |plot|
    plot.terminal "png font 'Noto Sans CJK JP,12'"
    plot.output "output.png"
    plot.title "グラフのタイトル"
    plot.xrange "[0:6]"
    plot.yrange "[0:60]"
    plot.xlabel "x軸のラベル"
    plot.ylabel "y軸のラベル"

    x = [1, 2, 3]
    y1 = [11, 25, 32]
    y2 = [21, 35, 42]
    y3 = [31, 45, 52]

    plot.data << Gnuplot::DataSet.new([x, y1]) { |ds|
      ds.title = "系列1"
    }

    plot.data << Gnuplot::DataSet.new([x, y2]) { |ds|
      ds.title = "系列2（線のみ）"
      ds.with = "lines"
    }

    plot.data << Gnuplot::DataSet.new([x, y3]) { |ds|
      ds.title = "系列3（点と線）"
      ds.with = "linespoints"
    }

    # 数式
    plot.data << Gnuplot::DataSet.new("x * 10") { |ds|
      ds.title = "y = x * 10"
    }
  end
end




ds.with = "lines" を使うか、または数式を使えば任意の直線が描画できるので、回帰直線もこれでいけますね（フィッティングの話については割愛）。

参考

Rubyのgnuplotで時系列データをプロット | Lifelog

https://ytkyk.info/blog/2016/07/21/rubyのgnuplotで時系列データをプロット/



gnuplot documentation

http://gnuplot.info/documentation.html

日本語のPDFがあります。



Demos for gnuplot version 5.4

http://gnuplot.sourceforge.net/demo_5.4/

豊富なサンプル。gnuplot マジ何でもできるな、という気持ちになります。

この記事を読んだ人は（ひょっとしたら）こちらも読んでいます


SVG::Graph（svg-graph gem）で散布図を描く
Galaaz を触ってみた（TruffleRuby + ggplot2 で散布図を描いてみた）



事故物件的なポモドーロ タイマー
2022-11-23T17:55:13+09:00
たのまれたので、なんとかする予定のプログラム。

ポモドーロタイマー。

ポモドーロタイマーとは、ポモドーロがイタリア語でトマト、でタイマーはキッチンタイマーのタイマー。

トマト　キッチンタイマーなんだけど、そっちが主ではなくて、そのタイマーではかる時間のことを指している。

なにかクリエーティブな作業をするときの時間配分で、2時間かけたい場合、25分間作業して、5分間休憩して、25分間作業して、5分間休憩して、

25分間作業して、5分間休憩して、25分間作業して、15分間休憩してというようにすると、いい感じで集中してられる、というライフハックのことをポモドーロタイマーというらしい。

end time 17:28:35

1 pomodoro = 25min, rest = 5min
long rest = 15min

 1 pomodoro 25min -> rest 5min -> 1 pomodoro 25min -> rest 5min
 1 pomodoro 25min -> rest 5min -> 1 pomodoro 25min -> long rest 15min

total 130min

pomodoro: 1
total time: 16 min
remain: 9 min

now 15:35:08


さっと作ってみてポモドーロタイマーを検索したらいっぱいありそう。

たのまれたのは、たぶんそういうのじゃないのでしばらく時間がかかりそう。

パピヨン本田のマンガを読んでリラックスしよう。

https://twitter.com/papiyonhonda/status/1475425058684551176?s=20&t=LHttfuow8JjZmaKTEYmpQQ

papiyonhonda

基本的には、このようなかんじか。

Ruby

https://rentry.co/uf7d5

問題なければ、機能を付けていく。

まだロジックを考えてないが、ひとまず間違いがないかチェック。

うん、なんかまちがっているね。

どこがおかしいかなということでチェックしていこう。

1 require 'time'
2
3 pomo = ARGV[0].to_i # 1 pomodoro durations
4 interval = ARGV[1].to_i # rest durations
5 long_rest = ARGV[2].to_i # long rest durations
6
7 one_set = pomo*4 + interval*3 + long_rest # min
8 puts one_set # min                                                                    
9
10 tempotime_0 = Time.new
11 tempotime = Time.new
12 mission_finish_time = tempotime_0 + one_set*60 # sec
13 puts tempotime_0
14 puts mission_finish_time
15 minutes = (mission_finish_time - tempotime_0).to_i.div(60)
16 puts "#{minutes/60}:#{minutes%60}"
17 exit


60  while seconds < 60 do
61    t = Time.new
62
63    if (t - tempotime > 1)


のとこは

60  while seconds < 60 do
61    t = Time.new
62
63    if ((t - tempotime).to_i > 0)


こうしといて。

ここもおかしくなるので、

92        puts "remain: #{(((tempotime_0 + pomo*60)-t).to_i).div(60)} min #{(((tempotime_0 + pomo*60)-t).to_i).modulo(60)} sec"


これでいいんじゃない。

92        puts "remain: #{((tempotime_0 + pomo*60*pomodoro + resttimes*60*(pomodoro - 1)) - t).to_i.div(60)} min #{(((tempotime_0 + pomo*60*pomodoro + resttimes*60*(pomodoro - 1)) - t).to_i).modulo(60)} sec"


いちおう、ベースはできた。基本的にはこれで良さそう。

Ruby

https://rentry.co/pvmdk

間違うところもよくわかったので、初めて Dart をどうやって書くのか読みながらヨチヨチと Ruby で書いたものと同じような感じにしてみる。

Dart

https://rentry.co/369sd


グレートクソアルゴリズム | くだらない youtube アルゴリズムを使用して youtube ビデオに関する情報を収集するくだらない Ruby プログラム
2022-11-10T19:08:50+09:00
translate

クソアルゴリズム



クソアルゴリズムにたいして、クソアルゴリズムを利用して、必要なものだけを選別していくものを書いてみる。

え、突然なに ? と思うかもしれないが、やっぱり怒ってるんだな。

これじゃないロボってわかるかなぁ。


  欲しかったロボはこれじゃない！世界中から子供たちの悲痛な叫びが聞こえる情操教育玩具。グッドデザイン賞受賞の伝説的玩具。

  コレジャナイロボ（The Original Model）

  https://www.assiston.co.jp/1595


わかんないと思うな。

コレジャナイ ユーチューブ

何を怒っているか整理すると、Youtube 検索結果について。

簡単に言うと、探したいものがあって、探してるときに、あなたの探してるものと関係ありそうなもの教えてあげる的に頼んでもない集合知をほいって添えられて、それを断るすべがないということについて。

探しているものがはっきりしていて、その言葉で検索かけているときに、ほいっ、あなたの前回見た動画から他の人が見たのこれだから、こんなの面白いみたいよ、どぞー !! って検索結果に混ぜられるの意味あると思うのか ?? まともに考えて。それ、おすすめ映画をレコメンドするアルゴリズムだよね。それ、バカでしかないからやめてほしいんだ。

それ、バカでしかないからやめてほしいんだ youtube . . .

例えば、ransomware というキーワードで検索したとして、それと前回たまたま見た何かの動画とは全く関係ない趣向で、今検索してるのに、じゃあこれもって一言も ransomware のことなんて発言しない youtuber のたくさん視聴された関連動画を検索結果に混ぜてくるのって、「機械学習してるからー」てことを人間が配慮してあげないとしたら、意味不明のバカでしかない。

意味不明のバカでしかない . . .

意味不明のバカな結果を出すアルゴリズムを権威的に出してくるって、意味不明なバカレベルである。だから、やめて、と思うだけなんだな。

他人の行動も、過去の自分のトレンドも全く関係がない TPO が読めないアルゴリズムって、ただの邪魔だ、ということ。

そんなことは当たり前過ぎるのに、なぜか当然のように諦めさせらるとっても不毛なシステムだ。

これがなんでもかんでも Collaborative filtering 。

この配慮のない他人の行動をどんなときにも当てはめようとしてくる様式をクソアルゴリズムと呼ばずにはおれない。

でも、クソとかバカとかいうのも、どうにもならないわかりきったことで、単に Google が正しくキュレーションされたものより、てっとりばやく消費される季節ネタのようなバズを見えるとこに置いた方が広告の流入になるという方針なだけで、そういった正攻法はかつて創業者によって「情報の精度が落ちる要因」とされているので、クソなことをわかってやっていて、かつて 2000 年代に蔓延したアホみたいなインデックス型のサーチエンジン並みのクオリティを実現するアルゴリズムを新参のカウンターとして、知的に駆逐した彼ら google 自身が「今」作っているということ。

The Age of PageRank is Over

09 Nov, 2022

Vladimir Prelovac

CEO, Kagi Inc.

https://blog.kagi.com/age-pagerank-over

もちろん、そんな 20 年以上レイドバックしたテクは 22 年以上前の板フロート掲示板王子によってチートされている。「クソをクソだと見抜けない人が使っている」ということが、クソの臭い嗅ぎ王子には見透かされたと言っていい。たぶん、世界中同じような状況じゃないかと思う。だって、結局古いんだもん。

というところまででクソアルゴリズムを悪く言うのはここまでにして、じゃあ、どうすればいいの ?

自分の決めたキーワードとの関連はどうやって判断するのか ? を考えてみる。

キーワードと youtube 動画の相関は、タイトルにキーワードが含まれるか ? だけで判断するということにする。

含まれていたら、関連動画としてリストに追加するし、含まれていなければそれ以上関係性を考慮しない。これだけのストレートなルールを設定する。

なので、youtube 動画のタイトルが web ページのデータ上のどこにあるのかを割り出すことが必要。

キーワードで youtube 検索するには、

https://www.youtube.com/results?search_query=ransomware

で、get する。そうすると、検索結果を表示するリダイレクトが youtube ページで行われる。



この行為を Ruby コードで書くと、

code : 01

require 'uri'
require 'net/http'

words = "ransomware"
keywords = URI.encode_www_form(search_query: words)
target = 'https://www.youtube.com/results?' << keywords
resp_0 = Net::HTTP.get_response(URI.parse(target))


ページのなかの、






chrome ブラウザーで tenki フォルダの中の html ファイルを開く。

chrome browser:

CTRL + shift + i

DevTools

index.html:




タイトルから書籍情報を探す。
2022-02-04T21:49:20+09:00
データを詰め込んだデータベースから、本のタイトルを取り出して、もしあれば著者名を取り出して、国会図書館のNDL サーチで、タイトルを検索して、これかな ?? という書籍情報をデータベースに詰め込むプログラム。

何をするためかというと、タイトルしかわからないマンガコミックの出版社の情報や、ISBN など詳細をたどって得るため。ISBN からタイトル情報へ行き着くものはあるが逆のものは知らないため。

それ以上説明は省くが、こちらからさかのぼっていくと、きっとわかる。

https://crieit.net/boards/manga-B/fc4a0259928ca001b58935ddd7cbb322

さかのぼる

require "faraday"
require "faraday/net_http"
require "net/http"
require 'nokogiri'
require 'sqlite3'
require 'time'
require 'date'

class NdlSearch

  def get_book_info(title, creator = nil)
    data = []
    query = {
      :mediatype => 1,
      :cnt => 100
    }
    query[:title] = title
    query[:creator] = creator if creator
    if creator == ''
        puts "::::::::::::::::::::::::::::::::::::"
        puts 'author :??'
    end
    puts
    print "query :#{query}"
    puts
    response = ndl_get('/api/opensearch', query)

    xml = Nokogiri::XML(response.body)
    xml.remove_namespaces!
    items = xml.xpath('//item')
    unless items.any? then
        puts
        puts 'ndl has no item'
        data << {"totalResults"=>"0"}
    else
    #pp items.to_s
        items.each do |item|
          #puts
          #puts "item :", item
          book = {}
          threads1 = [] # concurrency
          item.children.each do |c|
            threads1 << Thread.new {
              key = c.name
              next if key == 'text'
              val = "#{c.content}"
              label = c.attribute("type")
              if label
                label = "#{label}".gsub(/^dcndl:|^dcterms:/,'')
                book[label] ||= []
                book[label] << val unless book[label].include?(val)
                val = "#{label}:#{val}"
              end
              book[key] ||= []
              book[key] << val unless book[key].include?(val)
            }
          end
          threads1.each{ |thr| thr.join }
          book = book.map {|key,val| [key, val.join(',')]}.to_h
          data << book
        end
    end
    data
  end

  private

  def ndl_get(path, pram)
    con = Faraday.new(:url => 'https://iss.ndl.go.jp') do |f|
      f.request  :url_encoded
      #f.response :logger
      f.adapter :net_http
    end
    con.get path, pram
  end
end

#DB

SQL =<= looptimes - 1 then
      break
    end
#    threads << Thread.new {
#      m.synchronize{
      count += 1
      puts
      puts "::::::::::::::::::::::::::::::::::::::::"
      print 'id:',count,' '
      search_data = db.execute("select book_title,author,title,id,tags from tbl_manga where id ='#{count}' ;")
      if search_data.empty? then
        puts 'empty'
      end
      *book_data = search_data.pop
      #book_data[0] #=> book_title
      #book_data[1] #=> author
      #book_data[2] #=> title
      #book_data[3] #==> id
      #book_data[4] #==> tags
      mangathank_title = book_data[2].to_s.gsub(/\'/, "\'\'")
      tags = book_data[4].to_s.gsub(/\'/, "\'\'")

      puts book_data[2]

      if book_data[2] == "null" then
          p count
          pp book_data
#          new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id, tags ) values('book_title:nothing','author:nothing','#{mangathank_title}','#{book_data[3]}','#{tags}');")
          new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id, tags ) values('#{count}','book_title:nothing','author:nothing','#{mangathank_title}','#{book_data[3]}','#{tags}');")
      else
          author_data = book_data[2].to_s.slice(/((?<=\[).*?(?=\]))/)
          #puts "author_dat:#{author_data}"
          if author_data != nil
              author_data.gsub!(/\ x\ /,' ')
              author_data.sub!(/((?<=[\p{Hiragana}\p{Han}\p{Katakana}])x(?=[\p{Hiragana}\p{Han}\p{Katakana}]))/,' ')
              author_data.gsub!(/\(|\)/,"\(" =>' ',"\)"=>'')
              author_data.gsub!(/×/,' ')
              author_data.gsub!(/\ &/,' ')
          end
          if /(\ )/.match(author_data) then
              #/(\S+$)/.match(author_data)
              #person = /(?<=['\ '])\S.*$/.match(author_data)
              #str_array = person.to_s.split
              str_array = author_data.to_s.split
              person = str_array.pop
          else
              person = author_data.to_s
          end
          print("author_data: ",  author_data , "  person: " , person)
          puts
          num = book_data[2].to_s.slice(/((?<=第)\d+(?=巻|卷$))/)
          #num = /((?<=第)\d+(?=巻$))/.match(book_data[0].to_s)
          #book_data_0 = book_data[0].to_s.sub(/((?=第).*巻)/,'')
          book_data_0 = book_data[2].to_s.gsub(/((?=第).*(巻|卷))/,'')
          book_data_0.gsub!(/((?=第).*話)/,'')
          book_data_0.gsub!(/(.(?<=\()文庫版(?=\)).)/,'')
          book_data_0.gsub!(/(.(?<=\[)文庫版(?=\]).)/,'')
          book_data_0.gsub!(/文庫版/,'')
          book_data_0.gsub!(/フルカラー版/,'')
          book_data_0.gsub!(/カラー版/,'')
          book_data_0.gsub!(/(.(?<=\()完(?=\)).)/,'')
          book_data_0.gsub!(/(.(?<=【).*(?=】).)/,'')
          book_data_0.gsub!(/(.(?<=\[).+?(?=\]).)/,'')
          book_data_0.lstrip!
          book_data_0.rstrip!

          if book_data_0 == temp_title then
              if str_array then
                  person = temp_author
              end
          else
              temp_title = book_data_0
              temp_author = person
          end

          if num != nil then
              num = num.to_i
              book_data_0 += ' ' + num.to_s
          end
          puts
          #puts book_data[0]
          puts book_data_0
          puts
          ndl_search = NdlSearch.new

          onemore = 'true'

          while onemore == 'true' do
              res =  ndl_search.get_book_info( book_data_0,person )
              onemore = 'false'
#              puts res[0]
              if res[0] == nil then
                  puts "res: empty"
                  book_data_0.gsub!(/\'/,"\'\'")
                  puts book_data_0
#                  new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id,tags ) values('#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                  new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id,tags ) values('#{count}','#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                  onemore = 'false'
              else
                  done = false
                  res[0..99].each_with_index do |book,index|
                      if done == true then
                        break
                      end
                      not_book = false
                      book.each do |key, val|
                          if key == "extent" then
                              puts "#{key}:#{val}"
                              if /ビデオ|DVD|dvd|ディスク/.match?(val) then
                                  not_book = true
                                  puts ''
                                  puts 'SKIP'
                                  break
                              end
                          end
                      end
                      if not_book == true then
                        next
                      end
                      if book != "null" then
#                         puts  "res:#{book}" 
#                         puts " :#{index}"
                         book.each do |key, val|
#                             puts "#{key}:#{val}"
                             if key == 'totalResults' then
                                  #puts
                                  #print "no match title name #{person} ",book_data[3],'  '
                                  book_data_0.gsub!(/\'/,"\'\'")
                                  #puts book_data_0,person,mangathank_title
                                  unless str_array.nil? then
                                      if str_array.size > 0 then
                                          person = str_array.shift
                                          puts
                                          print "#{person} ?"
                                          puts
                                          puts
                                          onemore = 'true'
                                          #sleep 3
                                          break
                                      else
#                                          new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id,tags ) values('#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                          new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id,tags ) values('#{count}', '#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                          onemore = 'false'
                                          #sleep 10
                                          break
                                      end

                                  else    
#                                      new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id, tags) values('#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                      new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id, tags) values('#{count}', '#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                      onemore = 'false'
                                  end
                                  break
                              end


                              if key == 'title' then
                                  temp_author = person
                                  puts "☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆"
                                  puts "     #{count}"
                                  puts ""
                                  puts "#{key}:#{val}"
                                  title = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("insert into tbl_bookdata (id, mangathank_title, ex_id, tags ) values('#{count}', '#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                  new_db.execute("update tbl_bookdata set book_title = '#{title}' where id = '#{count}';")
                              elsif key == 'author' then
                                  puts "#{key}:#{val}"
                                  author = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set author = '#{author}' where id = '#{count}';")
                              elsif key == 'creatorTranscription' then
                                  puts "#{key}:#{val}"
                                  creatortranscription = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set creatortranscription = '#{creatortranscription}' where id = '#{count}';")
                              elsif key == 'volume' then
                                  volume = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set volume = '#{volume}' where id = '#{count}';")
                              elsif key == 'link' then
                                  url = val
                                  new_db.execute("update tbl_bookdata set url = '#{url}' where id = '#{count}';")
                              elsif key == 'publisher' then
                                  puts "#{key}:#{val}"
                                  publisher = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set publisher = '#{publisher}' where id = '#{count}';")
                              elsif key == 'ISBN' then
                                  puts "#{key}:#{val}"
                                  puts ""
                                  puts "☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆"
                                  isbn = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set isbn = '#{isbn}' where id = '#{count}';")
                              elsif key == 'seriesTitle' then
                                  puts "#{key}:#{val}"
                                  seriestitle = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set seriestitle = '#{seriestitle}' where id = '#{count}';")

                              elsif key == 'date' then
                                  puts "#{key}:#{val}"
                                  published_date = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set date = '#{published_date}' where id = '#{count}';")
                              elsif key == "W3CDTF" then
                                  puts "#{key}:#{val}"
                                  puts ""
                                  w3cdtf = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set W3CDTF = '#{w3cdtf}' where id = '#{count}';")

                              else
                                  #new_db.execute("update tbl_bookdata set author = '', creatortranscription = '', volume = '',  url = '', publisher = '', isbn = '', seriestitle = '' ;")
                                  onemore = 'false'
                                  done = true
                              end
                          end
                      else
                          onemore = 'false'
                          puts "error"
                          mangathank_title = book_data[2].to_s.gsub(/\'/, "\'\'")
#                          new_db.execute("insert into tbl_bookdata (author, mangathank_title, ex_id ) values('#{author_data}','#{mangathank_title}','#{book_data[3]}');")
                          new_db.execute("insert into tbl_bookdata (id, author, mangathank_title, ex_id ) values('#{count}','#{author_data}','#{mangathank_title}','#{book_data[3]}');")
                      end
                  end
              end
          end
      end
#    }
#  }
  end
  fiber.resume
#  threads.each {|th| th.join}
end



ある一つのサイト についての
2022-01-07T12:34:32+09:00
思い出

過去 6 ヶ月間、ひたすらひとつの違法マンガサイトを見ていた。

ずっと見ていたのは公開されたマンガコンテンツではなく、サイト運営者が作ってるデータをひたすら見ていたので、11 月の 4 日、15 時くらいにサイトをたたんだのを確認した。¹



おそらくこの翻訳記事 2021年11月04日 14時00分


  Manga Publisher Wants to Sue Huge Piracy Network, Needs Google's Help * TorrentFreak

  https://torrentfreak.com/manga-publisher-wants-to-sue-huge-piracy-network-needs-googles-help-211101/


注) 'Shueisha’s application and proposed orders/subpoenas can be found here (1,2,3,4 pdf)' の書類が興味深い。

https://gigazine.net/news/20211104-manga-shueisha-googles-piracy-mangabank/

が公開されたことで、サイト運営者が違法性を自認して、サイト閉鎖を決定したのではないかと思われる。

2021.12月中頃、mangabank.org とはまた別のドメインで再開している。

画像ファイルのあるアドレスのドメインを whois したところ、cloudflare の管轄のホストではなさそうな感じ。





過去に書いたこのような記事は、当時、宣伝につながらないように配慮して明記しなかったが、全て漫画 BANK についてのことだった。

以下、2021年11月04日 以前

https://qiita.com/dauuricus/items/563cbcc9776f66cb672e

6 月の時点では 5 万ページぼどだと思っていたが 10 月には 6 万ページ以上あることがわかった。

この 6 万ページというのはマンガコンテンツの漫画の総ページ数のことではなくて、URL のことで、そのひとつの URL に 30 点から 300 点ぐらいの画像ファイルの URL が埋め込まれている。

その画像一枚が、漫画のスキャン画像ファイルの一点に相当する。



画像点数にすると、空想すると数えたことないおおきな数になるので、いずれいつか数えようと数えなかったが、その 6 万ページについては 著者 / 漫画のタイトル / 公開されていた URL / アップデート日時の情報 / 付与されていたタグ のデータのセットを記録した。

スキャン画像のファイルが漫画 BANK の見ているページに読み込まれるようにページのソースの中に URL が埋め込まれていて、観測した限りのその URL は、全てが cloudflare がホスティングしているドメインだった² ( 2021年 7月の調べ )

これが全てではないが、数千のアドレスから集計すると、こちらのドメインに収束した。

0  ssl.appx.buzz

1  ssl.asiax.cloud

2  ssl.stagingy.store

3  ssl.lsw.buzz

4  ssl.advx.cloud

5  ssl.appuru.store

6  ssl.lss.buzz

7  ssl.remon.store

8  ssl.lsq.buzz

9  ssl.lsb.buzz

10  ssl.appsx.cloud

11  ssl.lsh.buzz

12  ssl.raichi.store

13  ssl.lsr.buzz

14  ssl.akaax.com

15  ssl.axax.cloud

16  ssl.lsk.buzz

17  ssl.lsy.buzz

18  ssl.zqap.cloud

19  ssl.skyly.cloud

20  ssl.akax.cloud

21  ssl.zmqx.cloud

22  ssl.lssaq.cloud

23  ssl.lsm.buzz

24  ssl.nexc.store


参照:　🥝ページの中から lazy load の画像 URL を抽出する。

画像の著作権情報³と、公開されている cloudflare のドメインの画像ファイルアドレスのリストがあれば、すんなり停止できるのだろうなと⁴考えていたが、ずいぶんとほったらかしているな、あれ ? ゼンゼンナニモシナイノ ? と不思議に思えた。

たしか 2019 年⁵までサイトブロッキング⁶しかない!⁷ という主張さえあったのだが⁸、その前にどこまでどうしたのかは、主張からはさっぱりわからないので、「どこまでどうできるのか」がずっと気にかかっていた。

サイトブロッキング法制化、中間まとめは先送り

浅川 直輝 日経 xTECH／日経コンピュータ

2018.09.20

https://xtech.nikkei.com/atcl/nxt/column/18/00001/01044/

朝日新聞デジタル

海賊版サイト対策、まとまらず　検討会議は無期限延期に

上田真由美 川本裕司 2018年10月16日 0時10分

https://www.asahi.com/articles/ASLBH5W88LBHUCLV00L.html

過去のしりきれとんぼになっているインターネット上の海賊版対策に関する検討会議　第9回会合　議事録を読んでいると　とりまとまらない報告となった理由が熱くて面白かった。「両論併記をしない」という主張についての理由が議事録には残っている。



Rf.インターネット上の海賊版対策に関する検討会議　第9回会合　議事録

https://www.kantei.go.jp/jp/singi/titeki2/tyousakai/kensho_hyoka_kikaku/index.html




  Mangabank “Suffers DDoS Attack” & Disappears Following Legal Action

  November 9, 2021 by Andy Maxwell


https://torrentfreak.com/mangabank-suffers-ddos-attack-disappears-following-legal-action-211109/

注) 'A declaration filed with the court by Shueisha ( pdf ) contains a copy of Cloudflare's response to the DMCA subpoena filed earlier this year.' のところが興味深い。

翻訳

漫画 BANK のアップロードして公開されていたタイトル名には命名規則があり、文字列抽出して、タイトルから検索して、間違った書籍情報をひっぱってくるものを選んでよくみると、簡単な間違いをしているものがあった。そして、これは間違いようなさそうなスペル間違いだったりなので、なにか、その前の段階 ? のもとで間違っていて、改正すると整合がとれないので、そのままにしているのではないかと思われた。

なにと比べるのか。

つまり、コピーしてきて、世の中では、そのタイトル名が通用していて、それは、オリジナルのタイトルからすると間違っているが、ファイル名としては正しいというような場合が考えられる。

つまり、コピーなのだと思う。自らスキャンして、自らファイル名をつけて、アップロードしてるわけではないという場合、そうなるかなと思う。

そう考えると、そのファイル名で、普通に検索すると、同じ間違ったタイトル名がひっかかるので、そいうことなのだ。

だとするならば、なんらかの理由で漫画をスキャンしてアップロードする人間がいて、それを告知する、そしてそのデータを加工するなどする人間がいるというエコサイクルのなかで、ネット上のアップロードファイルから回収されたものを展示しているということになるので、そのセレクトセンスによって傾向がみられるということである。

かなり古い漫画も選ばれていて、そのタイトルを知っているということは特徴的でもある。

とはいえ、興味は運営者が誰なのか...というところには全く無く、データがどうなってんのかな? どういう風に作ってるのかな? 全部のデータはいくつあるのか知るにはどういうアプローチでやるのかなというところに重点があり、ではどこから来たデータで、どういうモチベーションで出てきたファイルなんだろうかということに疑問をもちはじめた。

なんらかのモチベーションで日本の漫画をスキャニングし、ネットワークにアップロードする行為から始まり、ローカライズ（翻訳）し、漫画の言語を替えて、きれいに文字をのせて公開する一連のことを、スキャンレーションと呼んでいるらしい。

ある一つのサイトについての　現在 へつづく

せきららなコード（ちょっと古くなってるけど、今の状況に合わせて少しだけ修正したら使える）

https://kuroca.hatenablog.com/








2021/11/17 はこんな状況 https://pastebin.com/fTcHK0ti ↩︎



違法と思われるマンガ Thank（仮称）の HTML の構造をよく確認する ↩︎



本の ISBN 情報なしに、本の題名から書籍データを抽出したいということ。 ↩︎



権利侵害記事、保存も違法　東京地裁が米社に仮処分 2018年10月10日 ↩︎



インターネット上の海賊版対策に関する検討会議 ↩︎



海賊版サイトをブロッキングするための5つの手法 Internet Society 日本支部 2018年6月22日 ↩︎



カドカワ川上量生社長が語る、サイトブロッキングの必要性 浅川 直輝 日経xTECH/日経コンピュータ ↩︎



海賊版「ブロッキング」法制化断念　政府、広告抑制など総合対策で対応　2019/1/14 ↩︎

「Ruby」の記事 - Crieit

DXOpalでスイカゲームみたいなのを作った

【Rust/Ruby】OBS Studioの録画時間をスクリプトから取得してみる

【Ruby/Selenium】v115からChromeDriverの配布元が変わったようなので対応した話

Lramaで簡単な自作言語のパーサを書いた

Ruby + PyCall でデータサイエンス100本ノック（構造化データ加工編）をやってみた

Ruby + Numo::Gnuplot（numo-gnuplot gem）で散布図を描く

『RubyでつくるRuby』のMinRubyのパーサを書いた（手書きの再帰下降パーサ）

Ruby + ruby_gnuplot（gnuplot gem）で散布図を描く

事故物件的なポモドーロ タイマー

グレートクソアルゴリズム | くだらない youtube アルゴリズムを使用して youtube ビデオに関する情報を収集するくだらない Ruby プログラム

タイトルから書籍情報を探す。

ある一つのサイト についての

事故物件的なポモドーロタイマー

ある一つのサイトについての