「マンガ」の記事 - Crieit

なにも知らない PHP スクレイピング。マンガカウンティング

2022-09-18T16:37:31+09:00

preface

うっかり 1995 -2002 くらいまでの掲示板 / 文化に興味をもってしまった（スレッドフロート型掲示板という言葉が英語なのか日本語なのかという疑問がきっかけだった。）ことから Perl という古語を自習していて、並列して PHP についてのことも知りたいとおもい( 2001 以降、perl + c 言語製 2 ちゃんねるから、PHP 5 製ふたばちゃんねるのソースコードからのフォークで 4 chan 、8 chan と推移するため)、まずベーシックなスクレイピングするプログラムを書いてみる。

Rf. はじめてのあやしいわーるど：システム
 【ゆっくりネット史解説】4スレ目～あやしいわーるど～
くずはすくりぷと Rev.0.1 Preview 9 (2000.9.3)
https://rentry.co/7m3tu
https://rentry.co/ukw3f/
https://rentry.co/ssno4

あめぞう歴史
http://history.amebbs.com/

PHP は、バージョンが違うとまるで別物のように思えるので、バージョンは 8 系とする。apache などの web サーバーは必要ない。

要約すると、
PHP scraping
で検索すると表示されたページ。
https://www.utakata.work/entry/php/webscraping-with-php-html-parser
ここに掲載しているコードをコピペで実行してみたら、理解できました。PHP 全く知らなかったですが。

以下は、実は漫画Bank / La « mangabank.org » a disparu. という記事（ない）からの続きになっています。

PHP 8 インストール for debian

sudo apt install -y gnupg2 ca-certificates apt-transport-https software-properties-common lsb-release

echo "deb https://packages.sury.org/php/ $(lsb_release -sc) main" | sudo tee /etc/apt/sources.list.d/sury-php.list

wget -qO - https://packages.sury.org/php/apt.gpg | sudo apt-key add -

sudo apt update

sudo apt-get --no-install-recommends install php8

とすることで、apache 抜きで PHP8 がインストールされるかもしれない。
されないかもしれない。そこは追求する必要があって、まだこれで完璧というとこまで到達できない。バージョン管理の phpenv があるらしいのでいずれはそれで。

パッケージマネージャーは、composer というものがあるので、バージョン 2 系のものを使う。なぜなら、php-html-parser というモジュールを使いたいからで、composer2 では無事にインストールできたから。

スクレイピングについては、色々と常識と非常識があって、それらは考慮したいが、知らない、知る前にやってしまう、やってしまった方がいいこともある。というスタンスで、できるだけ非常識にならないように、非常識のキョクホクのサイトをスクレイピングしてみる。

さて。

composer 2 自体のインストールは、省略。これもまた、どうするのがベストかわからない。簡単な方法でできればよし。できなければ深掘りしていくことになるが、インストールはできないということはないはず。

php-html-parser のインストール。https://github.com/paquettg/php-html-parser

~$ composer require paquettg/php-html-parser

php-html-parser とは jQuery のような感じで、html を扱うものだと思う。
そういうものは、いろんな言語であって、go だと goquery、Lua だと lua-gumbo、Nim だと nimquery、julia だと Gumbo とかで、それぞれ自分自身を解説するとき jQuery みたいなやつだからーとだけかいてあることが多いために使い方を調べるのには苦労する。
だけれども、一度どこかでその無限に時間を浪費するかのような道通ると、どこかで別のに出会っても、多少違うがほとんど同じという経験をする。おそらくそのために解説が省かれるのだと思う。だいたいおなじなので、どれかで分かりやすい解説が見つかれば一通りやってみるのがいい。

つまりは、html のタグとかタグ内の要素だとかで検索してずるずるっと引っ張ってきて、タグで挟まれたテキストを抽出したり、タグを付け足したりということをするためのものだ。
全然わからなければ、正規表現のようなもので代用することもある程度可能なので、正規表現に無限に時間をかける道も通っておいたらいいのかもしれない。

たとえば、ながいながい html ドキュメントに、

リンク

みたいな箇所がたくさんあって、これらをずるっと全部抜き出して、配列に入れて吟味したい場合にfind("a")みたいにして a タグのものすべてを簡単にひっぱってこれるといいね、ということを満たすもので、タグの中の attribute href で判別して、それが含まれるもの全部をひっぱってくるとかの用途に使う。

$url_1 = "https://search.brave.com/search?q=kadokawa+川上";

$dom = new Dom();
$dom->loadFromUrl($url_1, $options);

$element_a = $dom->find('a'); // a tag のリンクのエレメント全部を配列 $element_a に集める

foreach($element_a as $index=>$link){
    echo $index . ' ' . $link->{'href'} . "\n\n";
}

だいたい用途が同じものの場合はドキュメントが省略されるので、だいたい同じもののドキュメントがあれば参考にする。
Simple HTML DOM documentation

scraping.php

setEnforceEncoding('utf8');

$url1 = 'https://13dl.me/list/popular/';
function scrape($counter,$options,&$element_a){
        $titles = array();
        $next = "";

        foreach($element_a as $line){
                if(preg_match('/title/',"$line")) {
                        $div = $line->find('div');
                        if(preg_match('/div/',"$div")) {
                                $titles[] = $div->text;
                        }else{
                                if(preg_match('/Next/',"$line")){
                                        $attr = 'href';
                                        $next = $line->$attr;
                                }
                        }
                }else{
                        ;
                }
        }
        unset($element_a);

        foreach($titles as $xxxx){
                $counter ++;
                echo $counter . " title :" . $xxxx . "\n";
        }
        unset($titles);
        return array("$next",$counter);
}

$counter = 0;
while($url1 != ''){
        if(preg_match('/http/',"$url1")) {
        try {
                $dom = new Dom();
                $dom->loadFromUrl($url1, $options);
                $element_a = $dom->find('a');
                list($url1,$counter) = scrape($counter,$options,$element_a);
                unset($element_a);
                unset($dom);
        } catch (Exception $e) {
                $e->getMessage();
        }
        } else {
                die('stop:' . $url1);
        }       
}
die('End.'); 
?>

`_why`

2022-05-30T01:28:42+09:00

Why’s (Poignant) Guide to Ruby :wikipedia

The book is unusual among programming books in that it includes much strange humor and many narrative side tracks which are sometimes completely unrelated to the topic. Many motifs have become inside jokes in the Ruby community, such as references to the words "chunky bacon". The book includes many characters which have become popular as well, particularly the cartoon foxes and Trady Blix, a large black feline friend of why's, who acts as a guide to the foxes (and occasionally teaches them some Ruby).

https://rentry.co/_why

translate to

13年前にネット自殺した(ネットダンシャリ？自殺って言うと自殺みたいだけど、ネット上の自分の痕跡を消し去るということの比喩としてだから、生物的に死んだというわけじゃないけど、インターネット上での痕跡を自ら消し去ったことについて "dead" とか "death" とか形容される。つまり、逆に言うとそれ以前がかなりアクティブでいきいきとして活動している感じが影響を与えていたアーティストであり)、Ruby プログラマー_why のことをたまたま昨日知って（xpath や html の parse について調べていて Hpricot というパーサーがあることに気がついて、なんだろう？と思ったから）、朝までずっと _why ことwhy the lucky stiff の事と、別件で片手キーボード( frogpad などの片手で全てタイピングできる仕様のキーボードについて)のことをネットで追っていて、起きてからずっと _why が書いた、彼が消し去った彼の本のコピー(再配布可能、商用利用可能のデータだから第三者によってサルベージされて公開されているが、あくまでも _why 自身は彼の過去ワークはすべて消し去って音信不通となっているような感じ) を読んでいた。
日陰にひきこもって、冷めたコーヒーを飲みつつ。

とても暑いので、ネコも洗って乾かした。

why the lucky stiff については知らなかったが、知ったことでいろいろ謎だったことがつながった。

ここ最近古本で取り寄せた、ぶ厚めのオライリーの Ruby 本について、なんでこんなインディーよりのグラフティみたいな挿絵が一枚入ってるのかな？と思ってたが、やはりそれはよく見るとwhy the lucky stiff の絵だった。shoes という GUI があるらしいことは知っていて、それももともと _why によって作られていた。

しかし、Ruby について全く知らなかったので、だいたい 2009 年くらいまでの本を取り寄せて Ruby 関係の本は 5 冊になったが、どれも「仕事で使える達人の」？とかいうのは範囲ではなく、選んだのは言語の詳細のリファレンスとか、サンプルのコード見て雰囲気だけつかめそうなものだったので逆に薄く濃いものだったためか、なんとなく言語周辺のカルチャーを感じさせるものだった。2009 年くらいのとしたのは、その頃まではたぶんなんでも Ruby で、という流行りがあったのだろうと推定していたからだけども、これも根拠なくそんな気がしたからというだけだ。

(最初に、何も知らずに注文する本を選んで、恋するプログラム-Rubyでつくる人工無脳
秋山智俊 ... 2005 年、Ruby で作る奇妙なプログラミング言語原悠 ... 2008 年、初めての Ruby Yugui(キリン) ... 2008 年初版2014年初版第十刷、という順で届いて、半年くらいたって、プログラミング言語 Ruby David Flanagan ... 2009 年、一番最近で、Ruby のしくみ 2014年。そして、どれもちゃんと読んでないけど、どれも的確に良いと思う。注意散漫でチラチラとしか読めてないので、他の本のこともしらないけれど、これから Ruby ってどんな言語がゼロから知りたいって場合は、初めての Ruby が一冊あればいいんじゃないかと思っていた。 )

_why の本 Why’s (Poignant) Guide to Ruby :wikipedia は漫画で、面白そうな物語になっていて 2003 年から 2007 年あたりまでの作品のような感じ(全く確かではない)。ネット上にいろいろ ( 愛されて ) 保存 ( 保管 ) されてて、ダウンロード可能になっている。

本の中に登場する Ruby の最新版は 1.8.2 だから ...

why the lucky stiff ( = _why) は、理由は不明だが 2009 年 8 月 19 日に、すべての著作を消したと言われていて、2009 年という時代背景を日本で起こったことでふりかえってみると、リーマンショックの約一年後で winny 騒動の裁判で

「 2009 年 10 月 8 日、大阪高等裁判所は、一審の京都地裁判決を破棄し、金子に無罪を言い渡した」

文言はwikipedea :Winny 事件から。

インディーゲーム cave story

「 2008 年10月3日、ニンテンドー・オブ・アメリカのプレスリリース、および開発者のサイトにおいて、海外向けにWiiウェア版の配信が発表された（日本国内での配信は未定）。2010 年 9 月には、北米向けにニンテンドーDSiウェア版の配信が発表された。」

などが、日本で起こったこと。マイケル・ジャクソンというスターが亡くなったのも 2009 年らしい。そんな 2009 年。

「ホワイの(感動的)Rubyガイド」青木靖訳
http://www.aoky.net/articles/why_poignant_guide_to_ruby/index.html

epub download
https://rentry.co/vkr8s

mislav によるサルベージ版 github
https://github.com/mislav/poignant-guide

On August 19, 2009 Why the Lucky Stiff removed every trace of his work from the Web, including this book: the Poignant Guide to Ruby.
I've salvaged the book from the Internet archive and re-published it. The original work was under the Attribution-ShareAlike license.

http://poignant.guide/

https://archive.org/details/TheSoundtrackToWhyspoignantGuideToRuby/Chap2-ThisBookIsMadeofRabbitsAndLemonade.mp3

The soundtrack to "why's (poignant) guide to ruby" tutorial that was taken offline. The Internet Archive's version is still available here:
http://web.archive.org/web/20070704022347rn_1/poignantguide.net/ruby/

実際おもしろい。少し自分をマイノリティーサイドに表現していて、完全に人と上手に付き合えないという性質を告白した上で、ストーリーが進んでいく。まだ最初の方しか読んでいないけど。一人もくもくと創造していく創作物という感じ。インディーズ game のような雰囲気で、一体どんなこと考えているんだ？という好奇心がうまれる。

Chapter 2: Kon'nichi ha, Ruby -d: How Books Start
One problem here. I don’t get along well with people. I don’t hold hands very well.

Ruby についてほとんど知らないので、ストーリーの流れでプログラムの言語を教えるという作りで(それは、恋するプログラムもやや近い)、おそらくいちばん最初に読むべき内容であって、よく知らないと、その本自体の情報にいきつかないので、存在が見えないという幻の本かもしれないし、いまちょうどいい。絵がすごくかわいい。

![Chapter5:The Mechanisms of Name-Calling](poignant.guide/images/my.daughters.organ-2.gif)

紙の本も出ていて、Lulu からのオンデマンドか、海外発送の古本かというところ。紙で欲しい。2 冊くらい。

Diogo Terror may 15, 2010
_Why: A Tale Of A Post-Modern Genius

QUICK SUMMARY ↬ Why the Lucky Stiff was one of the brightest and most inspiring programmers in activity. He became famous through a series of blogs and through the incredible amount of open-source projects that he maintained over the course of more than seven years.

_why's Estate

Hey, welcome to my collection of why the lucky stiff links. Everything _why has published on the internet should be accessible from here. It works sort of like a museum that sells maps. Many of his abandoned writings are mirrored locally here, and everything else is through external links. To download the Estate perhaps for local viewing, get why.zip (5.8 MB).

The Little Coder's Predicament by why the lucky stiff june 10, 2003

Why The Lucky Stiff Documentary
youtube

This is the documentary about Why The Lucky Stiff, an artist and software innovator who disappeared from the Internet in 2009, taking down all his code and artwork ("infosuicide"). Ten years in the making, this documentary presents a portrayal of the artist, his influence and the possible reasons behind his disappearance.
Years later, _why released more art and his own explanation for his disappearance, streamed live to printers connected to the Internet. A very innovative artist, he will be missed but his art lives on.

このドキュメンタリーの冒頭とラストに出演しているのは Ruby の Nokogiri（XML / HTML パーサーで web
スクレイピングに使われる） :wikipedia の作者 Aaron Patterson と思われる。Nokogiri と同等の用途に使われてい（た）るもののうちの一つ Hpricot のオリジネーターが _why だから対比としてキャスティングされているのかもしれない。

ところで、ほんとうにチャプター 8 "Heaven's Harp" は存在しないんだろうか？
https://github.com/mislav/poignant-guide

Chapter 8: Heaven's Harp was never recovered. I suspect _why started drawing it, but never finished or published.1

_why 's github mirror
https://github.com/whymirror/

Madison Ruby 2013 CLOSURE by Steve Klabnik
https://youtu.be/MaWHVceDbFo

Why The Lucky Stiff Documentary に出演していた 2 ブロックモヒカンのひとの「この男を知っていますか ?」というところから始まるトーク。
何を話しているかは、python で読める。

CLOSURE

https://www.dropbox.com/s/c0n2dljz8anih62/CLOSURE.pdf?dl=0

Book review: CLOSURE by why the lucky stiff | Sina's blog

このブックレヴューは python と Ruby で協力して読んでみよう。

html = `curl -s 'https://blog.sinakhalili.com/posts/closure/'`
require 'oga'
list_p = []


doc = Oga.parse_html(html)
doc.css('p').each_with_index {|x,index|
  if x.text != "" && x.text.match?(/^\w/)
    list_p << "#{x.text}"
  elsif x.text.match?(/^\(/)
    list_p << "#{x.text}"
  else
#    p x.text
  end
}

require 'pycall/import'
include PyCall::Import
pyfrom 'googletrans',import: :Translator

translator = Translator.new
list_p.each_with_index {|lines,index|

  lines.sub!(/^s*/,'')
  lines.to_s.gsub!(/\.\s*/,'')
#  p lines
  puts
  begin
    translated = translator.translate(lines,dest='ja')
    puts "#{index} #{lines}"
    puts "#{index} #{translated.text}"
  rescue => evar
    p $!
  end
}

タイトルから書籍情報を探す。

2022-02-04T21:49:20+09:00

データを詰め込んだデータベースから、本のタイトルを取り出して、もしあれば著者名を取り出して、国会図書館のNDL サーチで、タイトルを検索して、これかな ?? という書籍情報をデータベースに詰め込むプログラム。

何をするためかというと、タイトルしかわからないマンガコミックの出版社の情報や、ISBN など詳細をたどって得るため。ISBN からタイトル情報へ行き着くものはあるが逆のものは知らないため。

それ以上説明は省くが、こちらからさかのぼっていくと、きっとわかる。
https://crieit.net/boards/manga-B/fc4a0259928ca001b58935ddd7cbb322

さかのぼる

require "faraday"
require "faraday/net_http"
require "net/http"
require 'nokogiri'
require 'sqlite3'
require 'time'
require 'date'

class NdlSearch

  def get_book_info(title, creator = nil)
    data = []
    query = {
      :mediatype => 1,
      :cnt => 100
    }
    query[:title] = title
    query[:creator] = creator if creator
    if creator == ''
        puts "::::::::::::::::::::::::::::::::::::"
        puts 'author :??'
    end
    puts
    print "query :#{query}"
    puts
    response = ndl_get('/api/opensearch', query)

    xml = Nokogiri::XML(response.body)
    xml.remove_namespaces!
    items = xml.xpath('//item')
    unless items.any? then
        puts
        puts 'ndl has no item'
        data << {"totalResults"=>"0"}
    else
    #pp items.to_s
        items.each do |item|
          #puts
          #puts "item :", item
          book = {}
          threads1 = [] # concurrency
          item.children.each do |c|
            threads1 << Thread.new {
              key = c.name
              next if key == 'text'
              val = "#{c.content}"
              label = c.attribute("type")
              if label
                label = "#{label}".gsub(/^dcndl:|^dcterms:/,'')
                book[label] ||= []
                book[label] << val unless book[label].include?(val)
                val = "#{label}:#{val}"
              end
              book[key] ||= []
              book[key] << val unless book[key].include?(val)
            }
          end
          threads1.each{ |thr| thr.join }
          book = book.map {|key,val| [key, val.join(',')]}.to_h
          data << book
        end
    end
    data
  end

  private

  def ndl_get(path, pram)
    con = Faraday.new(:url => 'https://iss.ndl.go.jp') do |f|
      f.request  :url_encoded
      #f.response :logger
      f.adapter :net_http
    end
    con.get path, pram
  end
end

#DB

SQL =<= looptimes - 1 then
      break
    end
#    threads << Thread.new {
#      m.synchronize{
      count += 1
      puts
      puts "::::::::::::::::::::::::::::::::::::::::"
      print 'id:',count,' '
      search_data = db.execute("select book_title,author,title,id,tags from tbl_manga where id ='#{count}' ;")
      if search_data.empty? then
        puts 'empty'
      end
      *book_data = search_data.pop
      #book_data[0] #=> book_title
      #book_data[1] #=> author
      #book_data[2] #=> title
      #book_data[3] #==> id
      #book_data[4] #==> tags
      mangathank_title = book_data[2].to_s.gsub(/\'/, "\'\'")
      tags = book_data[4].to_s.gsub(/\'/, "\'\'")

      puts book_data[2]

      if book_data[2] == "null" then
          p count
          pp book_data
#          new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id, tags ) values('book_title:nothing','author:nothing','#{mangathank_title}','#{book_data[3]}','#{tags}');")
          new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id, tags ) values('#{count}','book_title:nothing','author:nothing','#{mangathank_title}','#{book_data[3]}','#{tags}');")
      else
          author_data = book_data[2].to_s.slice(/((?<=\[).*?(?=\]))/)
          #puts "author_dat:#{author_data}"
          if author_data != nil
              author_data.gsub!(/\ x\ /,' ')
              author_data.sub!(/((?<=[\p{Hiragana}\p{Han}\p{Katakana}])x(?=[\p{Hiragana}\p{Han}\p{Katakana}]))/,' ')
              author_data.gsub!(/\(|\)/,"\(" =>' ',"\)"=>'')
              author_data.gsub!(/×/,' ')
              author_data.gsub!(/\ &/,' ')
          end
          if /(\ )/.match(author_data) then
              #/(\S+$)/.match(author_data)
              #person = /(?<=['\ '])\S.*$/.match(author_data)
              #str_array = person.to_s.split
              str_array = author_data.to_s.split
              person = str_array.pop
          else
              person = author_data.to_s
          end
          print("author_data: ",  author_data , "  person: " , person)
          puts
          num = book_data[2].to_s.slice(/((?<=第)\d+(?=巻|卷$))/)
          #num = /((?<=第)\d+(?=巻$))/.match(book_data[0].to_s)
          #book_data_0 = book_data[0].to_s.sub(/((?=第).*巻)/,'')
          book_data_0 = book_data[2].to_s.gsub(/((?=第).*(巻|卷))/,'')
          book_data_0.gsub!(/((?=第).*話)/,'')
          book_data_0.gsub!(/(.(?<=\()文庫版(?=\)).)/,'')
          book_data_0.gsub!(/(.(?<=\[)文庫版(?=\]).)/,'')
          book_data_0.gsub!(/文庫版/,'')
          book_data_0.gsub!(/フルカラー版/,'')
          book_data_0.gsub!(/カラー版/,'')
          book_data_0.gsub!(/(.(?<=\()完(?=\)).)/,'')
          book_data_0.gsub!(/(.(?<=【).*(?=】).)/,'')
          book_data_0.gsub!(/(.(?<=\[).+?(?=\]).)/,'')
          book_data_0.lstrip!
          book_data_0.rstrip!

          if book_data_0 == temp_title then
              if str_array then
                  person = temp_author
              end
          else
              temp_title = book_data_0
              temp_author = person
          end

          if num != nil then
              num = num.to_i
              book_data_0 += ' ' + num.to_s
          end
          puts
          #puts book_data[0]
          puts book_data_0
          puts
          ndl_search = NdlSearch.new

          onemore = 'true'

          while onemore == 'true' do
              res =  ndl_search.get_book_info( book_data_0,person )
              onemore = 'false'
#              puts res[0]
              if res[0] == nil then
                  puts "res: empty"
                  book_data_0.gsub!(/\'/,"\'\'")
                  puts book_data_0
#                  new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id,tags ) values('#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                  new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id,tags ) values('#{count}','#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                  onemore = 'false'
              else
                  done = false
                  res[0..99].each_with_index do |book,index|
                      if done == true then
                        break
                      end
                      not_book = false
                      book.each do |key, val|
                          if key == "extent" then
                              puts "#{key}:#{val}"
                              if /ビデオ|DVD|dvd|ディスク/.match?(val) then
                                  not_book = true
                                  puts ''
                                  puts 'SKIP'
                                  break
                              end
                          end
                      end
                      if not_book == true then
                        next
                      end
                      if book != "null" then
#                         puts  "res:#{book}" 
#                         puts " :#{index}"
                         book.each do |key, val|
#                             puts "#{key}:#{val}"
                             if key == 'totalResults' then
                                  #puts
                                  #print "no match title name #{person} ",book_data[3],'  '
                                  book_data_0.gsub!(/\'/,"\'\'")
                                  #puts book_data_0,person,mangathank_title
                                  unless str_array.nil? then
                                      if str_array.size > 0 then
                                          person = str_array.shift
                                          puts
                                          print "#{person} ?"
                                          puts
                                          puts
                                          onemore = 'true'
                                          #sleep 3
                                          break
                                      else
#                                          new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id,tags ) values('#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                          new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id,tags ) values('#{count}', '#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                          onemore = 'false'
                                          #sleep 10
                                          break
                                      end

                                  else    
#                                      new_db.execute("insert into tbl_bookdata (book_title, author, mangathank_title, ex_id, tags) values('#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                      new_db.execute("insert into tbl_bookdata (id, book_title, author, mangathank_title, ex_id, tags) values('#{count}', '#{book_data_0}','#{author_data}','#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                      onemore = 'false'
                                  end
                                  break
                              end


                              if key == 'title' then
                                  temp_author = person
                                  puts "☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆"
                                  puts "     #{count}"
                                  puts ""
                                  puts "#{key}:#{val}"
                                  title = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("insert into tbl_bookdata (id, mangathank_title, ex_id, tags ) values('#{count}', '#{mangathank_title}','#{book_data[3]}','#{tags}');")
                                  new_db.execute("update tbl_bookdata set book_title = '#{title}' where id = '#{count}';")
                              elsif key == 'author' then
                                  puts "#{key}:#{val}"
                                  author = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set author = '#{author}' where id = '#{count}';")
                              elsif key == 'creatorTranscription' then
                                  puts "#{key}:#{val}"
                                  creatortranscription = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set creatortranscription = '#{creatortranscription}' where id = '#{count}';")
                              elsif key == 'volume' then
                                  volume = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set volume = '#{volume}' where id = '#{count}';")
                              elsif key == 'link' then
                                  url = val
                                  new_db.execute("update tbl_bookdata set url = '#{url}' where id = '#{count}';")
                              elsif key == 'publisher' then
                                  puts "#{key}:#{val}"
                                  publisher = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set publisher = '#{publisher}' where id = '#{count}';")
                              elsif key == 'ISBN' then
                                  puts "#{key}:#{val}"
                                  puts ""
                                  puts "☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆"
                                  isbn = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set isbn = '#{isbn}' where id = '#{count}';")
                              elsif key == 'seriesTitle' then
                                  puts "#{key}:#{val}"
                                  seriestitle = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set seriestitle = '#{seriestitle}' where id = '#{count}';")

                              elsif key == 'date' then
                                  puts "#{key}:#{val}"
                                  published_date = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set date = '#{published_date}' where id = '#{count}';")
                              elsif key == "W3CDTF" then
                                  puts "#{key}:#{val}"
                                  puts ""
                                  w3cdtf = val.to_s.gsub(/\'/, "\'\'")
                                  new_db.execute("update tbl_bookdata set W3CDTF = '#{w3cdtf}' where id = '#{count}';")

                              else
                                  #new_db.execute("update tbl_bookdata set author = '', creatortranscription = '', volume = '',  url = '', publisher = '', isbn = '', seriestitle = '' ;")
                                  onemore = 'false'
                                  done = true
                              end
                          end
                      else
                          onemore = 'false'
                          puts "error"
                          mangathank_title = book_data[2].to_s.gsub(/\'/, "\'\'")
#                          new_db.execute("insert into tbl_bookdata (author, mangathank_title, ex_id ) values('#{author_data}','#{mangathank_title}','#{book_data[3]}');")
                          new_db.execute("insert into tbl_bookdata (id, author, mangathank_title, ex_id ) values('#{count}','#{author_data}','#{mangathank_title}','#{book_data[3]}');")
                      end
                  end
              end
          end
      end
#    }
#  }
  end
  fiber.resume
#  threads.each {|th| th.join}
end

ある一つのサイトについての

2022-01-08T17:13:44+09:00

現在

漫画BANK についてのお思い出あるいは、

https://qiita.com/dauuricus/items/6c5fcbfa802e40ebc68b

の記事からの続き

U.S. court orders Google to disclose manga piracy site operator
KYODO NEWS KYODO NEWS - Nov 15, 2021 - 18:21
https://english.kyodonews.net/news/2021/11/328f513cedd6-us-court-orders-google-to-disclose-manga-piracy-site-operator.html

その例のサイトに掲載されている数 62,597 。（2022年 1 月 8 日調べ。1 月 9 日現在では 62,662 。）

これは、サイトの中にあるページの URL を数えた現時点で数えられた数。

マンガのタイトルから出版社情報を割り出して sqlite に tbl_bookdata として記録して、

sqlite> select publisher,count(*) from tbl_bookdata group by publisher having count(*)>50 order by count(*) ;

50 件以上のコンテンツを、その例のサイトに公開されている出版社を見てみる。出版社情報の割り出しは、精度は高いが完璧ではない。

sqlite> select publisher,count(*) from tbl_bookdata group by publisher having count(*)>50 order by count(*) ;
ハーパーコリンズ・ジャパン|51
アース・スターエンターテイメント,泰文堂|52
小学館,ジェネオンエンタテインメント|54
エイベックス・ピクチャーズ|55
学習研究社|61
東映ビデオ,東映|63
フレックスコミックス,ほるぷ出版|64
マーベラスエンターテイメント,ポニーキャニオン|64
フロンティアワークス|67
エンターブレイン,角川グループパブリッシング|71
朝日新聞出版|78
エンターブレイン|83
ヒーローズ,小学館クリエイティブ|85
ワニブックス|98
アース・スターエンターテイメント|99
マイクロマガジン社|100
コロムビアミュージックエンタテインメント|101
エイベックス・マーケティング|104
ノース・スターズ・ピクチャーズ,徳間書店|107
ハーレクイン|109
エニックス|110
実業之日本社|112
アスキー・メディアワークス,角川グループパブリッシング|115
キングレコード|117
東宝|120
朝日ソノラマ|124
TOブックス|125
富士見書房,角川グループパブリッシング|126
キルタイムコミュニケーション|132
祥伝社|134
ホビージャパン|136
幻冬舎コミックス,幻冬舎|143
潮出版社|176
ポニーキャニオン|178
宙出版|182
一迅社,講談社|197
オーバーラップ|198
バンダイビジュアル|209
バップ|218
アニプレックス|223
新書館|229
リイド社|237
マッグガーデン|248
冬水社|253
メディアファクトリー|258
アルファポリス,星雲社|262
徳間書店|269
一迅社|310
ぶんか社|350
竹書房|392
角川書店|433
新潮社|461
角川書店,角川グループパブリッシング|477
少年画報社|640
芳文社|645
日本文芸社|788
双葉社|1322
スクウェア・エニックス|1605
白泉社|2962
秋田書店|2983
KADOKAWA|3370
小学館|7163
集英社|7785
週刊誌　未分類|10405
講談社|10975

週刊誌を除く、コミックの発行年をわかる範囲で見ると ...

sqlite> select distinct(date),count(date) from tbl_bookdata group by date order by date;

データ入力に表記ゆれがあって修正が必要なのと、他にデータの精度を上げることにしてプログラムを修整しはじめると日付が変わった。

ボードという機能があるようなので、続きはそちらに。

「ある一つのサイトについての」ボード
https://crieit.net/boards/manga-B

修正後にデータをまた収集するのにかなりの時間がかかる。

スキャンレーション

2022-01-08T16:27:09+09:00

scanlation について

スキャンレーション（ scanlation ）で検索すると、その言葉の定義から、ガイドラインやチュートリアル、または役割名称や、その広報的なサイトの情報がたくさんある。

今は活動していないスキャンレーションのグループ名と、そのプロファイルのページのデータベース (sqlite file)。

https://www.mediafire.com/file/qlse91vdwyletgx/scanlation-g.db/file

https://www-mangaupdates-com.translate.goog/aboutus.html?_x_tr_sl=en&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=nui

過去に翻訳されたタイトルのオリジナルの和名とそれ以外の対照を作りたい場合は有効かもしれないし、そうでもないかもしれない。

著作権がらみで問題のあるコンテンツのダウンロード情報や、データ自体は含まないと宣言されているサイトから全てのスキャンレーショングループのプロファイルページの所在を抽出してから、各プロファイルページにアップデートしてアーカイブされている翻訳済みの漫画の英語タイトルを抽出すれば、プロファイルされたスキャンレーションングループについては、全ての翻訳漫画タイトルを知れるということになる。
抽出の方法はグループのプロファイルページの所在、プロファイルページ内にある翻訳したシリーズ名、日時という順にたどると効率が良さそう。

1: タイトルを考えるのが面倒な scanlation groups counter プログラム Python link

2: a , b
2つのデータベースをマージする Lua プログラムサンプル link :[ 依存関係 lsqlite3 https://github.com/LuaDist/lsqlite3/blob/master/examples/smart.lua]

１.１.１.１
https://en.m.wikipedia.org/wiki/1.1.1.1

スキャンレーションは海賊サイトのエコシステムの一環で、フェーズとしてはオンラインでの海賊配信の水際に位置していると考えられる。
２次創作漫画画像を作るために、漫画をスキャナーでスキャンする必要があるわけだが、漫画を入手してスキャンし、アップロード ① してダウンロードアドレスを告知する ② ということをしているというところが、ボトムで、スキャンレーションの作業のエントリーポイントにもこの行程が不可欠。
スキャンしてアップロード ① する人は必ずしもスキャンレーションチームにしかいないわけではないが、アップロードされたスキャン済み画像をダウングレード ③ して海賊配信 ④ していたり、スキャン画像をクリーンアップして翻訳、タイプセットして、翻訳版の海賊配信サイトにアップロード ⑤ していたりと、それぞれに直接関係があったり無かったりするのだろうけども、スキャンレーションという枠では、ひとまとまとまり情報として関係性が見える。例えば、このグループがここ ④ へアップロード ⑤ した等。

④ のサイト群については、正当な方法（カドカワ的に「インターネット上の海賊版対策に関する検討会議　第9回会合　平成30年10月15日　議事録[^0]」）similarweb¹² ³で横並びに見えるもののことを主に指すようだが、ボトムアップから見るとすると、行為とモチベーション度に着目する⁴とスキャンレーションのサイドからたどると動線も把握できる。スキャンレーションのさらに二次コピーなどが ④ に回収されて公開されている場合もあるだろう。トラフィックの大きさは、配信自体の技術に左右されるので、着目される経済的損失について語られるのはトラフィックの大きな上流の方のことだと思われる。漫画 BANK は ④ に含まれる（すでにアップロードされて海賊配信されているサイトからの画像流用）。

これは想像なのでイマジネーションは図にした方がいい。

https://fanlore.org/wiki/Scanlation_Process#General_Process

参考: https://kknews.cc/comic/moz43xz.html

https://kknews-cc.translate.goog/comic/moz43xz.html?_x_tr_sl=zh-CN&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=nui

http://onepiece.ria10.com/Entry/3752/

https://www2.accsjp.or.jp/thanks/thanks39.php

https://www.neliti.com/publications/326921/accuracy-of-english-indonesian-scanlation-of-detective-conan-manga-as-compared-t

3: link

1:link / 2:link / 3:link とプログラムにせっせと、動いてもらって 3 をポチッとしてから翌日起きて、途中で止まってると思ってたら、朝になっても昼前まで止まらない量のデータをせっせと書き込んでいた。
カウンターは 106000 を越えていて、なんか無理しているなぁと思いつつ、そのわきで次のプログラムを書きはじめて、

4:link　を書いた。

たぶんこれも明日もお昼までうごいているんではないか。

https://www.oreilly.co.jp/books/9784873113487/

漠然とした中での目的としては、翻訳された（おそらく勝手に）漫画のタイトルからオリジナルのタイトルを知りたいのと、その他の言葉でのタイトルを眺めたいので、そうするとどうやって組み上げたらいいのかなということをやってみたい。

ということで、まずスキャンレーショングループが過去から現在まで翻訳したシリーズになった（単行本とかのことだと思われる）ものをカウントアップするために、まずグループのリストを作る。これが 1:link のコード。
1:link でできたリストのなかには、グループについてのプロファイリングされた個別のページのアドレスがあり、このプロファイリングされたページ上にグループの翻訳したシリーズがリストアップされている。
1:link で作れるデータベースを複数足し合わせるのが 2:link のコード。なぜ、Lua なのか、コンパクトで速いから。同じように他の言語で書いて同じような速度かもしれないが、コードを見れば、見える通りのことなのでシンプル。遅くはない。

hy (clojure lisp 風 Python) 言語に合わせて 2:link と同じものを Lua の Lisp 風言語 fennel に直してみると

2:link fennel

Vim だとプラグインを設定しないとちょっと難しい感じだけど、kakoune だとデフォルトで色分けはしてくれる。どうなってるんでしょう。vis editor も。

プロファイルされたページのシリーズタイトルを足し合わせて記録していくのが 3:link のコード。Python だが hy 言語。今のところ hy で書くメリットは分かりやすさ。
SQLite のバインドも Python 独自のものなので、select して　execute されて戻ってくるデータが空のときどうやって空のデータを比較できるのかというところが言語とバインドによって違うので、そこは注意しなくてはいけない。Lua の場合は、空の場合は素通りで、値を判定する式自体を無視するよう、そのことを分かっていたらシンプル。

例えば、

local smt1 = "SELECT id FROM tbl_scanlation ORDER BY id DESC LIMIT 1 ;" 

local last1 = 0

for id in db1:urows(smt1) do
    last1 = id
end

これは Lua バインドで sqlite3 データベースの tbl_scanlation というテーブルのデータの中の primary キー連番 id 番号の最後の int 値を取り出す式を実行して last1 に代入したい箇所だが、テーブルの中にデータが入ってなければ local last1 = 0 で初期化している値が入る。 nil とか -1 とかにはならない。python や Ruby 、 go や nim など、またそれぞれ違うので、いろんな別の言語にて書き換える場合は、無い場合どういう値が入るのかよく調べなければいけない。SQLite3 自体では返ってくる値は決められているが、その値に対する値は、バインドによって書き換えられて処理されているようなので。

3:link で出来上がるデータベースの件数は三万件くらいだろうかと思っていたが、10 万件以上だった。SQLite の場合は扱える数はそれ以下のはずだが、無理でもできるとこまででいいのでがんばってもらう。

4:link の様子。お昼になっても終わっていない。

一週間くらい経ってる気がするが、VALID データが 96,426 。つまり、中国、韓国、日本の漫画がスキャンレーショングループによって、それだけの数は翻訳されている。
sqlite3 database file
https://we.tl/t-xUEh2MPRcF

資料7 https://www.kantei.go.jp/jp/singi/titeki2/tyousakai/kensho_hyoka_kikaku/2018/kaizoku/dai9/gijisidai.html ↩︎
https://en.globes.co.il/en/article-similarwebs-controversial-route-to-wall-street-1001376912 ↩︎
These Chrome extensions spy on 8 million users 31 Mar 2016 https://mweissbacher.com/2016/03/31/these-chrome-extensions-spy-on-8-million-users/ ↩︎
https://www.reddit.com/r/scanlation/about/ ↩︎

ある一つのサイトについての

2022-01-07T12:34:32+09:00

思い出

過去 6 ヶ月間、ひたすらひとつの違法マンガサイトを見ていた。

ずっと見ていたのは公開されたマンガコンテンツではなく、サイト運営者が作ってるデータをひたすら見ていたので、11 月の 4 日、15 時くらいにサイトをたたんだのを確認した。¹

おそらくこの翻訳記事 2021年11月04日 14時00分

Manga Publisher Wants to Sue Huge Piracy Network, Needs Google's Help * TorrentFreak
https://torrentfreak.com/manga-publisher-wants-to-sue-huge-piracy-network-needs-googles-help-211101/

注) 'Shueisha’s application and proposed orders/subpoenas can be found here (1,2,3,4 pdf)' の書類が興味深い。

https://gigazine.net/news/20211104-manga-shueisha-googles-piracy-mangabank/

が公開されたことで、サイト運営者が違法性を自認して、サイト閉鎖を決定したのではないかと思われる。

2021.12月中頃、mangabank.org とはまた別のドメインで再開している。
画像ファイルのあるアドレスのドメインを whois したところ、cloudflare の管轄のホストではなさそうな感じ。

過去に書いたこのような記事は、当時、宣伝につながらないように配慮して明記しなかったが、全て漫画 BANK についてのことだった。

以下、2021年11月04日以前

https://qiita.com/dauuricus/items/563cbcc9776f66cb672e

6 月の時点では 5 万ページぼどだと思っていたが 10 月には 6 万ページ以上あることがわかった。

この 6 万ページというのはマンガコンテンツの漫画の総ページ数のことではなくて、URL のことで、そのひとつの URL に 30 点から 300 点ぐらいの画像ファイルの URL が埋め込まれている。
その画像一枚が、漫画のスキャン画像ファイルの一点に相当する。

画像点数にすると、空想すると数えたことないおおきな数になるので、いずれいつか数えようと数えなかったが、その 6 万ページについては著者 / 漫画のタイトル / 公開されていた URL / アップデート日時の情報 / 付与されていたタグのデータのセットを記録した。

スキャン画像のファイルが漫画 BANK の見ているページに読み込まれるようにページのソースの中に URL が埋め込まれていて、観測した限りのその URL は、全てが cloudflare がホスティングしているドメインだった² ( 2021年 7月の調べ )

これが全てではないが、数千のアドレスから集計すると、こちらのドメインに収束した。

0  ssl.appx.buzz

1  ssl.asiax.cloud

2  ssl.stagingy.store

3  ssl.lsw.buzz

4  ssl.advx.cloud

5  ssl.appuru.store

6  ssl.lss.buzz

7  ssl.remon.store

8  ssl.lsq.buzz

9  ssl.lsb.buzz

10  ssl.appsx.cloud

11  ssl.lsh.buzz

12  ssl.raichi.store

13  ssl.lsr.buzz

14  ssl.akaax.com

15  ssl.axax.cloud

16  ssl.lsk.buzz

17  ssl.lsy.buzz

18  ssl.zqap.cloud

19  ssl.skyly.cloud

20  ssl.akax.cloud

21  ssl.zmqx.cloud

22  ssl.lssaq.cloud

23  ssl.lsm.buzz

24  ssl.nexc.store

参照:　🥝ページの中から lazy load の画像 URL を抽出する。

画像の著作権情報³と、公開されている cloudflare のドメインの画像ファイルアドレスのリストがあれば、すんなり停止できるのだろうなと⁴考えていたが、ずいぶんとほったらかしているな、あれ ? ゼンゼンナニモシナイノ ? と不思議に思えた。
たしか 2019 年⁵までサイトブロッキング⁶しかない!⁷ という主張さえあったのだが⁸、その前にどこまでどうしたのかは、主張からはさっぱりわからないので、「どこまでどうできるのか」がずっと気にかかっていた。

サイトブロッキング法制化、中間まとめは先送り
浅川直輝日経 xTECH／日経コンピュータ
2018.09.20
https://xtech.nikkei.com/atcl/nxt/column/18/00001/01044/

朝日新聞デジタル
海賊版サイト対策、まとまらず　検討会議は無期限延期に
上田真由美川本裕司 2018年10月16日 0時10分
https://www.asahi.com/articles/ASLBH5W88LBHUCLV00L.html

過去のしりきれとんぼになっているインターネット上の海賊版対策に関する検討会議　第9回会合　議事録を読んでいると　とりまとまらない報告となった理由が熱くて面白かった。「両論併記をしない」という主張についての理由が議事録には残っている。

Rf.インターネット上の海賊版対策に関する検討会議　第9回会合　議事録

https://www.kantei.go.jp/jp/singi/titeki2/tyousakai/kensho_hyoka_kikaku/index.html

Mangabank “Suffers DDoS Attack” & Disappears Following Legal Action
November 9, 2021 by Andy Maxwell

https://torrentfreak.com/mangabank-suffers-ddos-attack-disappears-following-legal-action-211109/

注) 'A declaration filed with the court by Shueisha ( pdf ) contains a copy of Cloudflare's response to the DMCA subpoena filed earlier this year.' のところが興味深い。

翻訳

漫画 BANK のアップロードして公開されていたタイトル名には命名規則があり、文字列抽出して、タイトルから検索して、間違った書籍情報をひっぱってくるものを選んでよくみると、簡単な間違いをしているものがあった。そして、これは間違いようなさそうなスペル間違いだったりなので、なにか、その前の段階 ? のもとで間違っていて、改正すると整合がとれないので、そのままにしているのではないかと思われた。
なにと比べるのか。
つまり、コピーしてきて、世の中では、そのタイトル名が通用していて、それは、オリジナルのタイトルからすると間違っているが、ファイル名としては正しいというような場合が考えられる。

つまり、コピーなのだと思う。自らスキャンして、自らファイル名をつけて、アップロードしてるわけではないという場合、そうなるかなと思う。
そう考えると、そのファイル名で、普通に検索すると、同じ間違ったタイトル名がひっかかるので、そいうことなのだ。

だとするならば、なんらかの理由で漫画をスキャンしてアップロードする人間がいて、それを告知する、そしてそのデータを加工するなどする人間がいるというエコサイクルのなかで、ネット上のアップロードファイルから回収されたものを展示しているということになるので、そのセレクトセンスによって傾向がみられるということである。
かなり古い漫画も選ばれていて、そのタイトルを知っているということは特徴的でもある。

とはいえ、興味は運営者が誰なのか...というところには全く無く、データがどうなってんのかな? どういう風に作ってるのかな? 全部のデータはいくつあるのか知るにはどういうアプローチでやるのかなというところに重点があり、ではどこから来たデータで、どういうモチベーションで出てきたファイルなんだろうかということに疑問をもちはじめた。

なんらかのモチベーションで日本の漫画をスキャニングし、ネットワークにアップロードする行為から始まり、ローカライズ（翻訳）し、漫画の言語を替えて、きれいに文字をのせて公開する一連のことを、スキャンレーションと呼んでいるらしい。

ある一つのサイトについての　現在へつづく

せきららなコード（ちょっと古くなってるけど、今の状況に合わせて少しだけ修正したら使える）

https://kuroca.hatenablog.com/

「マンガ」の記事 - Crieit

なにも知らない PHP スクレイピング。マンガ カウンティング

preface

PHP 8 インストール for debian

scraping.php

`_why`

CLOSURE

タイトルから書籍情報を探す。

ある一つのサイトについての

現在

スキャンレーション

scanlation について

ある一つのサイト についての

思い出

なにも知らない PHP スクレイピング。マンガカウンティング

ある一つのサイトについての