「scraping」の記事 - Crieit

なにも知らない PHP スクレイピング。マンガカウンティング

2022-09-18T16:37:31+09:00

preface

うっかり 1995 -2002 くらいまでの掲示板 / 文化に興味をもってしまった（スレッドフロート型掲示板という言葉が英語なのか日本語なのかという疑問がきっかけだった。）ことから Perl という古語を自習していて、並列して PHP についてのことも知りたいとおもい( 2001 以降、perl + c 言語製 2 ちゃんねるから、PHP 5 製ふたばちゃんねるのソースコードからのフォークで 4 chan 、8 chan と推移するため)、まずベーシックなスクレイピングするプログラムを書いてみる。

Rf. はじめてのあやしいわーるど：システム
 【ゆっくりネット史解説】4スレ目～あやしいわーるど～
くずはすくりぷと Rev.0.1 Preview 9 (2000.9.3)
https://rentry.co/7m3tu
https://rentry.co/ukw3f/
https://rentry.co/ssno4

あめぞう歴史
http://history.amebbs.com/

PHP は、バージョンが違うとまるで別物のように思えるので、バージョンは 8 系とする。apache などの web サーバーは必要ない。

要約すると、
PHP scraping
で検索すると表示されたページ。
https://www.utakata.work/entry/php/webscraping-with-php-html-parser
ここに掲載しているコードをコピペで実行してみたら、理解できました。PHP 全く知らなかったですが。

以下は、実は漫画Bank / La « mangabank.org » a disparu. という記事（ない）からの続きになっています。

PHP 8 インストール for debian

sudo apt install -y gnupg2 ca-certificates apt-transport-https software-properties-common lsb-release

echo "deb https://packages.sury.org/php/ $(lsb_release -sc) main" | sudo tee /etc/apt/sources.list.d/sury-php.list

wget -qO - https://packages.sury.org/php/apt.gpg | sudo apt-key add -

sudo apt update

sudo apt-get --no-install-recommends install php8

とすることで、apache 抜きで PHP8 がインストールされるかもしれない。
されないかもしれない。そこは追求する必要があって、まだこれで完璧というとこまで到達できない。バージョン管理の phpenv があるらしいのでいずれはそれで。

パッケージマネージャーは、composer というものがあるので、バージョン 2 系のものを使う。なぜなら、php-html-parser というモジュールを使いたいからで、composer2 では無事にインストールできたから。

スクレイピングについては、色々と常識と非常識があって、それらは考慮したいが、知らない、知る前にやってしまう、やってしまった方がいいこともある。というスタンスで、できるだけ非常識にならないように、非常識のキョクホクのサイトをスクレイピングしてみる。

さて。

composer 2 自体のインストールは、省略。これもまた、どうするのがベストかわからない。簡単な方法でできればよし。できなければ深掘りしていくことになるが、インストールはできないということはないはず。

php-html-parser のインストール。https://github.com/paquettg/php-html-parser

~$ composer require paquettg/php-html-parser

php-html-parser とは jQuery のような感じで、html を扱うものだと思う。
そういうものは、いろんな言語であって、go だと goquery、Lua だと lua-gumbo、Nim だと nimquery、julia だと Gumbo とかで、それぞれ自分自身を解説するとき jQuery みたいなやつだからーとだけかいてあることが多いために使い方を調べるのには苦労する。
だけれども、一度どこかでその無限に時間を浪費するかのような道通ると、どこかで別のに出会っても、多少違うがほとんど同じという経験をする。おそらくそのために解説が省かれるのだと思う。だいたいおなじなので、どれかで分かりやすい解説が見つかれば一通りやってみるのがいい。

つまりは、html のタグとかタグ内の要素だとかで検索してずるずるっと引っ張ってきて、タグで挟まれたテキストを抽出したり、タグを付け足したりということをするためのものだ。
全然わからなければ、正規表現のようなもので代用することもある程度可能なので、正規表現に無限に時間をかける道も通っておいたらいいのかもしれない。

たとえば、ながいながい html ドキュメントに、

リンク

みたいな箇所がたくさんあって、これらをずるっと全部抜き出して、配列に入れて吟味したい場合にfind("a")みたいにして a タグのものすべてを簡単にひっぱってこれるといいね、ということを満たすもので、タグの中の attribute href で判別して、それが含まれるもの全部をひっぱってくるとかの用途に使う。

$url_1 = "https://search.brave.com/search?q=kadokawa+川上";

$dom = new Dom();
$dom->loadFromUrl($url_1, $options);

$element_a = $dom->find('a'); // a tag のリンクのエレメント全部を配列 $element_a に集める

foreach($element_a as $index=>$link){
    echo $index . ' ' . $link->{'href'} . "\n\n";
}

だいたい用途が同じものの場合はドキュメントが省略されるので、だいたい同じもののドキュメントがあれば参考にする。
Simple HTML DOM documentation

scraping.php

setEnforceEncoding('utf8');

$url1 = 'https://13dl.me/list/popular/';
function scrape($counter,$options,&$element_a){
        $titles = array();
        $next = "";

        foreach($element_a as $line){
                if(preg_match('/title/',"$line")) {
                        $div = $line->find('div');
                        if(preg_match('/div/',"$div")) {
                                $titles[] = $div->text;
                        }else{
                                if(preg_match('/Next/',"$line")){
                                        $attr = 'href';
                                        $next = $line->$attr;
                                }
                        }
                }else{
                        ;
                }
        }
        unset($element_a);

        foreach($titles as $xxxx){
                $counter ++;
                echo $counter . " title :" . $xxxx . "\n";
        }
        unset($titles);
        return array("$next",$counter);
}

$counter = 0;
while($url1 != ''){
        if(preg_match('/http/',"$url1")) {
        try {
                $dom = new Dom();
                $dom->loadFromUrl($url1, $options);
                $element_a = $dom->find('a');
                list($url1,$counter) = scrape($counter,$options,$element_a);
                unset($element_a);
                unset($dom);
        } catch (Exception $e) {
                $e->getMessage();
        }
        } else {
                die('stop:' . $url1);
        }       
}
die('End.'); 
?>

ある一つのサイトについての

2022-01-07T12:34:32+09:00

思い出

過去 6 ヶ月間、ひたすらひとつの違法マンガサイトを見ていた。

ずっと見ていたのは公開されたマンガコンテンツではなく、サイト運営者が作ってるデータをひたすら見ていたので、11 月の 4 日、15 時くらいにサイトをたたんだのを確認した。¹

おそらくこの翻訳記事 2021年11月04日 14時00分

Manga Publisher Wants to Sue Huge Piracy Network, Needs Google's Help * TorrentFreak
https://torrentfreak.com/manga-publisher-wants-to-sue-huge-piracy-network-needs-googles-help-211101/

注) 'Shueisha’s application and proposed orders/subpoenas can be found here (1,2,3,4 pdf)' の書類が興味深い。

https://gigazine.net/news/20211104-manga-shueisha-googles-piracy-mangabank/

が公開されたことで、サイト運営者が違法性を自認して、サイト閉鎖を決定したのではないかと思われる。

2021.12月中頃、mangabank.org とはまた別のドメインで再開している。
画像ファイルのあるアドレスのドメインを whois したところ、cloudflare の管轄のホストではなさそうな感じ。

過去に書いたこのような記事は、当時、宣伝につながらないように配慮して明記しなかったが、全て漫画 BANK についてのことだった。

以下、2021年11月04日以前

https://qiita.com/dauuricus/items/563cbcc9776f66cb672e

6 月の時点では 5 万ページぼどだと思っていたが 10 月には 6 万ページ以上あることがわかった。

この 6 万ページというのはマンガコンテンツの漫画の総ページ数のことではなくて、URL のことで、そのひとつの URL に 30 点から 300 点ぐらいの画像ファイルの URL が埋め込まれている。
その画像一枚が、漫画のスキャン画像ファイルの一点に相当する。

画像点数にすると、空想すると数えたことないおおきな数になるので、いずれいつか数えようと数えなかったが、その 6 万ページについては著者 / 漫画のタイトル / 公開されていた URL / アップデート日時の情報 / 付与されていたタグのデータのセットを記録した。

スキャン画像のファイルが漫画 BANK の見ているページに読み込まれるようにページのソースの中に URL が埋め込まれていて、観測した限りのその URL は、全てが cloudflare がホスティングしているドメインだった² ( 2021年 7月の調べ )

これが全てではないが、数千のアドレスから集計すると、こちらのドメインに収束した。

0  ssl.appx.buzz

1  ssl.asiax.cloud

2  ssl.stagingy.store

3  ssl.lsw.buzz

4  ssl.advx.cloud

5  ssl.appuru.store

6  ssl.lss.buzz

7  ssl.remon.store

8  ssl.lsq.buzz

9  ssl.lsb.buzz

10  ssl.appsx.cloud

11  ssl.lsh.buzz

12  ssl.raichi.store

13  ssl.lsr.buzz

14  ssl.akaax.com

15  ssl.axax.cloud

16  ssl.lsk.buzz

17  ssl.lsy.buzz

18  ssl.zqap.cloud

19  ssl.skyly.cloud

20  ssl.akax.cloud

21  ssl.zmqx.cloud

22  ssl.lssaq.cloud

23  ssl.lsm.buzz

24  ssl.nexc.store

参照:　🥝ページの中から lazy load の画像 URL を抽出する。

画像の著作権情報³と、公開されている cloudflare のドメインの画像ファイルアドレスのリストがあれば、すんなり停止できるのだろうなと⁴考えていたが、ずいぶんとほったらかしているな、あれ ? ゼンゼンナニモシナイノ ? と不思議に思えた。
たしか 2019 年⁵までサイトブロッキング⁶しかない!⁷ という主張さえあったのだが⁸、その前にどこまでどうしたのかは、主張からはさっぱりわからないので、「どこまでどうできるのか」がずっと気にかかっていた。

サイトブロッキング法制化、中間まとめは先送り
浅川直輝日経 xTECH／日経コンピュータ
2018.09.20
https://xtech.nikkei.com/atcl/nxt/column/18/00001/01044/

朝日新聞デジタル
海賊版サイト対策、まとまらず　検討会議は無期限延期に
上田真由美川本裕司 2018年10月16日 0時10分
https://www.asahi.com/articles/ASLBH5W88LBHUCLV00L.html

過去のしりきれとんぼになっているインターネット上の海賊版対策に関する検討会議　第9回会合　議事録を読んでいると　とりまとまらない報告となった理由が熱くて面白かった。「両論併記をしない」という主張についての理由が議事録には残っている。

Rf.インターネット上の海賊版対策に関する検討会議　第9回会合　議事録

https://www.kantei.go.jp/jp/singi/titeki2/tyousakai/kensho_hyoka_kikaku/index.html

Mangabank “Suffers DDoS Attack” & Disappears Following Legal Action
November 9, 2021 by Andy Maxwell

https://torrentfreak.com/mangabank-suffers-ddos-attack-disappears-following-legal-action-211109/

注) 'A declaration filed with the court by Shueisha ( pdf ) contains a copy of Cloudflare's response to the DMCA subpoena filed earlier this year.' のところが興味深い。

翻訳

漫画 BANK のアップロードして公開されていたタイトル名には命名規則があり、文字列抽出して、タイトルから検索して、間違った書籍情報をひっぱってくるものを選んでよくみると、簡単な間違いをしているものがあった。そして、これは間違いようなさそうなスペル間違いだったりなので、なにか、その前の段階 ? のもとで間違っていて、改正すると整合がとれないので、そのままにしているのではないかと思われた。
なにと比べるのか。
つまり、コピーしてきて、世の中では、そのタイトル名が通用していて、それは、オリジナルのタイトルからすると間違っているが、ファイル名としては正しいというような場合が考えられる。

つまり、コピーなのだと思う。自らスキャンして、自らファイル名をつけて、アップロードしてるわけではないという場合、そうなるかなと思う。
そう考えると、そのファイル名で、普通に検索すると、同じ間違ったタイトル名がひっかかるので、そいうことなのだ。

だとするならば、なんらかの理由で漫画をスキャンしてアップロードする人間がいて、それを告知する、そしてそのデータを加工するなどする人間がいるというエコサイクルのなかで、ネット上のアップロードファイルから回収されたものを展示しているということになるので、そのセレクトセンスによって傾向がみられるということである。
かなり古い漫画も選ばれていて、そのタイトルを知っているということは特徴的でもある。

とはいえ、興味は運営者が誰なのか...というところには全く無く、データがどうなってんのかな? どういう風に作ってるのかな? 全部のデータはいくつあるのか知るにはどういうアプローチでやるのかなというところに重点があり、ではどこから来たデータで、どういうモチベーションで出てきたファイルなんだろうかということに疑問をもちはじめた。

なんらかのモチベーションで日本の漫画をスキャニングし、ネットワークにアップロードする行為から始まり、ローカライズ（翻訳）し、漫画の言語を替えて、きれいに文字をのせて公開する一連のことを、スキャンレーションと呼んでいるらしい。

ある一つのサイトについての　現在へつづく

せきららなコード（ちょっと古くなってるけど、今の状況に合わせて少しだけ修正したら使える）

https://kuroca.hatenablog.com/