「ある一つのサイトについての」の投稿 - Crieit

Uncovering CloudFlare

2022-06-10T20:11:36+09:00

Christophe Tafani-Dereeper

CloudFlair: Bypassing Cloudflare using Internet-wide scan data

#pip install googletrans==4.0.0-rc1
#python -m pip install requests beautifulsoup4

import requests,re
from bs4 import BeautifulSoup

from googletrans import Translator
translator = Translator()

url = "https://blog.christophetd.fr/bypassing-cloudflare-using-internet-wide-scan-data/"
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
ptag_list_0 = soup.find_all('p')

for index,lines in enumerate(ptag_list_0):
    if(re.match(r'\w',lines.text) != None ):

        texts = re.sub(r'\.\s',"",lines.text)
        #print(texts)
        try:
            translated = translator.translate(texts, dest='ja')
            print(index, translated.text)
            ptag_list_0[index].string = translated.text
        except IndexError:
            pass
        print()

#--------------------------------------------------------
# check
#res2 = requests.get(url)
#soup2 = BeautifulSoup(res2.text, "html.parser")
#ptag_list_2 = soup2.find_all('p')
#
#
#for index,lines in enumerate(ptag_list_2):
#    print(lines.text)
#    print(ptag_list_0[index].text)
#--------------------------------------------------------

metatag = soup.new_tag('meta')
metatag.attrs['charset'] = "utf-8"
soup.head.append(metatag)
#--------------------------------------------------------
import os
filename = os.path.basename(url)
with open('sample.html', "wb") as f_output:
    f_output.write(soup.prettify("utf-8"))

https://rentry.co/a4a8v

2022-04-03T17:50:15+09:00

mangabank の中の人、見てますか ?

2022-03-25T21:35:27+09:00

mangabank の中の人、見てますか ?

2022-03-24T12:49:06+09:00

dns からも mangabank.org、mangaplay.org、play.2cc.si...

2022-03-20T14:57:52+09:00

dns からも mangabank.org、mangaplay.org、play.2cc.si が消えた。

オンラインリーディング型のサイト運営は停止したのかも。
dns が消えるまで redirect は以下のドメインでした。

Non-authoritative answer:
Name:   13dl.me
Address: 172.67.191.45
Name:   13dl.me
Address: 104.21.49.154
Name:   13dl.me
Address: 2606:4700:3032::6815:319a
Name:   13dl.me
Address: 2606:4700:3030::ac43:bf2d

> dig -x 172.67.191.45

; <<>> DiG 9.16.11 <<>> -x 172.67.191.45
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 5314
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;45.191.67.172.in-addr.arpa.    IN      PTR

;; AUTHORITY SECTION:
67.172.in-addr.arpa.    1800    IN      SOA     cruz.ns.cloudflare.com. dns.cloudflare.com. 2034580120 10000 2400 604800 3600

;; Query time: 148 msec
;; SERVER: 8.8.8.8#53(8.8.8.8)
;; WHEN: Sun Mar 20 18:58:36 JST 2022
;; MSG SIZE  rcvd: 117

> dig -x 104.21.49.154

; <<>> DiG 9.16.11 <<>> -x 104.21.49.154
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 64514
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;154.49.21.104.in-addr.arpa.    IN      PTR

;; AUTHORITY SECTION:
21.104.in-addr.arpa.    1800    IN      SOA     cruz.ns.cloudflare.com. dns.cloudflare.com. 2034580120 10000 2400 604800 3600

;; Query time: 16 msec
;; SERVER: 8.8.8.8#53(8.8.8.8)
;; WHEN: Sun Mar 20 18:57:43 JST 2022
;; MSG SIZE  rcvd: 117

online reading 型から、download 誘導型のページに変化した。

2022-03-19T15:55:53+09:00

online reading 型から、download 誘導型のページに変化した。

domain

2022-03-14T16:33:51+09:00

https://digital.com/best-web-hosting/who-is/#search=play.2cc.si

wget -nv -r -l100 -e robots=off https://mangapl...

2022-03-10T12:13:00+09:00

wget -nv -r -l100 -e robots=off https://mangaplay.org/

 ls -l | awk '$1 ~ /d/ {print $9 }' > directory.txt

=> vim

directory.txt

12787 9999837
12788 9999838
12789 9999904
12790 9999905
12791 9999906
12792 9999907
12793 9999914
12794 9999915
12795 9999916
12796 9999917
12797 9999918
12798 9999919
12799 channel
12800 mangaplay.org
12801 r
12802 static
12803 tag
:set number

ページがリニューアルされている。

2022-03-09T21:04:34+09:00

ページがアップデートされていて、仕様が変更されている。
従来存在した、隠されたページ、といっても隠されているというより、googleによってサイト内検索があるだけで、ランダムにそのドメインの下にあるページを読み込むランダマイザーが無くなっている。

これまで、このランダマイザーを使って、存在するページを全て記録するという手法でコンテンツの数を数えていた。

代わりの手段として、wget を使ってみる。

wget -nv -r -l10 -e robots=off https://mangaplay.org/

これは、ドメイン内の html ファイルをクローリングしてダウンロードする。

コマンドのスイッチ l が階層の深さの指定のようなので、適当に１０として様子をみよう。

html ファイルはダウンロードするが、そのドメイン外の画像ファイルはダウンロードしない。ドメイン外というのは、CDNのクラウドフレアによって隠されている画像の置いてあるサーバーについてのことで、そのサーバにマンガの画像がある。ここでは、その画像をダウンロードしない。
ダウンロードしたら、いけないぞ。

しばらく待つと、クローリングが終わるので、そのディレクトリに注目する。

ディレクトリの数字が、コンテンツのあるURLパスになっているので、そのディレクトリの数ぶんだけ、ディレクトリの中に index.html が存在して、その index.html のソースの中に、ページに読み込む画像ファイルの URL が書かれている。その URL が CDN のプロクシーサーバーにキャッシュされた画像ファイルを指し示しているというのが、はなしの前提になっている。

さてここで、デレクトリの名前を列挙して見たいところ。
こんなふうにしてみてはどうかな。

ls -l | awk '$1 ~ /d/ {print $9 }' > directory.txt

awk 参考：
https://atmarkit.itmedia.co.jp/ait/articles/1706/15/news021.html

64300 ほどあることが予想されるが、どうだろうか。なぜ予想されるかというと、その数を数えるプログラムを過去から現在までずっといくつかの言語で書いてきたからで、ようやく Ruby でスレッドを使って速く数えれるプログラムが出来た（たくさんの http request する処理の待ちが時間かかるので、スレッドで分けれればかかる時間は go 言語での場合とたいさはなくなった）後に、前述の通りページの仕様が変わったので、数えてはあったが、新たな方法として、かなり先祖返りしたような wget でポンとやる方法をみつけたというわけだ。

64300 には程遠いということであれば、コマンドのスイッチ l の数字を大きくしてみるといいかもしれない。
l10 では 12798 こほどのディレクトリになった。

確認するには、directory.txt をエディターで開いて、行番号を付けてみればいい。

vim 系のエディターだと、: set number で行ナンバーの表示になる。

awk で行番号、ディレクトリ名というように表示させたければ、NR をつければよさそう。

ls -l | awk 'BEGIN { OFS=" => " } $1 ~ /d/ {print NR, $9 }'

ただし、ターミナルコマンドで見ると、あまりに多くの行数になると消えてしまうので、ちゃんと意味のあるディレクトリなのかを目視で確認できない。> を末尾につけて、ファイルに出力する方が確認にはよさそうである。

i hope for peace.
プーチンに死を

cloudFlair

2022-02-27T00:37:28+09:00

https://nixintel.info/osint/website-attribution-without-whois-reverse-ip-lookups-part-2/

CloudFlair

2022-02-27T00:23:07+09:00

https://github.com/christophetd/CloudFlair

除外。

2022-02-23T20:59:07+09:00


sqlite> select count(cdn) from mangaplay where cdn!='null' order by cdn;
64237

secure.iv2.onesecure.inip.mesecure.iviv.onesecu...

2022-02-23T14:56:33+09:00

secure.iv2.one

secure.inip.me

secure.iviv.one

secure.iivi.me

secure.sigy.cc

ssl.fbay.me

secure.iv1.one

secure.iv3.one

secure.ivid.one

secure.ivia.one

secure.ssq.one

secure.inxx.me

secure.ivie.one

secure.pfn.one

secure.ivib.one

secure.eqwr.cc

secure.sdiv.me

旧称：漫画バンク、f-bay で現在使用されているコンテンツ・デリバリー・ネットワーク（CDN）

2022-02-23T12:53:42+09:00

旧称：漫画バンク、f-bay
で現在使用されているコンテンツ・デリバリー・ネットワーク（CDN）
コンテンツ数：　64300

sqlite> select distinct(cdn) from mangaplay ;
secure.iv2.one
secure.inip.me
secure.iviv.one
secure.iivi.me
secure.sigy.cc
ssl.fbay.me
secure.iv1.one
secure.iv3.one
secure.ivid.one
secure.ivia.one
secure.ssq.one
secure.inxx.me
secure.ivie.one
secure.pfn.one
secure.ivib.one
secure.eqwr.cc
secure.sdiv.me

すべての CDN ドメインを調べる。

2022-02-22T23:09:54+09:00

すべての CDN ドメインを調べる。