「Python」の記事 - Crieit

ミドルGPUで35億の女(RINNA AI)のローカル実行ことはじめ

2023-05-29T09:25:32+09:00

RINNA社が 5月17日に、 rinna/japanese-gpt-neox-3.6b-instruction-sft という、対話言語 AI モデルを公開したと、プレスリリースを出した。
その後さらに 5月31日、人間の評価による強化学習したモデル rinna/japanese-gpt-neox-3.6b-instruction-ppo を追加リリースしている。

この AI モデルは、ご家庭にあるミドルレンジ GPU でもサクサク動く性能だったので、 AI 系に明るくない人にも導入できるように、詳しい導入手順を紹介しようと思う。

こう言うのって、登場して直ぐ情報がホットなうちに記事にすることに価値があって、こんな 1～2週間経ってから記事を書いたって誰にも届かないんだろうけど、とりあえず書いてみる。

この界隈の情報はコンテクストが高いというか、あんまりイチから導入方法を説明している記事って目にしないので、多少は需要があるかなと。

はじめに断っておくが、 Chat-GPT や新しいBing 等と比べると数段落ちる回答精度となる。
ただ、個人がお手軽に購入できる程度の GPU を使って、完全にローカルで動かす事ができるという点が、一種の浪漫だ。

前提条件

以下のスペックを持った PC。

OS は Windows 10 または Windows 11
GeForce RTX 3060 以上、 VRAM 12GB 以上が載った NVIDIA の GPU
- GPU ドライバはインストール済み
- 具体的には 2023年5月現在以下のいずれかモデル
  - GeForce RTX 3060 (12 GB)
  - GeForce RTX 3080 (12 GB)
  - GeForce RTX 3090
  - GeForce RTX 3090 Ti
  - GeForce RTX 4060 Ti (16 GB)
  - GeForce RTX 4070
  - GeForce RTX 4070 Ti
  - GeForce RTX 4080
  - GeForce RTX 4090
- 3070 Ti, 3060 Ti, 3060 (8GB) だと VRAM が足りないので、多分動かすとエラーになる

導入手順

Python のインストール

Python と呼ばれるプログラミング言語（の、「ランタイム」と呼ばれるもの）をインストールする。

https://www.python.org/downloads/windows/

こちらのページから、 Python Releases for Windows の Latest Python 3 Release のバージョン (以下のスクショだと 3.11.3) を確認し、下のリストからそのバージョンの "Windows Installer (64-bit)" をダウンロード。

ダウンロードしたインストーラーを実行し、デフォルトの "Use admin privileges when installing py.exe" にチェックが入っていることを確認して、インストールを実行。

Python 仮想環境の作成

先ほどインストールした Python に、追加で必要なツールをダウンロードする環境（仮想環境と呼ばれるもの）を作成する。

まず、これから環境を作成していく元のフォルダをエクスプローラで開き、アドレスバーに powershell と入力する。

すると、黒い画面が立ち上がるので、以下のコマンドを実行。

py -3 -m venv rinna-japanese-gpt-chat

すると、 rinna-japanese-gpt-chat という名前のフォルダ作成されているはず。

vscode のインストール

Visual Studio Code (vscode) という、プログラム用のテキストエディタ（コードエディタ）をインストールする。

https://code.visualstudio.com/

Download for Windows からインストーラをダウンロードし実行する。

途中、インストールタスクの選択で、「エクスプローラーのディレクトリコンテキストメニューに [Code で開く] アクションを追加する」を追加しておく。

スクリプトファイルのダウンロード

実行するスクリプトファイルをダウンロード。

以下のページの右上らへんにある、「Download ZIP」をクリックしてダウンロードした ZIP を解凍し、中にある rinna_gradio_chat.py を、先ほど作成された rinna-japanese-gpt-chat という名前のフォルダの中に置く。

https://gist.github.com/advanceboy/717fde162a6f9ccb592f04898f0aacc1

vscode の環境のセットアップ

後半の作業を簡単にするため、 vscode の環境を整える。

先ほど作成された rinna-japanese-gpt-chat という名前のフォルダを右クリックして（Windows 11 の場合は、更に「その他のオプションを表示を」クリックして）、「Code で開く」を選択する。

すると、 vscode が立ち上がる (フォルダを信用しますか？的な Trust 何ちゃらの画面が出たら、 yes を選択しておく)。

Ctrl + Shift + E キーを押すと開く vscode 上の Explorer ペインで、先ほどダウンロードした .py ファイルを選択する。
すると、 "Do you want to install the recommented 'Python' Extension..." と聞かれるので、 Install を選択。

インストールが終わったら、再び vscode 上の Explorer ペインで .py ファイルを選択して Ctrl+@ キーを押し、 PowerShell ターミナルを表示させる。

このとき、表示される TERMINAL ウィンドウでは (rinna-japanese-gpt-chat) PS と先頭に表示されるようになっているはずだが、もしそれが表示されない場合は、このターミナル上で .\Scripts\Activate.ps1 と入力しておく。

Python の依存パッケージ (CUDA 対応 CUDA) の確認とインストール

Python で AI を実行するため、 AI 関連ライブラリーを、先ほど作成した Python の仮想環境内にインストールする。

まず、 PyTorch という機械学習ライブラリのページに飛ぶ。
https://pytorch.org/get-started/locally/

以下のような組み合わせの選択肢を選び、表示されたコマンドを前述の vscode のターミナル上（ (rinna-japanese-gpt-chat) PS と先頭に表示される状態）で実行する。

PyTorch Build: Stable
Your OS: Windows
Package: Pip
Language: Python
Compute Platform: CUDA の最新版

例えば、 CUDA 11.8 の環境をインストールする場合は、以下のようなコマンドになると思われる。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

その後、残りの依存ライブラリもインストールしておく。

pip3 install ipython sentencepiece transformers accelerate gradio

pip3 install の実行順を逆にすると、 CUDA に対応していない torch がインストールされてしまい、後々エラーになってしまうので注意。

CUDA ツールキットのインストール

最後に、 CUDA と呼ばれる NVIDIA の GPU 上で AI を効率よく実行するためのツールキットをインストールする。

以下の CUDA Toolkit Archive のページを開き、前項で "Compute Platform" で選択したバージョンの CUDA Toolkit をダウンロードし、インストールする。

https://developer.nvidia.com/cuda-toolkit-archive

最新版ではなく、前項の PyTorch ライブラリのダウンロード時に選択したバージョンの CUDA をダウンロードする必要がある点に注意が必要だ。

例えば、 2023年5月現在、 CUDA Toolkit の最新版は 12.1.1 だが、前述の PyTorch ライブラリが対応する CUDA が 11.8 までなので、 CUDA Toolkit 11.8.0 をダウンロード＆インストールする。

実行手順

vscode のターミナル上（ (rinna-japanese-gpt-chat) PS と先頭に表示される状態）で、以下のように実行する。

python .\rinna_gradio_chat.py

しばらくすると、ターミナルにローカルで立ち上がったサーバーの URL http://127.0.0.1:7860 が表示されるので、 Ctrl キーを押しながらクリックして、ブラウザでアクセスする。

あとはお好きなようにいじくり倒すだけだ。

前述の動画は生成部分も含めて等倍速だが、ミドルレンジの GPU でもそれなりの速度で生成できていることがわかる。

停止させたい場合は、ターミナル上で Ctrl + C キーを押そう。

補足

生成速度

ChatGPT などでは元々生成速度が速いので気になりにくいが、英語と比べて日本語テキストの生成は遅く、同じ情報量で生成時間も利用料金も数倍かかってしまう。
その理由を雑に説明すると、「トークン」と呼ばれる学習・生成の単位が、英語では単語単位となる一方で、日本語は文字単位となっているためだ。

一方、りんなさんこと japanese-gpt-neox-3.6b では、単語間にスペースが存在しない日本語でも、ある程度単語ごとにトークン化されてから処理されるので、生成も文字単位では無く単語単位となり、処理効率が大幅に向上しているのだろうと考えられる。
ChatGPT などが存在しても、国産ないし国内向けの AI モデルが必要とされる理由の一つに、こういった背景があるようだ。

対応GPU

対応GPUを RTX30 世代以降に限っているのは、VRAM の利用を節約するために bfloat16 量子化して動かしているのだが、この bloat16 での効率的な計算に対応しているのが Ampere 以降世代の GPU となるためだ。

もし、 RTX 10, 20 の GPU で動かしてみたい場合、

https://gist.github.com/advanceboy/717fde162a6f9ccb592f04898f0aacc1#file-rinna_gradio_chat-py-L35

torch_dtype = torch.bfloat16

この部分を、搭載 VRAM に応じて torch_dtype = torch.float16 や torch_dtype = torch.float32 に書き換えれば上手く動くかもしれない。

CUI版

わざわざブラウザ立ちあげず CUI 上でチャットしたい場合は、上記のスクリプトの替わりに以下のスクリプトを使うと良いだろう。

rinna_chat_streaming.pyrinna/japanese-gpt-neox-3.6b-instruction-sft を使ったチャット UI のサンプル実装です。 transformers.TextIteratorStreamer API を利用して、 ChatGPT のように生成したテキストを少しずつ表示し、ユーザー体験を向上させています。https://t.co/tXtoN952un
— ながいの as a サービス (@longer_n) May 19, 2023

グレートクソアルゴリズム | くだらない youtube アルゴリズムを使用して youtube ビデオに関する情報を収集するくだらない Ruby プログラム

2022-11-10T19:08:50+09:00

translate

クソアルゴリズム

クソアルゴリズムにたいして、クソアルゴリズムを利用して、必要なものだけを選別していくものを書いてみる。

え、突然なに ? と思うかもしれないが、やっぱり怒ってるんだな。
これじゃないロボってわかるかなぁ。

欲しかったロボはこれじゃない！世界中から子供たちの悲痛な叫びが聞こえる情操教育玩具。グッドデザイン賞受賞の伝説的玩具。
コレジャナイロボ（The Original Model）
https://www.assiston.co.jp/1595

わかんないと思うな。

コレジャナイユーチューブ

何を怒っているか整理すると、Youtube 検索結果について。

簡単に言うと、探したいものがあって、探してるときに、あなたの探してるものと関係ありそうなもの教えてあげる的に頼んでもない集合知をほいって添えられて、それを断るすべがないということについて。

探しているものがはっきりしていて、その言葉で検索かけているときに、ほいっ、あなたの前回見た動画から他の人が見たのこれだから、こんなの面白いみたいよ、どぞー !! って検索結果に混ぜられるの意味あると思うのか ?? まともに考えて。それ、おすすめ映画をレコメンドするアルゴリズムだよね。それ、バカでしかないからやめてほしいんだ。

それ、バカでしかないからやめてほしいんだ youtube . . .

例えば、ransomware というキーワードで検索したとして、それと前回たまたま見た何かの動画とは全く関係ない趣向で、今検索してるのに、じゃあこれもって一言も ransomware のことなんて発言しない youtuber のたくさん視聴された関連動画を検索結果に混ぜてくるのって、「機械学習してるからー」てことを人間が配慮してあげないとしたら、意味不明のバカでしかない。

意味不明のバカでしかない . . .

意味不明のバカな結果を出すアルゴリズムを権威的に出してくるって、意味不明なバカレベルである。だから、やめて、と思うだけなんだな。
他人の行動も、過去の自分のトレンドも全く関係がない TPO が読めないアルゴリズムって、ただの邪魔だ、ということ。
そんなことは当たり前過ぎるのに、なぜか当然のように諦めさせらるとっても不毛なシステムだ。
これがなんでもかんでも Collaborative filtering 。

この配慮のない他人の行動をどんなときにも当てはめようとしてくる様式をクソアルゴリズムと呼ばずにはおれない。

でも、クソとかバカとかいうのも、どうにもならないわかりきったことで、単に Google が正しくキュレーションされたものより、てっとりばやく消費される季節ネタのようなバズを見えるとこに置いた方が広告の流入になるという方針なだけで、そういった正攻法はかつて創業者によって「情報の精度が落ちる要因」とされているので、クソなことをわかってやっていて、かつて 2000 年代に蔓延したアホみたいなインデックス型のサーチエンジン並みのクオリティを実現するアルゴリズムを新参のカウンターとして、知的に駆逐した彼ら google 自身が「今」作っているということ。

The Age of PageRank is Over
09 Nov, 2022
Vladimir Prelovac
CEO, Kagi Inc.
https://blog.kagi.com/age-pagerank-over

もちろん、そんな 20 年以上レイドバックしたテクは 22 年以上前の板フロート掲示板王子によってチートされている。「クソをクソだと見抜けない人が使っている」ということが、クソの臭い嗅ぎ王子には見透かされたと言っていい。たぶん、世界中同じような状況じゃないかと思う。だって、結局古いんだもん。

というところまででクソアルゴリズムを悪く言うのはここまでにして、じゃあ、どうすればいいの ?
自分の決めたキーワードとの関連はどうやって判断するのか ? を考えてみる。

キーワードと youtube 動画の相関は、タイトルにキーワードが含まれるか ? だけで判断するということにする。

含まれていたら、関連動画としてリストに追加するし、含まれていなければそれ以上関係性を考慮しない。これだけのストレートなルールを設定する。
なので、youtube 動画のタイトルが web ページのデータ上のどこにあるのかを割り出すことが必要。

キーワードで youtube 検索するには、

https://www.youtube.com/results?search_query=ransomware

で、get する。そうすると、検索結果を表示するリダイレクトが youtube ページで行われる。

この行為を Ruby コードで書くと、

code : 01

require 'uri'
require 'net/http'

words = "ransomware"
keywords = URI.encode_www_form(search_query: words)
target = 'https://www.youtube.com/results?' << keywords
resp_0 = Net::HTTP.get_response(URI.parse(target))

ページのなかの、

chrome ブラウザーで tenki フォルダの中の html ファイルを開く。

chrome browser:

CTRL + shift + i

DevTools

index.html:

Pythonのunittest実行時に、「ResourceWarning: unclosed file」が発生する場合の対処方法

2022-03-13T17:19:46+09:00

Pythonでunittestを実行していた際に、「ResourceWarning: unclosed file」が出力されたので、その対処方法について、記載。

global logins
def log_setting(log_level):
    global logins
    home = '<ログファイルパス>'
    pid = os.getpid()

    # create logger
    logins = logging.getLogger(__name__)
    logins.setLevel(logging.DEBUG)

    # create File Handler
    fh = logging.FileHandler('{0}/log/log{1}.log'.format(home, pid))
    fh.setLevel(logging.INFO)

    # create Formatter
    fh_formatter = \
        logging.Formatter(
            '%(asctime)s - %(levelname)s - \
            %(filename)s - %(name)s - %(funcName)s - %(message)s')

    # set Formatter
    fh.setFormatter(fh_formatter)

    # add Handler
    logins.addHandler(fh)

    # test logging
    logins.info('logtest:addHandler')

↑みたいな関数があり、unittest側からは下記でテストメソッド単位で呼び出したとする。

def setUp(self):
   logtest.log_setting(logging.DEBUG)`


def tearDown(self):
   logtest.logins.handlers = []

この場合、unittestを実行すると、ログファイル内に「ResourceWarning: unclosed file」が出力される。
理由はログファイルがクローズされていない状態で、ハンドラをクリアしているから。
ハンドラをクリアしている理由は、そうしないとテストメソッドの実行の都度、「log_setting」が呼び出されてハンドラが追加され、ログが重複して出力されてしまうから。

ログファイルをクローズする処理を入れればいいので、下記のようにする。

def tearDown(self):
   logtest.logins.handlers[0].close()
   logtest.logins.handlers = []

こうすると、ログファイルをクローズした後にハンドラをクリアするので、警告は出力されない。
ログも重複しない。

本当にいいのは、テスト対象側のプログラムを修正することだと思う。
ファイル出力しかしない想定であれば、addHandlerを使う必要はなく、下記で対応ができる。↓のほうがコード短いし、↑よりもいいかな。

```
def log_setting(log_level):
global logins
home = '/home/aoiro/work/logtest'
pid = os.getpid()

# create logger
logins = logging.getLogger(__name__)

log_format = \
    '%(asctime)s - {} - %(levelname)s - %(message)s'.format("tester")
logging.basicConfig(
    filename='{0}/log/log{1}.log'.format(home, pid),
    level=log_level, format=log_format)

```

Python 標準ライブラリ abc 抽象基底クラス

2022-02-11T20:11:36+09:00

Python標準のabcクラスを使用すると抽象基底クラスを表現できる。

概要

デコレータ@abstractmethodをメソッドの一番内側につけることで、
抽象メソッドやプロパティを定義できる。

from abc import ABC, abstractmethod

class SampleABC(ABC):

    @abstractmethod
    def sample_abstract_method(self):
        pass

    @classmethod
    @abstractmethod
    def sample_abstract_classmethod(cls):
        pass

    @staticmethod
    @abstractmethod
    def sample_abstract_staticmethod():
        pass

    @property
    @abstractmethod
    def sample_abstract_property(self):
        pass

    @sample_abstract_property.setter
    @abstractmethod
    def sample_abstract_property(self, val):
        pass

    @abstractmethod
    def _get_prop(self):
        pass

    @abstractmethod
    def _set_prop(self, val):
        pass

    def _get_prop2(self):
        pass

    def _set_prop2(self, val):
        pass

    def concrete_method():
        print('hello')

    prop = property(_get_prop, _set_prop)

    prop2 = property(_get_prop2, _set_prop2)

@abstractmethodを実装せずに継承したクラスを定義し、インスタンス化すると例外が発生する。

class ExtendSampleABC(SampleABC):
    pass

esabc = ExtendSampleABC()
# TypeError: Can't instantiate abstract class ExtendSampleABC with
#  abstract methods _get_prop, _set_prop, prop, 
#  sample_abstract_classmethod, sample_abstract_method, 
#  sample_abstract_property, sample_abstract_staticmethod

以下のように実装を行うと例外は発生しない。

class ConcreteSampleABC(SampleABC):

    def __init__(self):
        self._property = 0
        self._prop = ''

    def sample_abstract_method(self):
        pass

    @classmethod
    def sample_abstract_classmethod(cls):
        pass

    @staticmethod
    def sample_abstract_staticmethod():
        pass

    @property
    def sample_abstract_property(self):
        return self._property

    @sample_abstract_property.setter
    def sample_abstract_property(self, value):
        self._property = value

    def _get_prop(self):
        return self._prop

    def _set_prop(self, value):
        self._prop = value

    prop = property(_get_prop, _set_prop)

csabc = ConcreteSampleABC()

参考

Python 標準ライブラリ contextlib with文用コンテキスト

2022-02-11T20:08:59+09:00

Python標準のライブラリcontextlibを使うと、with文に対応したコンテキストを表現できます。

デコレータでコンテキストマネージャーを使用

ContextDecoratorを継承してクラスを宣言することで、コンテキストマネージャーとしてデコレータで使えるようになる。
非同期版のAsyncContextDecoratorもある。

from contextlib import ContextDecorator

class SampleContext(ContextDecorator):
    def __enter__(self):
        print('__enter__')
        return self

    def __exit__(self, *args):
        print('__exit__')
        return False

@SampleContext()
def sample_function():
    print('sample_function')

sample_function()

__enter__
sample_function
__exit__

with文から抜ける時にcloseしてくれるコンテキストマネージャー

closingで指定したクラスのcloseメソッドを終了時に呼び出してくれるコンテキストマネージャーを取得できる。
非同期版はaclosingを使用する。

from contextlib import closing

class SampleClass:
    def close(self):
        print('close')
    def hello(self):
        print('hello')

with closing(SampleClass()) as c:
    c.hello()

hello
close

関数をコンテキストマネージャーとして使えるようにする

@contextmanagerデコレーを付与することで、関数をコンテキストマネージャーとして使えるようにできる。
関数はyieldを返す必要がある。
非同期版は@asynccontextmanager。

from contextlib import contextmanager

@contextmanager
def sample_context():

    print('create sample context')

    try:
        yield 'yield here'
    finally:
        print('exit sample context')

with sample_context() as sc:
    print(sc)

create sample context
yield here
exit sample context

コンテキストマネージャーが取得できない場合

openに失敗した場合なども含め、with文で統一して処理を記述したいような時にnullcontextを使うことができる。

import contextlib

def get_context_or_nullcontext():

    f = None

    try:
        f = open('./sample.txt')
    except Exception as e:
        print(e)
    finally:
        if f is None:
            f = contextlib.nullcontext('enter_result')

    return f

with get_context_or_nullcontext() as c:
    print(c) # TextIOWrapper or 'enter_result'

標準出力先を変更

redirect_stdoutで標準出力先を変更できる。
以下はprintで標準出力ではなくsample.txtに内容が書き込まれる。

with open('./sample.txt', 'w') as f:
    with contextlib.redirect_stdout(f) as a:
        print('write!')

参考

Python 標準ライブラリ builtins 組み込みオブジェクト

2022-02-11T20:06:38+09:00

builtinsライブラリを使うとPythonの標準に用意されている
組み込みの関数や
定数や
にアクセスできます。

概要

以下のようにlist()にアクセスできます。

items = builtins.list()
items # =>

アクセスできる関数・定数は以下の通り。

[print(x) for x in dir(builtins) if not str(x).startswith('_') ]

ArithmeticError
AssertionError
AttributeError
BaseException
BlockingIOError
BrokenPipeError
BufferError
BytesWarning
ChildProcessError
ConnectionAbortedError
ConnectionError
ConnectionRefusedError
ConnectionResetError
DeprecationWarning
EOFError
Ellipsis
EnvironmentError
Exception
False
FileExistsError
FileNotFoundError
FloatingPointError
FutureWarning
GeneratorExit
IOError
ImportError
ImportWarning
IndentationError
IndexError
InterruptedError
IsADirectoryError
KeyError
KeyboardInterrupt
LookupError
MemoryError
ModuleNotFoundError
NameError
None
NotADirectoryError
NotImplemented
NotImplementedError
OSError
OverflowError
PendingDeprecationWarning
PermissionError
ProcessLookupError
RecursionError
ReferenceError
ResourceWarning
RuntimeError
RuntimeWarning
StopAsyncIteration
StopIteration
SyntaxError
SyntaxWarning
SystemError
SystemExit
TabError
TimeoutError
True
TypeError
UnboundLocalError
UnicodeDecodeError
UnicodeEncodeError
UnicodeError
UnicodeTranslateError
UnicodeWarning
UserWarning
ValueError
Warning
WindowsError
ZeroDivisionError
abs
all
any
ascii
bin
bool
breakpoint
bytearray
bytes
callable
chr
classmethod
compile
complex
copyright
credits
delattr
dict
dir
display
divmod
enumerate
eval
exec
filter
float
format
frozenset
get_ipython
getattr
globals
hasattr
hash
help
hex
id
input
int
isinstance
issubclass
iter
len
license
list
locals
map
max
memoryview
min
next
object
oct
open
ord
pow
print
property
range
repr
reversed
round
set
setattr
slice
sorted
staticmethod
str
sum
super
tuple
type
vars
zip

参考

builtins --- 組み込みオブジェクト — Python 3

Python 標準ライブラリ sysconfig Python構成情報

2022-02-11T20:02:35+09:00

Pythonの構成情報を取得する。

概要

import sysconfig

sysconfig.get_python_version()
# => 3.9

sysconfig.get_platform()
# => 'win-amd64'

sysconfig.get_scheme_names()
# => ('nt',
# 'nt_user',
# 'osx_framework_user',
# 'posix_home',
# 'posix_prefix',
# 'posix_user')

sysconfig.get_path_names()
# => ('stdlib', 'platstdlib', 'purelib', 'platlib', 'include', 'scripts', 'data')

sysconfig.get_paths()
# => {'stdlib': 'C:\\Users\\testuser\\AppData\\Local\\Programs\\Python\\Python39\\Lib',
#  'platstdlib': 'c:\\home\\workspace\\sample\\Lib',
#  'purelib': 'c:\\home\\workspace\\sample\\Lib\\site-packages',
#  'platlib': 'c:\\home\\workspace\\sample\\Lib\\site-packages',
#  'include': 'C:\\Users\\testuser\\AppData\\Local\\Programs\\Python\\Python39\\Include',
#  'platinclude': 'C:\\Users\\testuser\\AppData\\Local\\Programs\\Python\\Python39\\Include',
#  'scripts': 'c:\\home\\workspace\\sample\\Scripts',
#  'data': 'c:\\home\\workspace\\sample'}

参考

Python 標準ライブラリ http.client HTTPクライアント

2022-02-11T19:58:56+09:00

Pythonの標準のHTTPクライアントライブラリhttp.clientはurllib.requestで使われている。

概要

以下のようにHTTP要求を投げることができる。

import http.client

connection = http.client.HTTPSConnection("example.jp")
connection.request("GET", "/")
response = connection.getresponse()
connection.close()

print(response.getheaders())
print(response.getheader('Content-Length'))
print(response.headers)
print(response.msg)

print(response.closed) # => True
print(response.reason) # => OK
print(response.status) # => 200
print(response.version) # => 11
print(response.read())

参考

Python 標準ライブラリ http HTTP

2022-02-11T19:50:46+09:00

http.HTTPStatusには各種HTTPステータスコードの列挙が登録されている。

概要

HTTPStatus.OK(200)やHTTPStatus.NOT_FOUND(404)等、HTTPステータスコードにアクセスできる。

from http import HTTPStatus

HTTPStatus.OK
HTTPStatus.NOT_FOUND

HTTPStatus.NOT_FOUND.name # => 'Not Found'
HTTPStatus.NOT_FOUND.phrase # => 'Not Found'
HTTPStatus.NOT_FOUND.value # => 404

HTTPステータスの列挙

HTTPステータスコード全体はforで列挙できる。

for status in HTTPStatus:
    print(f"{status.name}|{status.value}|{status.phrase}|{status.description}")

CONTINUE|100|Continue|Request received, please continue
SWITCHING_PROTOCOLS|101|Switching Protocols|Switching to new protocol; obey Upgrade header
PROCESSING|102|Processing|
EARLY_HINTS|103|Early Hints|
OK|200|OK|Request fulfilled, document follows
CREATED|201|Created|Document created, URL follows
ACCEPTED|202|Accepted|Request accepted, processing continues off-line
NON_AUTHORITATIVE_INFORMATION|203|Non-Authoritative Information|Request fulfilled from cache
NO_CONTENT|204|No Content|Request fulfilled, nothing follows
RESET_CONTENT|205|Reset Content|Clear input form for further input
PARTIAL_CONTENT|206|Partial Content|Partial content follows
MULTI_STATUS|207|Multi-Status|
ALREADY_REPORTED|208|Already Reported|
IM_USED|226|IM Used|
MULTIPLE_CHOICES|300|Multiple Choices|Object has several resources -- see URI list
MOVED_PERMANENTLY|301|Moved Permanently|Object moved permanently -- see URI list
FOUND|302|Found|Object moved temporarily -- see URI list
SEE_OTHER|303|See Other|Object moved -- see Method and URL list
NOT_MODIFIED|304|Not Modified|Document has not changed since given time
USE_PROXY|305|Use Proxy|You must use proxy specified in Location to access this resource
TEMPORARY_REDIRECT|307|Temporary Redirect|Object moved temporarily -- see URI list
PERMANENT_REDIRECT|308|Permanent Redirect|Object moved permanently -- see URI list
BAD_REQUEST|400|Bad Request|Bad request syntax or unsupported method
UNAUTHORIZED|401|Unauthorized|No permission -- see authorization schemes
PAYMENT_REQUIRED|402|Payment Required|No payment -- see charging schemes
FORBIDDEN|403|Forbidden|Request forbidden -- authorization will not help
NOT_FOUND|404|Not Found|Nothing matches the given URI
METHOD_NOT_ALLOWED|405|Method Not Allowed|Specified method is invalid for this resource
NOT_ACCEPTABLE|406|Not Acceptable|URI not available in preferred format
PROXY_AUTHENTICATION_REQUIRED|407|Proxy Authentication Required|You must authenticate with this proxy before proceeding
REQUEST_TIMEOUT|408|Request Timeout|Request timed out; try again later
CONFLICT|409|Conflict|Request conflict
GONE|410|Gone|URI no longer exists and has been permanently removed
LENGTH_REQUIRED|411|Length Required|Client must specify Content-Length
PRECONDITION_FAILED|412|Precondition Failed|Precondition in headers is false
REQUEST_ENTITY_TOO_LARGE|413|Request Entity Too Large|Entity is too large
REQUEST_URI_TOO_LONG|414|Request-URI Too Long|URI is too long
UNSUPPORTED_MEDIA_TYPE|415|Unsupported Media Type|Entity body in unsupported format
REQUESTED_RANGE_NOT_SATISFIABLE|416|Requested Range Not Satisfiable|Cannot satisfy request range
EXPECTATION_FAILED|417|Expectation Failed|Expect condition could not be satisfied
IM_A_TEAPOT|418|I'm a Teapot|Server refuses to brew coffee because it is a teapot.
MISDIRECTED_REQUEST|421|Misdirected Request|Server is not able to produce a response
UNPROCESSABLE_ENTITY|422|Unprocessable Entity|
LOCKED|423|Locked|
FAILED_DEPENDENCY|424|Failed Dependency|
TOO_EARLY|425|Too Early|
UPGRADE_REQUIRED|426|Upgrade Required|
PRECONDITION_REQUIRED|428|Precondition Required|The origin server requires the request to be conditional
TOO_MANY_REQUESTS|429|Too Many Requests|The user has sent too many requests in a given amount of time ("rate limiting")
REQUEST_HEADER_FIELDS_TOO_LARGE|431|Request Header Fields Too Large|The server is unwilling to process the request because its header fields are too large
UNAVAILABLE_FOR_LEGAL_REASONS|451|Unavailable For Legal Reasons|The server is denying access to the resource as a consequence of a legal demand
INTERNAL_SERVER_ERROR|500|Internal Server Error|Server got itself in trouble
NOT_IMPLEMENTED|501|Not Implemented|Server does not support this operation
BAD_GATEWAY|502|Bad Gateway|Invalid responses from another server/proxy
SERVICE_UNAVAILABLE|503|Service Unavailable|The server cannot process the request due to a high load
GATEWAY_TIMEOUT|504|Gateway Timeout|The gateway server did not receive a timely response
HTTP_VERSION_NOT_SUPPORTED|505|HTTP Version Not Supported|Cannot fulfill request
VARIANT_ALSO_NEGOTIATES|506|Variant Also Negotiates|
INSUFFICIENT_STORAGE|507|Insufficient Storage|
LOOP_DETECTED|508|Loop Detected|
NOT_EXTENDED|510|Not Extended|
NETWORK_AUTHENTICATION_REQUIRED|511|Network Authentication Required|The client needs to authenticate to gain network access