「学習」の記事 - Crieit

Python 標準ライブラリ abc 抽象基底クラス

2022-02-11T20:11:36+09:00

Python標準のabcクラスを使用すると抽象基底クラスを表現できる。

概要

デコレータ@abstractmethodをメソッドの一番内側につけることで、
抽象メソッドやプロパティを定義できる。

from abc import ABC, abstractmethod

class SampleABC(ABC):

    @abstractmethod
    def sample_abstract_method(self):
        pass

    @classmethod
    @abstractmethod
    def sample_abstract_classmethod(cls):
        pass

    @staticmethod
    @abstractmethod
    def sample_abstract_staticmethod():
        pass

    @property
    @abstractmethod
    def sample_abstract_property(self):
        pass

    @sample_abstract_property.setter
    @abstractmethod
    def sample_abstract_property(self, val):
        pass

    @abstractmethod
    def _get_prop(self):
        pass

    @abstractmethod
    def _set_prop(self, val):
        pass

    def _get_prop2(self):
        pass

    def _set_prop2(self, val):
        pass

    def concrete_method():
        print('hello')

    prop = property(_get_prop, _set_prop)

    prop2 = property(_get_prop2, _set_prop2)

@abstractmethodを実装せずに継承したクラスを定義し、インスタンス化すると例外が発生する。

class ExtendSampleABC(SampleABC):
    pass

esabc = ExtendSampleABC()
# TypeError: Can't instantiate abstract class ExtendSampleABC with
#  abstract methods _get_prop, _set_prop, prop, 
#  sample_abstract_classmethod, sample_abstract_method, 
#  sample_abstract_property, sample_abstract_staticmethod

以下のように実装を行うと例外は発生しない。

class ConcreteSampleABC(SampleABC):

    def __init__(self):
        self._property = 0
        self._prop = ''

    def sample_abstract_method(self):
        pass

    @classmethod
    def sample_abstract_classmethod(cls):
        pass

    @staticmethod
    def sample_abstract_staticmethod():
        pass

    @property
    def sample_abstract_property(self):
        return self._property

    @sample_abstract_property.setter
    def sample_abstract_property(self, value):
        self._property = value

    def _get_prop(self):
        return self._prop

    def _set_prop(self, value):
        self._prop = value

    prop = property(_get_prop, _set_prop)

csabc = ConcreteSampleABC()

参考

Python 標準ライブラリ contextlib with文用コンテキスト

2022-02-11T20:08:59+09:00

Python標準のライブラリcontextlibを使うと、with文に対応したコンテキストを表現できます。

デコレータでコンテキストマネージャーを使用

ContextDecoratorを継承してクラスを宣言することで、コンテキストマネージャーとしてデコレータで使えるようになる。
非同期版のAsyncContextDecoratorもある。

from contextlib import ContextDecorator

class SampleContext(ContextDecorator):
    def __enter__(self):
        print('__enter__')
        return self

    def __exit__(self, *args):
        print('__exit__')
        return False

@SampleContext()
def sample_function():
    print('sample_function')

sample_function()

__enter__
sample_function
__exit__

with文から抜ける時にcloseしてくれるコンテキストマネージャー

closingで指定したクラスのcloseメソッドを終了時に呼び出してくれるコンテキストマネージャーを取得できる。
非同期版はaclosingを使用する。

from contextlib import closing

class SampleClass:
    def close(self):
        print('close')
    def hello(self):
        print('hello')

with closing(SampleClass()) as c:
    c.hello()

hello
close

関数をコンテキストマネージャーとして使えるようにする

@contextmanagerデコレーを付与することで、関数をコンテキストマネージャーとして使えるようにできる。
関数はyieldを返す必要がある。
非同期版は@asynccontextmanager。

from contextlib import contextmanager

@contextmanager
def sample_context():

    print('create sample context')

    try:
        yield 'yield here'
    finally:
        print('exit sample context')

with sample_context() as sc:
    print(sc)

create sample context
yield here
exit sample context

コンテキストマネージャーが取得できない場合

openに失敗した場合なども含め、with文で統一して処理を記述したいような時にnullcontextを使うことができる。

import contextlib

def get_context_or_nullcontext():

    f = None

    try:
        f = open('./sample.txt')
    except Exception as e:
        print(e)
    finally:
        if f is None:
            f = contextlib.nullcontext('enter_result')

    return f

with get_context_or_nullcontext() as c:
    print(c) # TextIOWrapper or 'enter_result'

標準出力先を変更

redirect_stdoutで標準出力先を変更できる。
以下はprintで標準出力ではなくsample.txtに内容が書き込まれる。

with open('./sample.txt', 'w') as f:
    with contextlib.redirect_stdout(f) as a:
        print('write!')

参考

Python 標準ライブラリ builtins 組み込みオブジェクト

2022-02-11T20:06:38+09:00

builtinsライブラリを使うとPythonの標準に用意されている
組み込みの関数や
定数や
にアクセスできます。

概要

以下のようにlist()にアクセスできます。

items = builtins.list()
items # =>

アクセスできる関数・定数は以下の通り。

[print(x) for x in dir(builtins) if not str(x).startswith('_') ]

ArithmeticError
AssertionError
AttributeError
BaseException
BlockingIOError
BrokenPipeError
BufferError
BytesWarning
ChildProcessError
ConnectionAbortedError
ConnectionError
ConnectionRefusedError
ConnectionResetError
DeprecationWarning
EOFError
Ellipsis
EnvironmentError
Exception
False
FileExistsError
FileNotFoundError
FloatingPointError
FutureWarning
GeneratorExit
IOError
ImportError
ImportWarning
IndentationError
IndexError
InterruptedError
IsADirectoryError
KeyError
KeyboardInterrupt
LookupError
MemoryError
ModuleNotFoundError
NameError
None
NotADirectoryError
NotImplemented
NotImplementedError
OSError
OverflowError
PendingDeprecationWarning
PermissionError
ProcessLookupError
RecursionError
ReferenceError
ResourceWarning
RuntimeError
RuntimeWarning
StopAsyncIteration
StopIteration
SyntaxError
SyntaxWarning
SystemError
SystemExit
TabError
TimeoutError
True
TypeError
UnboundLocalError
UnicodeDecodeError
UnicodeEncodeError
UnicodeError
UnicodeTranslateError
UnicodeWarning
UserWarning
ValueError
Warning
WindowsError
ZeroDivisionError
abs
all
any
ascii
bin
bool
breakpoint
bytearray
bytes
callable
chr
classmethod
compile
complex
copyright
credits
delattr
dict
dir
display
divmod
enumerate
eval
exec
filter
float
format
frozenset
get_ipython
getattr
globals
hasattr
hash
help
hex
id
input
int
isinstance
issubclass
iter
len
license
list
locals
map
max
memoryview
min
next
object
oct
open
ord
pow
print
property
range
repr
reversed
round
set
setattr
slice
sorted
staticmethod
str
sum
super
tuple
type
vars
zip

参考

builtins --- 組み込みオブジェクト — Python 3

Python 標準ライブラリ sysconfig Python構成情報

2022-02-11T20:02:35+09:00

Pythonの構成情報を取得する。

概要

import sysconfig

sysconfig.get_python_version()
# => 3.9

sysconfig.get_platform()
# => 'win-amd64'

sysconfig.get_scheme_names()
# => ('nt',
# 'nt_user',
# 'osx_framework_user',
# 'posix_home',
# 'posix_prefix',
# 'posix_user')

sysconfig.get_path_names()
# => ('stdlib', 'platstdlib', 'purelib', 'platlib', 'include', 'scripts', 'data')

sysconfig.get_paths()
# => {'stdlib': 'C:\\Users\\testuser\\AppData\\Local\\Programs\\Python\\Python39\\Lib',
#  'platstdlib': 'c:\\home\\workspace\\sample\\Lib',
#  'purelib': 'c:\\home\\workspace\\sample\\Lib\\site-packages',
#  'platlib': 'c:\\home\\workspace\\sample\\Lib\\site-packages',
#  'include': 'C:\\Users\\testuser\\AppData\\Local\\Programs\\Python\\Python39\\Include',
#  'platinclude': 'C:\\Users\\testuser\\AppData\\Local\\Programs\\Python\\Python39\\Include',
#  'scripts': 'c:\\home\\workspace\\sample\\Scripts',
#  'data': 'c:\\home\\workspace\\sample'}

参考

Python 標準ライブラリ http.client HTTPクライアント

2022-02-11T19:58:56+09:00

Pythonの標準のHTTPクライアントライブラリhttp.clientはurllib.requestで使われている。

概要

以下のようにHTTP要求を投げることができる。

import http.client

connection = http.client.HTTPSConnection("example.jp")
connection.request("GET", "/")
response = connection.getresponse()
connection.close()

print(response.getheaders())
print(response.getheader('Content-Length'))
print(response.headers)
print(response.msg)

print(response.closed) # => True
print(response.reason) # => OK
print(response.status) # => 200
print(response.version) # => 11
print(response.read())

参考

Python 標準ライブラリ http HTTP

2022-02-11T19:50:46+09:00

http.HTTPStatusには各種HTTPステータスコードの列挙が登録されている。

概要

HTTPStatus.OK(200)やHTTPStatus.NOT_FOUND(404)等、HTTPステータスコードにアクセスできる。

from http import HTTPStatus

HTTPStatus.OK
HTTPStatus.NOT_FOUND

HTTPStatus.NOT_FOUND.name # => 'Not Found'
HTTPStatus.NOT_FOUND.phrase # => 'Not Found'
HTTPStatus.NOT_FOUND.value # => 404

HTTPステータスの列挙

HTTPステータスコード全体はforで列挙できる。

for status in HTTPStatus:
    print(f"{status.name}|{status.value}|{status.phrase}|{status.description}")

CONTINUE|100|Continue|Request received, please continue
SWITCHING_PROTOCOLS|101|Switching Protocols|Switching to new protocol; obey Upgrade header
PROCESSING|102|Processing|
EARLY_HINTS|103|Early Hints|
OK|200|OK|Request fulfilled, document follows
CREATED|201|Created|Document created, URL follows
ACCEPTED|202|Accepted|Request accepted, processing continues off-line
NON_AUTHORITATIVE_INFORMATION|203|Non-Authoritative Information|Request fulfilled from cache
NO_CONTENT|204|No Content|Request fulfilled, nothing follows
RESET_CONTENT|205|Reset Content|Clear input form for further input
PARTIAL_CONTENT|206|Partial Content|Partial content follows
MULTI_STATUS|207|Multi-Status|
ALREADY_REPORTED|208|Already Reported|
IM_USED|226|IM Used|
MULTIPLE_CHOICES|300|Multiple Choices|Object has several resources -- see URI list
MOVED_PERMANENTLY|301|Moved Permanently|Object moved permanently -- see URI list
FOUND|302|Found|Object moved temporarily -- see URI list
SEE_OTHER|303|See Other|Object moved -- see Method and URL list
NOT_MODIFIED|304|Not Modified|Document has not changed since given time
USE_PROXY|305|Use Proxy|You must use proxy specified in Location to access this resource
TEMPORARY_REDIRECT|307|Temporary Redirect|Object moved temporarily -- see URI list
PERMANENT_REDIRECT|308|Permanent Redirect|Object moved permanently -- see URI list
BAD_REQUEST|400|Bad Request|Bad request syntax or unsupported method
UNAUTHORIZED|401|Unauthorized|No permission -- see authorization schemes
PAYMENT_REQUIRED|402|Payment Required|No payment -- see charging schemes
FORBIDDEN|403|Forbidden|Request forbidden -- authorization will not help
NOT_FOUND|404|Not Found|Nothing matches the given URI
METHOD_NOT_ALLOWED|405|Method Not Allowed|Specified method is invalid for this resource
NOT_ACCEPTABLE|406|Not Acceptable|URI not available in preferred format
PROXY_AUTHENTICATION_REQUIRED|407|Proxy Authentication Required|You must authenticate with this proxy before proceeding
REQUEST_TIMEOUT|408|Request Timeout|Request timed out; try again later
CONFLICT|409|Conflict|Request conflict
GONE|410|Gone|URI no longer exists and has been permanently removed
LENGTH_REQUIRED|411|Length Required|Client must specify Content-Length
PRECONDITION_FAILED|412|Precondition Failed|Precondition in headers is false
REQUEST_ENTITY_TOO_LARGE|413|Request Entity Too Large|Entity is too large
REQUEST_URI_TOO_LONG|414|Request-URI Too Long|URI is too long
UNSUPPORTED_MEDIA_TYPE|415|Unsupported Media Type|Entity body in unsupported format
REQUESTED_RANGE_NOT_SATISFIABLE|416|Requested Range Not Satisfiable|Cannot satisfy request range
EXPECTATION_FAILED|417|Expectation Failed|Expect condition could not be satisfied
IM_A_TEAPOT|418|I'm a Teapot|Server refuses to brew coffee because it is a teapot.
MISDIRECTED_REQUEST|421|Misdirected Request|Server is not able to produce a response
UNPROCESSABLE_ENTITY|422|Unprocessable Entity|
LOCKED|423|Locked|
FAILED_DEPENDENCY|424|Failed Dependency|
TOO_EARLY|425|Too Early|
UPGRADE_REQUIRED|426|Upgrade Required|
PRECONDITION_REQUIRED|428|Precondition Required|The origin server requires the request to be conditional
TOO_MANY_REQUESTS|429|Too Many Requests|The user has sent too many requests in a given amount of time ("rate limiting")
REQUEST_HEADER_FIELDS_TOO_LARGE|431|Request Header Fields Too Large|The server is unwilling to process the request because its header fields are too large
UNAVAILABLE_FOR_LEGAL_REASONS|451|Unavailable For Legal Reasons|The server is denying access to the resource as a consequence of a legal demand
INTERNAL_SERVER_ERROR|500|Internal Server Error|Server got itself in trouble
NOT_IMPLEMENTED|501|Not Implemented|Server does not support this operation
BAD_GATEWAY|502|Bad Gateway|Invalid responses from another server/proxy
SERVICE_UNAVAILABLE|503|Service Unavailable|The server cannot process the request due to a high load
GATEWAY_TIMEOUT|504|Gateway Timeout|The gateway server did not receive a timely response
HTTP_VERSION_NOT_SUPPORTED|505|HTTP Version Not Supported|Cannot fulfill request
VARIANT_ALSO_NEGOTIATES|506|Variant Also Negotiates|
INSUFFICIENT_STORAGE|507|Insufficient Storage|
LOOP_DETECTED|508|Loop Detected|
NOT_EXTENDED|510|Not Extended|
NETWORK_AUTHENTICATION_REQUIRED|511|Network Authentication Required|The client needs to authenticate to gain network access

参考

Python 標準ライブラリ urllib.parse URLの解析

2022-02-10T00:25:47+09:00

標準ライブラリurllib.parseには、URLの解析をするための関数が用意されている。

URLの解析

import urllib.parse

url = urllib.parse.urlparse('http://www.example.jp:80/test/path?q=some value&r=http://[email protected]/&search=a+b,c;$')
# => ParseResult(scheme='http', netloc='www.example.jp:80', path='/test/path', params='', query='q=some value&r=http://[email protected]/&search=a+b,c;$', fragment='')

urllib.parse.urlsplit('http://www.example.jp:80/test/path?q=some value&r=http://[email protected]/&search=a+b,c;$')
# => SplitResult(scheme='http', netloc='www.example.jp:80', path='/test/path', query='q=some value&r=http://[email protected]/&search=a+b,c;$', fragment='')

URLクエリーの解析

urllib.parse.parse_qs('key1=value1&key2=&test%3Da%26da%20a a=xyz')
# => {'key1': ['value1'], 'test=a&da a a': ['xyz']}

urllib.parse.parse_qs('key1=value1&key2=&test%3Da%26da%20a a=xyz', keep_blank_values=True)
# => {'key1': ['value1'], 'key2': [''], 'test=a&da a a': ['xyz']}

urllib.parse.parse_qsl('key1=value1&key2=&test%3Da%26da%20a a=xyz')
# => [('key1', 'value1'), ('test=a&da a a', 'xyz')]

urllib.parse.parse_qsl('key1=value1&key2=&test%3Da%26da%20a a=xyz', keep_blank_values=True)
# => [('key1', 'value1'), ('key2', ''), ('test=a&da a a', 'xyz')]

URLの要素からURLを組み立てる

urllib.parse.urlunparse(('http', 'www.example.jp:80', '/test/path', '', 'q=some value&r=http://user@ex
# => 'http://www.example.jp:80/test/path?q=some value&r=http://[email protected]/&search=a+b,c;$'

urllib.parse.urlunsplit(('http', 'www.example.jp:80', '/test/path', '', 'q=some value&r=http://[email protected]/&search=a+b,c;$'))
# => 'http://www.example.jp:80/test/path#q=some value&r=http://[email protected]/&search=a+b,c;$'

URLの結合

urllib.parse.urljoin('https://www.example.jp/a/b/c.txt','/x/y.txt')
# => 'https://www.example.jp/x/y.txt'

urllib.parse.urljoin('https://www.example.jp/a/b/c.txt','x/y.txt')
# => 'https://www.example.jp/a/b/x/y.txt'

辞書からクエリーパラメータを構成

data = {}
data['key1'] = 'value1'
data['key2'] = 'value2'

urllib.parse.urlencode(data) # => key1=value1&key2=value2

参考

Python 標準ライブラリ urllib.request URLのリクエスト

2022-02-10T00:25:05+09:00

Python標準のライブラリurllib.requestを使うとURLをリクエストして結果を取得することができます。

概要

以下のようにURLを指定して結果を取得できます。

import urllib.request 

with urllib.request.urlopen('https://example.jp/') as response:
    html = response.read()
    url = response.geturl()
    info = response.info()

HTTPSでSSL認証のエラーが発生する場合、以下を指定することで回避できる。

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

HTTP レスポンスをファイルに保存

リクエストした結果をファイルに保存する場合
shutil.copyfileobj
が使えます。

import shutil

with urllib.request.urlopen('https://example.jp/') as response:
    with  open('./request_out.html', mode="bw")  as f:
        shutil.copyfileobj(response, f)

エラーを想定した記載

要求の応答でエラーがある場合は、HTTPErrorやURLErrorでその内容を取得できる。

html = ''
try:
    with urllib.request.urlopen('https://example.jp') as response:
        html = response.read()
except urllib.error.HTTPError as e:
    print(e)
    print(e.code)
    print(e.reason)
except urllib.error.URLError as e:
    print(e)
    print(e.code)
    print(e.reason)
else:
    print(html)

リクエストパラメータを含む要求

Getの要求

Getの要求は直接クエリーパラメータをURLに指定できる。

with urllib.request.urlopen('https://example.jp/sample?key=value') as response:
    html = response.read()

urllib.parseのurlencodeを使うと、
マッピング型のオブジェクトからURLエンコードされたクエリーパラメータを取得できます。

data = {}
data['key1'] = 'value1'
data['key2'] = 'value2'

query = urllib.parse.urlencode(data)
print(query) # => key1=value1&key2=value2

with urllib.request.urlopen('https://example.jp/sample?' + query) as response:
    html = response.read()

Postの要求

第2引数(data)を指定するとPOSTで要求が行われます。

data = {}
data['key1'] = 'value1'
data['key2'] = 'value2'

data_string = urllib.parse.urlencode(data)
data_string = data_string.encode('ascii')
print(data_string) # => b'key1=value1&key2=value2'

with urllib.request.urlopen('https://example.jp/sample',data=data_string) as response:
    html = response.read()

Requestを使った要求

urlopenには、リクエスト型のパラメータを指定することもできます。

req = urllib.request.Request('https://example.jp/')
with urllib.request.urlopen(req) as response:
    html = response.read()

Requestの第2引数を指定し、それをurlopenに渡すことでPOSTの要求ができる。

data = {}
data['key1'] = 'value1'
data['key2'] = 'value2'

data_string = urllib.parse.urlencode(data)
data_string = data_string.encode('ascii')
print(data_string) # => b'key1=value1&key2=value2'

req = urllib.request.Request('https://example.jp/sample', data_string)
with urllib.request.urlopen(req) as response:
    html = response.read()

UA(ユーザーエージェント)を指定した要求

user_agent = "Mozilla/5.0 (Linux; Android 4.4; Nexus 5 Build/_BuildID_) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36"
req = urllib.request.Request('https://example.jp/search?q=test', headers={'User-Agent': user_agent}, method='GET')
with urllib.request.urlopen(req) as response:
    html = response.read()

URLとパス名の変換

ファイルパスとURLパスを相互に変換するための関数が用意されている。

urllib.request.pathname2url('/path/to/a=b+c&d=e f/[email protected]/x,y/;$/')
# => '/path/to/a%3Db%2Bc%26d%3De%20f/user%40example.com/x%2Cy/%3B%24/'

urllib.request.url2pathname('/path/to/a%3Db%2Bc%26d%3De%20f/user%40example.com/x%2Cy/%3B%24/')
# => '\\path\\to\\a=b+c&d=e f\\[email protected]\\x,y\\;$\\'

参考

Python 標準ライブラリ xml.etree.ElementTree XMLのパース

2022-02-05T19:57:40+09:00

Pythonの標準にあるXMLの解析で使えるライブラリxml.etree.ElementTreeの使い方です。

概要

XML文字列を読み込んで、内容を解析(パース)した結果に以下のようにアクセスできる。

import xml.etree.ElementTree as ET

xml_string = '''\


    
        Taro
        2000-01-01
    
    
        Jiro
        2003-10-12
        
            
                X001
                12.3
            
            
                X002
                23.4
            
        
    
    
        Hanako
        2001-07-10
    

'''

root = ET.fromstring(xml_string) # Element

root.tag # => 'rootTag'
root.attrib # => {'attribute_sample': '123'}

for child in root:
    print(f"{child.tag} {child.attrib}")
    # person {'some_attribute': 'AAA'}
    # person {'some_attribute': 'BBB'}
    # person {'some_attribute': 'CCC'}

ElementTreeはXML要素全体に対応するオブジェクトで、
ElementはXMLの要素1つに対応するオブジェクトとなっている。

上記はXML文字列からXML要素(Element)を取得する例になっている。

XML要素 Elementの読み込み

xml.etree.ElementTree.parse(XMLファイルのパス)を使うとElementTreeのオブジェクトを取得できる。

tree = ET.parse('sample.xml') # xml.etree.ElementTree.ElementTree object
root = tree.getroot() # Element

引数にはファイルオブジェクトも指定可能。

with open('./sample.xml', mode='r', encoding='utf-8') as f:
    tree = ET.parse(f) # xml.etree.ElementTree.ElementTree object
    root = tree.getroot() # Element

XML要素 Element

子要素のイテレータ

Elementは子要素をイテレートする。

for child in root:
    print(f"{child.tag} {child.attrib}")
    # person {'some_attribute': 'AAA'}
    # person {'some_attribute': 'BBB'}
    # person {'some_attribute': 'CCC'}

フィールド

# タグの名称
root.tag # => 'rootTag'
# 属性の辞書
root.attrib # => {'attribute_sample': '123'}
# テキスト要素
root.text # => '\n    '

メソッド

タグの名称やxPathでの要素取得は以下のように行う。

# 子要素(複数の場合最初の１つ)
root.find('person') # Element
root.find('person/items') # Element
root.find('person/items/item') # Element
root.find('items') # None

## 子要素の全て
root.findall('person') # Element
root.findall('name') # []

## テキスト
root.findtext('person/name') # 'Taro'

子孫までを繰り返しての取得は次のように行える。

for name_element in root.iter('name'):
    print(f"{name_element.text}")
    # Taro Jiro X001 X002 Hanako

iterfindはrootに対して条件を指定して要素を取得する。

list(root.iterfind('name')) # => []

for name_element in root.iterfind('person/name'):
    print(f"{name_element.text}")
    # Taro Jiro Hanako

指定した要素以下のすべてのテキストノードはitertextで取得できる。

list(root.find('person').itertext())
['\n        ', 'Taro', '\n        ', '2000-01-01', '\n    ']

属性の設定と取得は以下の様に行う。

root.get('attribute_sample') # => '123'

root.set('attribute_sample','321')

root.items() # => [('attribute_sample', '321')]

root.keys() # => ['attribute_sample']

要素の変更は次のメソッドを使用する。

element = ET.fromstring('aaa')

# 新規要素作成
b_item = ET.Element('B')
sub_item = ET.SubElement(b_item,'sub')
sub_item.text = 'SS'

# 要素の追加
element.append(b_item)
ET.tostring(element) # => b'aaa_SS'

# 要素の削除
element.remove(b_item)
ET.tostring(element) # => b'aaa'

# 新規要素作成
new_items = list()
for i in range(3):
    sub = ET.Element('item')
    sub.text = str(i+1)
    new_items.append(sub)

# 要素の複数追加
element.extend(new_items)
ET.tostring(element) # => b'aaa123'

# 2つ目のitem要素
item_second = element.find('item[2]')

# 指定位置に要素を挿入
c_item =  ET.Element('C')
element.insert(3, c_item)
ET.tostring(element) # => b'aaa123'

# 要素のクリア
element.clear()
ET.tostring(element) # => b''

XMLツリー ElementTree

メソッド

# ルート要素の取得
tree.getroot() # =>  

# 指定した名称・XPathで取得
tree.findall('person') # => [, , ]

# 指定した名称・XPathのテキストノードを取得
tree.findtext('person') # => '\n        '


for element in tree.iter():
    print(f"{element.tag} {element.text}")
    # => 全タグについて出力

for element in tree.iter('name'):
    print(f"{element.text}")
    # Taro Jiro X001 X002 Hanako
    # 指定した全パスについて出力

for element in tree.iterfind'person/name'):
    print(f"{element.text}")
    # Taro Jiro Hanako
    # ルートからみた指定したパスについて出力

list(tree.iterfind('name')) # => []

参考

cpython/ElementTree.py at 3.10 · python/cpython · GitHub
xml.etree.ElementTree --- ElementTree XML API

Python 標準ライブラリ base64

2021-12-16T01:26:20+09:00

Pythonの標準ライブラリbase64を使うとバイト列とbase64エンコード列の変換を行える。

バイト列→base64エンコード列

import base64

base64.b64encode(b'ab?123') # => b'YWI/MTIz'
base64.b64encode('あいうえお🐍'.encode()) # => b'44GC44GE44GG44GI44GK8J+QjQ=='

URLで問題になる可能性がある/や+の文字は第2引数を指定すると代替文字で置き換えられる。

base64.b64encode(b'ab?123', b'-_') # => b'YWI_MTIz'
base64.b64encode('あいうえお🐍'.encode(), b'-_') # => b'44GC44GE44GG44GI44GK8J-QjQ=='

base64エンコード列→バイト列

base64.b64decode(b'YWI/MTIz') # => b'ab?123'
base64.b64decode(b'44GC44GE44GG44GI44GK8J+QjQ==').decode() # =>'あいうえお🐍'

代替文字を指定している場合、第2引数を指定してエンコードを行う。

base64.b64decode(b'YWI_MTIz', b'-_') # => b'ab?123'
base64.b64decode(b'44GC44GE44GG44GI44GK8J-QjQ==', b'-_').decode() # =>'あいうえお🐍'

第1引数はバイト列ではなく文字列も指定できる。

base64.b64decode('YWI/MTIz') # => b'ab?123'
base64.b64decode('44GC44GE44GG44GI44GK8J+QjQ==').decode() # =>'あいうえお🐍'

base64.b64decode('YWI_MTIz', '-_') # => b'ab?123'
base64.b64decode('44GC44GE44GG44GI44GK8J-QjQ==', '-_').decode() # =>'あいうえお🐍'

標準的なbase64変換

標準的なbase64変換には、standard_b64encodeとstandard_b64decodeが用意されている。

base64.standard_b64encode(b'ab?123') # => b'YWI/MTIz'
base64.standard_b64encode('あいうえお🐍'.encode()) # => b'44GC44GE44GG44GI44GK8J+QjQ=='

base64.standard_b64decode(b'YWI/MTIz') # => b'ab?123'
base64.standard_b64decode(b'44GC44GE44GG44GI44GK8J+QjQ==').decode() # =>'あいうえお🐍'

こちらもstandard_b64decodeには文字列も指定可能。

base64.standard_b64decode('YWI/MTIz') # => b'ab?123'
base64.standard_b64decode('44GC44GE44GG44GI44GK8J+QjQ==').decode() # =>'あいうえお🐍'

URLセーフなbase64変換

/(スラッシュ)を_(アンダースコア)に、
+(プラス)を-(ハイフン)の文字(記号)に変換する
URLセーフなbase64変換用にも関数が用意されている。

base64.urlsafe_b64encode(b'ab?123') # => b'YWI_MTIz'
base64.urlsafe_b64encode('あいうえお🐍'.encode()) # => b'44GC44GE44GG44GI44GK8J-QjQ=='

base64.urlsafe_b64decode(b'YWI_MTIz') # => b'ab?123'
base64.urlsafe_b64decode(b'44GC44GE44GG44GI44GK8J-QjQ==').decode() # => 'あいうえお🐍'

base64.urlsafe_b64decode('YWI_MTIz') # => b'ab?123'
base64.urlsafe_b64decode('44GC44GE44GG44GI44GK8J-QjQ==').decode() # => 'あいうえお🐍'

参考

Python 標準ライブラリ json JSONエンコーダ・デコーダ

2021-12-16T01:22:44+09:00

標準に用意されているjsonライブラリを使うと、
PythonオブジェクトのJSON化(直列化、シリアライズ、JSONエンコーディング)、および、
JSONからPythonオブジェクトへの変換(デシリアライズ、JSONデコーディング)を行える。

JSON文字列と辞書dictの変換

JSON文字列 → Pythonオブジェクト(辞書dict)

文字列でJSONを渡して、辞書dictで取得する。

python_object = json.loads('{"name": "Taro", "age": 20, "items": [1.1, 2.2, 3.3]}')
print(python_object)
# =>  {'name': 'Taro', 'age': 20, 'items': [1.1, 2.2, 3.3]}
print(type(python_object))
# => <class 'dict'>

Pythonオブジェクト(辞書dict) → JSON文字列

先程とは逆に辞書dictを、文字列JSONに変換する。

python_object = { 'name':'Taro', 'age':20, 'items':[1.1,2.2,3.3]}
json_string = json.dumps(python_object)
print(json_string)
# => {"name": "Taro", "age": 20, "items": [1.1, 2.2, 3.3]}
print(type(json_string))
# => <class 'str'>

ファイルオブジェクトを使ったJSONの変換

文字列ではなく、ファイルオブジェクトへの書き込み・読み込みを行うための関数も用意されている。

# 辞書オブジェクトをJSONにしてファイルに書き込み
with open('./sample.txt', mode='w', encoding='utf-8') as f:
    python_object = { 'name':'Taro', 'age':20, 'items':[1.1,2.2,3.3]}
    json.dump(python_object, f)

# ファイルに書き込んだ文字列の確認
with open('./sample.txt', mode='r', encoding='utf-8') as f:
    json_string = f.read()
    print(json_string)
    # => {"name": "Taro", "age": 20, "items": [1.1, 2.2, 3.3]}

# ファイルを読み込んで辞書オブジェクトに変換
with open('./sample.txt', mode='r', encoding='utf-8') as f:
    po = json.load(f)
    print(po)
    # => {"name": "Taro", "age": 20, "items": [1.1, 2.2, 3.3]}
    print(type(po))
     #

JSON変換の引数

loads/loadやdumps/dumpは変換の詳細を引数で指定できる。

loads/loadの引数文字列またはファイルオブジェクト→辞書dict

json.loads(s, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)
json.load(fp, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

cls カスタマイズしたデコーダを使う場合に指定
object_hook デコードした結果をに対して呼び出すフック関数
parse_float 不動小数点文字列に使用されるパーサ
parse_int 整数文字列に使用されるパーサ
parse_constant 特定文字('Infinity', 'NaN', 'null', 'true'等)のパーサ
object_pairs_hook デコードした結果をに対して呼び出すフック関数

dumps/dumpの引数辞書dict→文字列またはファイルオブジェクト

json.dumps(obj, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)
json.dump(obj, fp, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)

skipkeys Trueにすると基本型以外の辞書のキーの処理を飛ばす
ensure_ascii Trueの場合非ASCII文字をエスケープ
check_circular Falseの場合循環参照のチェックを行わない
allow_nan Trueの場合、nan,inf,-infを変換する
cls カスタマイズしたエンコードを使う場合に指定
indent 数値や文字列でインデントを指定
separators 項目とキーの分割文字のタプル(',', ':')
default 直列化で使う変換の関数
sort_keys Trueの場合辞書順でキーを出力

参考

Python 標準ライブラリ platform プラットフォーム

2021-12-14T00:38:38+09:00

Python標準のライブラリplatformを使うとOS等のプラットフォームの情報取得を行える。
(以下はWindows環境の場合のサンプルです)

platformのサンプル

Pythonインタープリタのアーキテクチャ情報

import platform

platform.architecture()
# => ('64bit', 'WindowsPE')

指定した実行ファイルのアーキテクチャ情報

platform.architecture('notepad.exe')
# => ('64bit', '')

機種

platform.machine()
# => 'AMD64'

コンピュータのネットワーク名

platform.node()
# => 'MACHINE-NAME'

実行中プラットフォームを示す文字列

platform.platform()
# => 'Windows-10-10.0.19041-SP0'

プロセッサ名

platform.processor()
# => 'Intel64 Family 6 Model 78 Stepping 3, GenuineIntel'

Pythonのビルド番号と日付

platform.python_build()
# => ('tags/v3.9.2:1a79785', 'Feb 19 2021 13:44:55')

Pythonコンパイラ

platform.python_compiler()
# => 'MSC v.1928 64 bit (AMD64)'

Pythonのgitブランチ

platform.python_branch()
# => 'tags/v3.9.2'

Python実装の文字列('CPython', 'IronPython', 'Jython', 'PyPy')

platform.python_implementation()
# => 'CPython'

Python実装のgitタグ

platform.python_version()
# => '3.9.2'

OS・システム名 ('Linux', 'Darwin', 'Java', 'Windows')

platform.system()
# => 'Windows'

Pythonのバージョン

platform.version()
# => '10.0.19041'

Pythonバージョンのタプル (major, minor, patchlevel)

platform.python_version_tuple()
# => ('3', '9', '2')

環境情報(system, node, release, version, machine, processor)

platform.uname()
# => uname_result(system='Windows', node='MACHINE-NAME', release='10', version='10.0.19041', machine='AMD64')

Jython バージョン情報

platform.java_ver()
# => ('', '', ('', '', ''), ('', '', ''))

Windowsレジストリの追加バージョン情報 (release, version, csd, ptype)

platform.win32_ver()
# => ('10', '10.0.19041', 'SP0', 'Multiprocessor Free')

Windows のエディションの文字列表現

platform.win32_edition()
# => 'Professional'

参考

Python 標準ライブラリ logging ロギング

2021-12-14T00:16:21+09:00

Pythonでのログ出力は標準で用意されているライブラリloggingを使うことで行なえます。

ログ出力サンプル

ファイルへのログ出力

日付名称のファイルへのログ出力

import logging
import time

logging.basicConfig(filename=time.strftime('%Y%m%d.log'), encoding='utf-8',
                    format='[%(asctime)s][%(levelname)s]%(message)s',
                    datefmt='%Y/%m/%d %H:%M:%S',
                    level=logging.DEBUG)

logging.debug('デバッグログ')
logging.info('情報ログ')
logging.warning('警告ログ')
logging.error('エラーログ')

[2021/08/20 23:36:27][DEBUG]デバッグログ
[2021/08/20 23:36:27][INFO]情報ログ
[2021/08/20 23:36:27][WARNING]警告ログ
[2021/08/20 23:36:27][ERROR]エラーログ

複数対象へのログ出力

警告以上のログをファイルに、全てのログをコンソールに出力。

import logging
import time

logger = logging.getLogger('LoggerName')
logger.setLevel(logging.DEBUG)

fh = logging.FileHandler(time.strftime('%Y%m%d.log'),encoding='utf-8')
fh.setLevel(logging.WARN)

ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

formatter = logging.Formatter('[%(asctime)s][%(levelname)s]%(message)s', datefmt='%Y/%m/%d %H:%M:%S')
fh.setFormatter(formatter)
ch.setFormatter(formatter)

logger.addHandler(fh)
logger.addHandler(ch)

logger.debug('デバッグログ')
logger.info('情報ログ')
logger.warning('警告ログ')
logger.error('エラーログ')

20210820.log
[2021/08/20 23:36:27][WARNING]警告ログ
[2021/08/20 23:36:27][ERROR]エラーログ

コンソール
[2021/08/20 23:36:27][DEBUG]デバッグログ
[2021/08/20 23:36:27][INFO]情報ログ
[2021/08/20 23:36:27][WARNING]警告ログ
[2021/08/20 23:36:27][ERROR]エラーログ

書式と追加キーワードでの出力例

第2引数以降で指定した変数をログ出力できる。
extraで指定した辞書の値はフォーマットで参照できる。

logger = logging.getLogger('LoggerSample')
logger.setLevel(logging.DEBUG)

ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

formatter = logging.Formatter('[%(asctime)s][%(levelname)s][%(string)s][%(number)s]%(message)s', datefmt='%Y/%m/%d %H:%M:%S')
ch.setFormatter(formatter)

logger.addHandler(ch)

d = {'string':'AAA', 'number':777 }
logger.debug('ログテスト %s %s','Test',123,extra=d)

[2021/08/20 23:42:16][DEBUG][AAA][777]ログテスト Test 123

参考

Python 標準ライブラリ time 時刻

2021-08-19T01:47:37+09:00

時刻(日時)の取得や変換はtimeモジュールに用意されている関数を使って行うことができます。

概要

時刻(日時)は以下の形式で表現されます。

文字列('Wed Aug 18 23:54:50 2021'や'2021-08-19 23:54:50'等)
エポック(epoch 1970/01/01 00:00:00)からの経過秒数
struct_time型(年、月、秒等の値を持った型)

文字列形式で時刻(日時)を取得

エポック秒 → 文字列

# 現在日時を取得
time.ctime() # => 'Wed Aug 18 23:52:55 2021'

# 指定したエポックからの秒数の日時を取得
time.ctime(time.time()) # => 'Wed Aug 18 23:54:50 2021'
time.ctime(1628778159) # => 'Thu Aug 12 23:22:39 2021'

# 上記は以下と同様
# time.asctime(time.localtime(1628778159)) # => 'Thu Aug 12 23:22:39 2021'

struct_time → 文字列

# 現在日時を取得
time.asctime() # => 'Wed Aug 18 23:51:44 2021'

# 指定したstruct_timeの日時を取得
time.asctime(time.localtime()) # => 'Wed Aug 18 23:54:15 2021'

strftime(format[, t])を使うと、指定した形式で文字列の取得ができる。
第2引数はstruct_timeで省略した場合は現在時刻のlocaltime()が指定される。

# 年月日時分秒とタイムゾーン
time.strftime('%Y/%m/%d %H:%M:%S%z') # => '2021/08/19 00:47:44+0900'

# 午前午後の文字列と12時間表記時刻
time.strftime('%p %I時') # => 'AM 12時'

# 曜日
time.strftime('%a') # => 'Thu'
time.strftime('%A') # => 'Thursday'
time.strftime('%w') # => '4' (0:日曜日,…6:土曜日)

# 月
time.strftime('%b') # => 'Aug'
time.strftime('%B') # => 'August'

# ロケールでの表示
time.strftime('%c') # => 'Thu Aug 19 00:39:38 2021'

# 年月日
time.strftime('%x') # => '08/19/21'

# 時分秒
time.strftime('%X') # => '00:46:11'

# 2桁年数
time.strftime('%y') # => '21'

# 週数と日数
time.strftime('第%U週(日曜起算) 第%W週(月曜起算) 第%j日目') # => '第33週(日曜起算) 第33週(月曜起算) 第231日目'

# タイムゾーン名称
time.strftime('%Z') # => '東京 (標準時)'

エポック秒数で時刻を取得

エポックからの現在秒数

# 秒
time.time() # => 1629302004.3049362

# ナノ秒
time.time_ns() # => 1629302009858687200

struct_time → エポック秒

# struct_time(ローカル時間)から取得
time.mktime(time.localtime()) # => 1629299532.0
time.mktime(time.localtime(1629299532.0)) # => 1629299532.0

struct_timeで時刻(日時)を取得

文字列 → struct_time

strptime(string[, format])を使うと時刻を示す文字列からstruct_timeを取得できる。

# 書式指定なし('%a %b %d %H:%M:%S %Y'のフォーマットで変換)
time.strptime('Thu Aug 19 00:56:58 2021')
# => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=19, tm_hour=0, tm_min=56, tm_sec=58, tm_wday=3, tm_yday=231, tm_isdst=-1)

# 年月日指定
time.strptime('2021/08/19','%Y/%m/%d')
# => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=19, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=231, tm_isdst=-1)

# 年月日時分秒指定
time.strptime('2021/08/19 00:59:10','%Y/%m/%d %H:%M:%S')
# => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=19, tm_hour=0, tm_min=59, tm_sec=10, tm_wday=3, tm_yday=231, tm_isdst=-1)

エポック秒 → struct_time(UTC)

# 現在日時(UTC)を取得
time.gmtime() # => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=18, tm_hour=15, tm_min=5, tm_sec=4, tm_wday=2, tm_yday=230, tm_isdst=0)

# 指定したエポックからの秒数の日時(UTC)を取得
time.gmtime(time.time()) # => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=18, tm_hour=15, tm_min=8, tm_sec=43, tm_wday=2, tm_yday=230, tm_isdst=0)
time.gmtime(1628778159) # => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=12, tm_hour=14, tm_min=22, tm_sec=39, tm_wday=3, tm_yday=224, tm_isdst=0)

エポック秒 → struct_time(ローカル時)

# 現在日時(ローカル時)を取得
time.localtime() # => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=19, tm_hour=0, tm_min=5, tm_sec=6, tm_wday=3, tm_yday=231, tm_isdst=0)

# 指定したエポックからの秒数の日時(ローカル時)を取得
time.localtime(time.time()) # => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=19, tm_hour=0, tm_min=9, tm_sec=31, tm_wday=3, tm_yday=231, tm_isdst=0)
time.localtime(1628778159) # => time.struct_time(tm_year=2021, tm_mon=8, tm_mday=12, tm_hour=23, tm_min=22, tm_sec=39, tm_wday=3, tm_yday=224, tm_isdst=0)

スリープ・休止

指定した秒数だけスレッドの実行を停止。

time.sleep(0.5)
time.sleep(1)

参考

time --- 時刻データへのアクセスと変換

Python 標準ライブラリ io I/Oストリーム

2021-08-19T01:47:02+09:00

ioモジュールでファイルの書き込み・読み込みを行うストリームの機能が提供されています。

ファイルの読み書きの例

組込関数openでストリームのインスタンスを作成し、ファイルの読み込み・書き込みを行うことができます。

組み込み関数open

with open('./sample.txt', 'w', encoding='utf-8') as f:
    f.write('テスト1\n')
    f.write('テスト2')

with open('./sampl_b.txt', 'wb') as f:
    f.write(b'abc')

with open('./sample.txt', 'r', encoding='utf-8') as f:
    print(f.read())

openの第1引数はファイルのパス、第2引数は読み込み・書き込みのモードです。

* r 読み込み用
* w 書き込み用(最初にファイルをクリア)
* x 排他的な作成用(ファイルが存在するとエラー)
* a 追記用
* b バイナリーモード
* t テキストモード
* '+' 読み書き用

rとtはデフォルトで指定されます。

ioモジュールのエイリアス

ioモジュール以下にopenのエイリアスの関数も定義されています。

io.open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

テキストI/O

文字列によるテキストの書き込み

with open('./sample.txt', 'w', encoding='utf-8') as f:
    print(f.writable()) # => True 書き込み可能
    print(f.tell()) # => 0 ストリーム位置
    print(f.closed) # => False ストリームクローズしていない

    f.write('テスト1\n')
    f.writelines(['テスト2\n','テスト3'])

    print(f.tell()) # => 34 ストリーム位置
    f.close()
    print(f.closed) # => True ストリームクローズ

文字列によるテキストの読み込み

with open('./sample.txt', 'r', encoding='utf-8') as f:
    print(f.readable()) # => True 読み込み可能
    print(f.tell()) # => 0 ストリーム位置
    print(f.closed) # => False ストリームクローズしていない

    print(f.readline()) # => テスト1 1行読み込み
    print(f.readlines()) # => ['テスト2\n', 'テスト3'] 行の配列で読み込み

    f.close()
    print(f.closed) # => True ストリームクローズ

バッファ付きのストリームによるテキストの書き込みと読み込み

with io.FileIO('./sampl_b2.txt', 'w') as f, io.TextIOWrapper(f,encoding='utf-8') as tw:
    tw.write('あいうえお')

with io.FileIO('./sampl_b2.txt', 'r') as f, io.TextIOWrapper(f,encoding='utf-8') as tw:
    print(tw.read()) # => うえ

インメモリーのテキストストリーム

with io.StringIO() as f:
    f.write('テスト\n')
    print(123, file=f)
    print(f.getvalue())
    # テスト
    # 123

バイナリ I/O

バイト列によるバイナリの書き込み

with open('./sampl_b.txt', 'wb') as f:
    f.write(b'xyz')

バイト列によるバイナリの読み込み

with open('./sampl_b.txt', 'rb') as f:
    f.read()

io.FileIOによるバイナリの書き込みと読み込み

with io.FileIO('./sampl_b.txt', 'w') as f:
    f.write(b'xyz')

with io.FileIO('./sampl_b.txt', 'r') as f:
    print(f.read()) # => b'xyz'

バッファ付きのストリームによるバイナリの書き込みと読み込み

with io.FileIO('./sampl_b.txt', 'wb') as f,io.BufferedWriter(f) as bw:
    bw.write(b'112233')

with io.FileIO('./sampl_b.txt', 'rb') as f,io.BufferedReader(f) as br:
    print(br.read()) # => b'112233'

インメモリのストリーム

with io.BytesIO(b"abc") as f:
    print(f.read()) #=> b'abc'

参考

Python 標準ライブラリ os OS依存の機能

2021-08-19T01:45:20+09:00

ライブラリosを使うと環境に依存した情報の取得やファイルを操作を行うことができます。

OSの環境変数

os.environ
# => 
# environ{'ALLUSERSPROFILE': 'C:\\ProgramData',
#        'APPDATA': 'C:\\Users\\name\\AppData\\Roaming',
#       …
# }

os.environ['OS']
# => 'Windows_NT'

特定の環境変数はgetenvで取得できる。
第2引数は変数が設定されていない場合のデフォルト値。

os.getenv('OSXXX', 'Linux') # => Linux
os.getenv('OS', 'Linux') # => Windows_NT

ディレクトリの移動

os.getcwd() # => 'c:\\home'
os.chdir('./test')
os.getcwd() # => 'c:\\home\\test'

実行パス

os.get_exec_path()

ログインユーザー

os.getlogin()

ディレクトリの探索

scandir(path='.')で指定したディレクトリ以下の探索を行える。

for o in os.scandir():
    print(o.name) # ファイル名
    print(o.path) # パス
    print(o.inode()) # inode番号
    print(o.is_dir()) # ディレクトリか
    print(o.is_file()) # ファイルか
    print(o.is_symlink()) # シンボリックリンクか
    print(o.stat()) # ファイル情報

ディレクトリ、ファイルの操作・コピー

# ディレクトリの作成
os.mkdir('./testdir/')
os.makedirs('./sub/test/dir/')

# 名称変更
os.rename('./testdir/','./testdir2/')
os.renames('./testdir2/', './testdir4/test/dir')

# ディレクト削除
os.rmdir('./testdir4/test/dir')
os.removedirs('./sub/test/dir/')

# ファイル削除
os.remove('./test.txt')

参考

Python 標準ライブラリ secrets セキュリティ用途の乱数

2021-08-12T00:48:21+09:00

ライブラリsecretsを使うと、セキュリティトークンや認証で使うための強度のある乱数を生成できます。

ランダムな要素の選択

import secrets

secrets.choice([1,2,3]) # => 1

ランダムな整数値

secrets.randbelow(3) # => 3未満のランダムな整数

secrets.randbits(8) # => ランダムな8ビット整数

トークン

# バイト文字列
secrets.token_bytes(8) # => b'\xe9\xc8w\x8cDZ\xf2:'

# 16進数文字列
secrets.token_hex(8) # => 5b0aa697f5c9bd2d

# URLで使えるBASE64エンコード済みの文字列
secrets.token_urlsafe(8) # => '-hCSkNaBmfA'

参考

Python 標準ライブラリ hmac HMACアルゴリズムのハッシュ

2021-08-12T00:47:48+09:00

HMACアルゴリズムのハッシュはライブリhmacで計算できます。

ダイジェスト値の計算は`sha256

hmac.digest(key, msg, digest)

import hmac

hmac.digest(b'key', b'test', 'MD5')
# => b"\x1dJ'C\xc0V\xe4g\xff?\t\xc9\xaf1\xde~"

new(key, msg=None, digestmod='')でhmacのインスタンを取得し、
updateでメッセージを指定してから、digest()で計算しても同じ結果を取得できる。

md5 = hmac.new(b'key', digestmod='MD5')
md5.update(b'test')
md5.digest()
# => b"\x1dJ'C\xc0V\xe4g\xff?\t\xc9\xaf1\xde~"

メッセージの指定はupdateで分けて行うこともできる。

md5 = hmac.new(b'key', digestmod='MD5')
md5.update(b'te')
md5.update(b'st')
md5.digest()
# => b"\x1dJ'C\xc0V\xe4g\xff?\t\xc9\xaf1\xde~"

ハッシュの情報

md5 = hmac.new(b'key', digestmod='MD5')
md5.update(b'test')
md5.hexdigest() # => ダイジェスト値16進数文字列 1d4a2743c056e467ff3f09c9af31de7e
md5.digest_size # => HMAC ダイジェストのバイト数 16
md5.block_size # => ハッシュアルゴリズムのブロックのバイト数 64
md5.name # => アルゴリズムの名称 'hmac-md5'

参考

Python 標準ライブラリ hashlib ハッシュアルゴリズム

2021-08-12T00:47:14+09:00

ライブラリhashlibを使うと種々のアルゴリズムでハッシュの計算を行えます。

ダイジェスト値計算

ダイジェスト値の計算はsha256()やmd5()等のアルゴリズムを示すコンストラクタにデータを指定し、
digest()、hexdigest()を呼び出す事で行える。

digest()はバイト列、hexdigest()は16進数文字列を返却する。

import hashlib

hashlib.sha256(b'test').digest()
# => b'\x9f\x86\xd0\x81\x88L}e\x9a/\xea\xa0\xc5Z\xd0\x15\xa3\xbfO\x1b+\x0b\x82,\xd1]l\x15\xb0\xf0\n\x08'
hashlib.sha256(b'test').hexdigest() 
# => '9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08'

アルゴリズムの指定はhashlib.new(name, [data, ]*, usedforsecurity=True)
でnameにアルゴリズムの名称を渡すことでも行える。

hashlib.new('sha256',b'test').digest()
# => b'\x9f\x86\xd0\x81\x88L}e\x9a/\xea\xa0\xc5Z\xd0\x15\xa3\xbfO\x1b+\x0b\x82,\xd1]l\x15\xb0\xf0\n\x08'
hashlib.new('sha256',b'test').hexdigest()
# => '9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08'

データはupdate(data)で設定できる。

sha = hashlib.sha256()
sha.update(b'test')
sha.digest() # => b'\x9f\x86\xd0\x81\x88L}e\x9a/\xea\xa0\xc5Z\xd0\x15\xa3\xbfO\x1b+\x0b\x82,\xd1]l\x15\xb0\xf0\n\x08'
sha.hexdigest() #=> '9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08'

updateはバイト列を分けて指定することもできる。

sha = hashlib.new('sha256')
sha.update(b'te')
sha.update(b'st')
sha.digest() # => b'\x9f\x86\xd0\x81\x88L}e\x9a/\xea\xa0\xc5Z\xd0\x15\xa3\xbfO\x1b+\x0b\x82,\xd1]l\x15\xb0\xf0\n\x08'
sha.hexdigest() #=> '9f86d081884c7d659a2feaa0c55ad015a3bf4f1b2b0b822cd15d6c15b0f00a08'

ハッシュのアルゴリズム

hashlib.algorithms_guaranteed

すべてのプラットフォームでサポートされるハッシュのアルゴリズム名のリスト。

hashlib.algorithms_guaranteed

{'blake2b',
 'blake2s',
 'md4',
 'md5',
 'md5-sha1',
 …
 'whirlpool'}

hashlib.algorithms_available

実行中の環境で利用可能なハッシュのアルゴリズム名のリスト。

hashlib.algorithms_available

{'blake2b',
 'blake2s',
 'md5',
 …
 'shake_256'}

ハッシュオブジェクトのプロパティ、関数

algorithms = [hashlib.new(x) for x in hashlib.algorithms_available]
for algorithm in algorithms:
    algorithm.update(b'test')
    print(algorithm.name) # ハッシュの正規名
    print(algorithm.digest_size) # 生成されたハッシュのバイト数
    print(algorithm.block_size) # ハッシュアルゴリズムのブロックのバイト数

    if algorithm.name.startswith('shake'):
        print(algorithm.digest(10)) # ダイジェスト値
        print(algorithm.hexdigest(10)) # 16進数文字列
    else:
        print(algorithm.digest()) # ダイジェスト値
        print(algorithm.hexdigest()) # 16進数文字列

shake_128()、shake_256()のダイジェスト値は長さの指定をして取得する。

参考

Python 標準ライブラリ glob パスのパターンマッチ

2021-08-12T00:46:45+09:00

ライブラリglobを使うとパスのパターンマッチを行うことができる。

ファイルの準備

import pathlib

pathlib.Path("./test/sample1.txt").touch()
pathlib.Path("./test/sample2.txt").touch()
pathlib.Path("./test/sampleA.txt").touch()

パターンにマッチするパスの取得

glob.glob(pathname, *, recursive=False)

import glob

list(glob.glob('./test/sample[0-9].txt'))
# => ['./test\\sample1.txt', './test\\sample2.txt']

イテレータでのマッチしたパスの取得

for name in glob.iglob('./test/*.*'):
    print(name)
    # ./test\sample1.txt
    # ./test\sample2.txt
    # ./test\sampleA.txt