「Python3」の記事 - Crieit

ChromeとChromeDriverのバージョン違いによるエラー

2020-10-07T16:56:24+09:00

初めての記事投稿（ポエム以外で）です

概要

Seleniumを使ってスクレイピングをしています。
プログラムが動いてない…と思ったらChromeが自動更新されていてCromeDriverとバージョンが合わなくなっていたからだったという話です（つい1時間前までは動いてたのに…）コードはお見せできませんが、備忘録的に記しておきます。

$ python3 sc.py
（中略）
selenium.common.exceptions.SessionNotCreatedException: Message: 
session not created: This version of ChromeDriver only supports Chrome version 84

# バイナリでインストールしたChromeDriver
$ chromedriver --version
ChromeDriver 84.0.4147.30

# 現在のChrome
$ google-chrome --version
Google Chrome 86.0.4240.75

# ChromeDriverのインストール
$ pip install chromedriver-binary==86.0.4240.22
Successfully installed chromedriver-binary-86.0.4240.22.0

今回はChromeDriverをpipでインストールしたので、プログラム（scr.py）に
import chromedriver_binaryを追記

driver = webdriver.Chrome(options=options, executable_path=r'/usr/local/bin/chromedriver')
のexecutable_path以降を削除

参考

ChromeDriverのインストール

[selenium向け] ChromeDriverをpipでインストールする方法（パス通し不要、バージョン指定可能）
ChromeDriver

Downloads - ChromeDriver - WebDriver for Chrome

requirements.txtの自動生成〜Pythonスクリプトから依存パッケージを抽出する〜

2020-02-25T01:17:50+09:00

この記事の概要

dephell コマンドを使うと Python パッケージの依存関係記述ファイルの相互変換ができる
- setup.py から requirements.txt を作るとか
プロジェクトの Python パッケージの import を読み取って適切なフォーマットに変換できる
依存関係が掲載されていないプロジェクトでも使えるのでオススメ

はじめに

データの前処理や可視化はどうやったの？みたいな話で Jupyter Notebook が残っているけど、特に requirements.txt とか setup.py が残ってない、みたいなケースがままあると思います。

もはや依存関係のバージョンの同定は不可能ですし、ほとんどの場合システムに組み込むとかしないので「動けばいい（再現すればいい）」のですが、そもそも動かすために依存するライブラリの一覧を作るのが一苦労です。ノートブックを開いて¹、import 文からサードパーティのライブラリを特定して、requirements.txt を作る単純作業になります。

そんなつまらない作業、自動化したいよな〜思うことでしょう。そんなときに使えるのがDepHellです。下記 1 コマンドだけで、スクリプトの import 文から requirements.txt を作ってくれます。

$ dephell deps convert --from=imports --to=requirements.txt

実施手順

下記プロジェクトを例に説明します。

515hikaru/create-requirement-from-imports

上記リポジトリにはサンプルとして僕がなんとなく書いたノートブックが置いてあります。このサンプルでは下記のように import をしています。

先頭のセルで pandas の import
関数内で matplotlib の import（動的インポート）
ノートの後半で PyTorch(torch)と sklearn の import

もちろん（？）プロジェクトには requirements.txt もなんにもありません。この状態から、requirements.txt を作ります。

いざ変換

変換する前に、Python のパッケージであることを示すために __init__.py を置く必要があります。

$ touch notebook/__init__.py

あとは変換コマンドを実行するだけです。

$ dephell deps convert --from imports --to requirements.txt
$ cat requirements.txt
matplotlib
pandas
scikit-learn
torch

ノートブックに登場していたすべての外部パッケージがリストアップされました。

あとはバージョンを固定するなり、このままリポジトリに add するなり、好きにしましょう。

終わりに

サンプルはたった 4 つだったので手動でやってもたかが知れていますが、実際の現場では複数のモジュールを使っていたりしてあとから全容を把握するのは結構大変ということはあると思います。

DepHell が依存関係の記述の一助になれば幸いです。

ほとんどの場合、ノートは 1 つではなく複数でしょう。 ↩︎
https://github.com/dephell/dephell/issues/343 ↩︎

CLIツールを簡単に作れるフレームワークを作ったよ！

2019-10-26T22:52:42+09:00

PythonでCLIツールを簡単に作れるようになるフレームワークを作ってみました！

argparseって正直使いにくくないですか？
groomなら、実質関数を1つ定義するだけでコマンドラインツールを作成できます。

簡単に使ってみる

さて、早速使ってみましょう。
2つの数を取って、四則演算するコマンドラインツールを作ってみます。

import sys
from groom import positional, optional, Dispatcher

__version__ = '1.0'

def calculate(
    num1: positional(float, "former number", required=True, var_name='N1'),
    num2: positional(float, "latter number", required=True, var_name='N2'),
    operator: optional(str, "operator name", short_name='op')='add'):
  if operator == 'add':
    print(num1 + num2)
    return
  if operator == 'sub':
    print(num1 - num2)
    return
  if operator == 'mul':
    print(num1 * num2)
    return
  if operator == 'div':
    print(num1 / num2)
    return
  print("unknown operator:", operator, file=sys.stderr)

if __name__ == '__main__':
  Dispatcher(
    calculate,
    "calculate one of four arithmetic operations"
  ).dispatch()

これだけで、ヘルプの表示やコマンドライン引数の処理までができます。
生成されたヘルプメッセージはこんな感じ。

calc.py: 1.0

calculate one of four arithmetic operations

Usage:
  calc.py [-v | --version | -h | --help]
  calc.py params...

positional parameters:
N1:
  former number
  type: float
  required: True
N1:
  latter number
  type: float
  required: True

parameters:
--operator, -op:
  operator name
  type: str
  required: False
  multiple values: False
  default: add

どうでしょうか？かなり簡単になっているのではないかと思います。
ヘルプメッセージの改善に関しては鋭意取り組み中ですので、少々お待ち頂けたらw

追記 2019/10/27

groom==0.0.3a1で、ヘルプメッセージを少し改善しました。現在はこのようになります。

calc.py: 1.0

calculate one of four arithmetic operations

Usage:
  calc.py [-v | --version | -h | --help]
  calc.py  
    [--operator  | -op ]

positional parameters:
N1:
  former number
  type: float
  required: True
N2:
  latter number
  type: float
  required: True

parameters:
--operator, -op:
  operator name
  type: str
  required: False
  multiple values: False
  default: add

一応サブコマンドにも対応していまして、以下のようにすれば可能です。が、こちらも鋭意改善中です。

d = Dispatcher(func, "desc")
d.add_subcommand(
  "sub-command",
  Dispatcher(subfunc, "subdesc"))

このプロジェクトのGitHubのリポジトリはhttps://github.com/frodo821/groomです。issueやpull requestなど、どんどんお寄せいただけたら凄く嬉しいです。よろしくお願いします。

TSVで定義した辞書をMarkdownで出力するツールを作った話

2019-09-10T20:49:01+09:00

TL;DR

電子辞書が欲しくなったので作ることにしました。今回の要件は、品詞別の索引と全単語の索引、先頭の文字ごとの詳細解説があることです。

そこで辞書本体をmarkdownで書くことにしたのですが、ちまちま手で書くのは面倒くさい。なのでTSVを読み込んでmarkdownを吐くジェネレータを簡単に書いてみることにしました。

TSVに格納する辞書の形式を考えてみた

TSVとは言いつつ、純粋なTSVは使っていません。まずは辞書のヘッダ部分です。

BEGIN_HEADER            
LANGUAGE_LONG   Language Name       
LANGUAGE_CODE   LC(注1)      
PHONETICAL_CHARS    頭文字になりうる文字の列挙(注2)       
END_HEADER

注1 これは2～3文字の言語コードです。ja, enなど
注2 スペース区切りで列挙します。a b c d e f g h i j k l m n o p q r s t u v w x y zのように

続いて、辞書の本体を考えてみました。

BEGIN_DICTIONARY            
単語  品詞ID(注1)    意味  関連語(注2)
END_DICTIONARY

注1 品詞IDは任意の文字列です。
注2 関連語はスペース区切りで列挙します。study learnのように
単語は任意個この形式で列挙します。

最後に、品詞の定義です。

BEGIN_DEFINITION            
品詞ID    品詞の名称       
END_DEFINITION

このフィールドでは、DICTIONARYフィールド内で使用した品詞IDとその名称の対応(NOUNと名詞のような)を定義します。

パーサーをざっくり書いてみる

さて、このパーサーをざっくり書いてみました。

import csv

class ParseError(SyntaxError):
  pass

def open_dict(dic_path: str) -> list:
  with open(dic_path, encoding='utf-8') as f:
    reader = csv.reader(f, delimiter='\t')
    return list(reader)

def parse_dict(dic: list) -> dict:
  ret = {}
  state = 'none'
  for i in dic:
    if i[0] == 'BEGIN_HEADER':
      if state != 'none':
        raise ParseError('Unexpected BEGIN_HEADER tag.')

      state = 'header'
      ret['header'] = {}
      continue

    if i[0] == 'END_HEADER':
      if state != 'header':
        raise ParseError('Unexpected END_HEADER tag.')

      state = 'none'
      continue

    if i[0] == 'BEGIN_DICTIONARY':
      if state != 'none':
        raise ParseError('Unexpected BEGIN_DICTIONARY tag.')

      state = 'dictionary'
      ret['dict'] = {}
      continue

    if i[0] == 'END_DICTIONARY':
      if state != 'dictionary':
        raise ParseError('Unexpected END_DICTIONARY tag.')

      state = 'none'
      continue

    if i[0] == 'BEGIN_DEFINITION':
      if state != 'none':
        raise ParseError('Unexpected BEGIN_DEFINITION tag.')

      state = 'definition'
      ret['defs'] = {}
      continue

    if i[0] == 'END_DEFINITION':
      if state != 'definition':
        raise ParseError('Unexpected END_DEFINITION tag.')

      state = 'none'
      continue

    if state == 'none':
      continue

    if state == 'header':
      ret['header'][i[0]] = i[1]
      continue

    if state == 'dictionary':
      if i[0] not in ret['dict']:
        ret['dict'][i[0]] = {}
      ret['dict'][i[0]][i[1]] = {
        'meaning': i[2],
        'reference': i[3].split(' ')
      }
      continue

    if state == 'definition':
      ret['defs'][i[0]] = i[1]

  if state != 'none':
    raise ParseError(f'A match pair tag of END_{state.upper()} not found.')

  return ret

まぁ、本当に簡単に書いているので、解説することもほとんどないんですけれど……。ざっくり説明すると、tsvを読み込んで2次元配列に格納し、それを先ほど定義したフォーマットに従って辞書に格納しなおしているだけです。

次に、この生成した辞書から索引情報を抽出する関数を定義してみます。

def get_comparator(_order):
  class _Comparator(str):
    def __gt__(self, other):
      order = list(_order)
      for s, o in zip(self, other):
        oi = order.index(o)
        si = order.index(s)
        if oi > si:
          return True
        if si > oi:
          return False
      return len(self) > len(other)

    def __lt__(self, other):
      order = list(_order)
      for s, o in zip(self, other):
        oi = order.index(o)
        si = order.index(s)
        if oi < si:
          return True
        if si < oi:
          return False
      return len(self) < len(other)
  return _Comparator

def generate_indices(dic: dict):
  chars = dic['header'].get(
    'PHONETICAL_CHARS',
    'a b c d e f g h i j k l m n o p q r s t u v w x y z').split(' ')
  nodes = {i: {c: [] for c in chars} for i in dic['defs']}
  nodes['ALPHABETICAL'] = {c: [] for c in chars}
  comp = get_comparator(''.join(chars))

  for word, data in dic['dict'].items():
    nodes['ALPHABETICAL'][word[0]].append(word)
    for kind in data:
      nodes[kind][word[0]].append(word)

  for i in nodes.values():
    for j in i.values(): 
      j.sort(key=comp)

  return nodes

get_comparator関数は、PHONETICAL_CHARSヘッダフィールドで定義された辞書順に従って文字列を比較できるようにするラッパークラスを返す関数です。品詞ごとに単語の頭の文字の配列を作り、そこに単語のみを格納しているだけですね。ALPHABETICALは全単語索引の情報で、定義されたすべての単語が登録されています。

次に意味情報と関連語情報を抽出する関数を定義します。

def generate_dict_content(dic: dict):
  chars = dic['header'].get(
    'PHONETICAL_CHARS',
    'a b c d e f g h i j k l m n o p q r s t u v w x y z').split(' ')
  defs = dic['defs']
  contents = {i: [] for i in chars}
  comp = get_comparator(''.join(chars))

  for word, data in dic['dict'].items():
    contents[word[0]].append({
      'surface': word,
      'meaning': [
        (kind, meta['meaning'].split(' '))
        for kind, meta in data.items()
      ],
      'reference': [ref for d in data.values() for ref in d['reference']]
    })
  for c in contents.values():
    c.sort(key=lambda x: comp(x['surface']))
  return contents

この関数についての解説は、generate_indices関数とほぼ同じ動作のため割愛します。

これでTSVから単語情報を抽出する関数がそろいました。次はこれをmarkdownとして出力する関数を作っていきます。

抽出した情報をMarkdownにしてみる

索引を生成する関数を考えてみました。こんな感じです。

def generate_index_file(kind: str, defs: dict, index: list):
  ret = f"# {defs[kind]}\n"

  if kind == 'ALPHABETICAL':
    ret += "\n## 品詞別インデックス\n"
    for fp, kd in defs.items():
      if fp != 'ALPHABETICAL':
        ret += f"* [{kd}](./{fp.lower()}.md)\n"

  for representative, content in index.items():
    ret += f"\n## {representative.upper()}\n"
    for word in content:
      ret += f"* [{word}](./content/{word[0].upper()}.md#{word})\n"
  return ret

すごいシンプルにかけて満足しています。あまりPythnoicではないと思いますが、そこは気にしないことにします。あと、ALPHABETICALのページに品詞別インデックスへのリンクを表示することにしました。引数の意味ですが、kindは品詞ID、defsは品詞の定義、indexには単語のリストを渡します。

続いて、単語の解説ページを生成する関数を考えてみました。

def generate_content_file(representative: str, words: list, defs: dict):
  ret = f"# {representative.upper()}\n"
  for word in words:
    ret += f"\n## {word['surface']}\n"
    ret += "意味:  \n"
    for i, (k, m) in enumerate(word['meaning']):
      ret += f"{i + 1}. <{defs[k]}>  \n"
      for ml in m:
        ret += f"  {ml}  \n"
    refs = [i for i in word['reference'] if i]
    if refs:
      ret += "\n関連語:  \n"
      for ref in refs:
        ret += f"* [{ref}](./{ref[0].upper()}.md#{ref})\n"
  return ret

引数の意味ですが、representativeは代表の文字(ようするにそのページの単語に共通の頭文字)、wordsは単語とそのメタ情報、defsは品詞の定義をとります。

さて、最後にこれらの関数の動作を連結する関数を書きましょう。それで完成です。

def generate_markdown_files(dic: dict):
  indices = generate_indices(dic)
  content = generate_dict_content(dic)
  chars = dic['header'].get(
    'PHONETICAL_CHARS',
    'a b c d e f g h i j k l m n o p q r s t u v w x y z').split(' ')
  defs = dic['defs'].copy()
  defs['ALPHABETICAL'] = "全単語索引"

  return {
    'content': {
      i: generate_content_file(i, content[i], defs) for i in chars
    },
    'indices': {
      ('index'
       if i == 'ALPHABETICAL'
       else i.lower()): generate_index_file(i, defs, content)
      for i, content in indices.items()
    }
  }

この関数はparseされたTSVをmarkdown形式の文字列に変換する関数です。ここまでに定義した関数を連結して整形された形にするのが役割ですね。

さて、これをファイルにdumpする関数を書いて、それで本当に完成です。

def dump_markdown(dic_path: str, dump_dir: dir):
  dic_path = abspath(dic_path)
  dump_dir = abspath(dump_dir)
  files = generate_markdown_files(parse_dict(open_dict(dic_path)))

  print('generating indices...')
  for rep, con in files['indices'].items():
    path = join(dump_dir, f'{rep}.md')
    d = dirname(path)
    if not exists(d):
      md(d)
    print(f'writing file: {path}')
    with open(path, 'w', encoding='utf-8') as f:
      f.write(con)

  print('generating content...')
  for rep, con in files['content'].items():
    path = join(dump_dir, 'content', f'{rep.upper()}.md')
    d = dirname(path)
    if not exists(d):
      md(d)
    print(f'writing file: {path}')
    with open(path, 'w', encoding='utf-8') as f:
      f.write(con)

  print('done.')

この関数は、コンソールコマンドとして実行されることを想定したものになっています。

最後に、ここまで書いたスクリプトの全体を示しておきます。

#-*- coding: utf-8;-*-

from os import makedirs as md
from os.path import join, exists, dirname, abspath
import csv

class ParseError(SyntaxError):
  pass

def get_comparator(_order):
  class _Comparator(str):
    def __gt__(self, other):
      order = list(_order)
      for s, o in zip(self, other):
        oi = order.index(o)
        si = order.index(s)
        if oi > si:
          return True
        if si > oi:
          return False
      return len(self) > len(other)
    def __lt__(self, other):
      order = list(_order)
      for s, o in zip(self, other):
        oi = order.index(o)
        si = order.index(s)
        if oi < si:
          return True
        if si < oi:
          return False
      return len(self) < len(other)
  return _Comparator

def open_dict(dic_path: str) -> list:
  with open(dic_path, encoding='utf-8') as f:
    reader = csv.reader(f, delimiter='\t')
    return list(reader)

def parse_dict(dic: list) -> dict:
  ret = {}
  state = 'none'
  for i in dic:
    if i[0] == 'BEGIN_HEADER':
      if state != 'none':
        raise ParseError('Unexpected BEGIN_HEADER tag.')

      state = 'header'
      ret['header'] = {}
      continue

    if i[0] == 'END_HEADER':
      if state != 'header':
        raise ParseError('Unexpected END_HEADER tag.')

      state = 'none'
      continue

    if i[0] == 'BEGIN_DICTIONARY':
      if state != 'none':
        raise ParseError('Unexpected BEGIN_DICTIONARY tag.')

      state = 'dictionary'
      ret['dict'] = {}
      continue

    if i[0] == 'END_DICTIONARY':
      if state != 'dictionary':
        raise ParseError('Unexpected END_DICTIONARY tag.')

      state = 'none'
      continue

    if i[0] == 'BEGIN_DEFINITION':
      if state != 'none':
        raise ParseError('Unexpected BEGIN_DEFINITION tag.')

      state = 'definition'
      ret['defs'] = {}
      continue

    if i[0] == 'END_DEFINITION':
      if state != 'definition':
        raise ParseError('Unexpected END_DEFINITION tag.')

      state = 'none'
      continue

    if state == 'none':
      continue

    if state == 'header':
      ret['header'][i[0]] = i[1]
      continue

    if state == 'dictionary':
      if i[0] not in ret['dict']:
        ret['dict'][i[0]] = {}
      ret['dict'][i[0]][i[1]] = {
        'meaning': i[2],
        'reference': i[3].split(' ')
      }
      continue

    if state == 'definition':
      ret['defs'][i[0]] = i[1]

  if state != 'none':
    raise ParseError(f'A match pair tag of END_{state.upper()} not found.')

  return ret

def generate_indices(dic: dict):
  chars = dic['header'].get(
    'PHONETICAL_CHARS',
    'a b c d e f g h i j k l m n o p q r s t u v w x y z').split(' ')
  nodes = {i: {c: [] for c in chars} for i in dic['defs']}
  nodes['ALPHABETICAL'] = {c: [] for c in chars}
  comp = get_comparator(''.join(chars))

  for word, data in dic['dict'].items():
    nodes['ALPHABETICAL'][word[0]].append(word)
    for kind in data:
      nodes[kind][word[0]].append(word)

  for i in nodes.values():
    for j in i.values(): 
      j.sort(key=comp)

  return nodes

def generate_dict_content(dic: dict):
  chars = dic['header'].get(
    'PHONETICAL_CHARS',
    'a b c d e f g h i j k l m n o p q r s t u v w x y z').split(' ')
  defs = dic['defs']
  contents = {i: [] for i in chars}
  comp = get_comparator(''.join(chars))

  for word, data in dic['dict'].items():
    contents[word[0]].append({
      'surface': word,
      'meaning': [
        (kind, meta['meaning'].split(' '))
        for kind, meta in data.items()
      ],
      'reference': [ref for d in data.values() for ref in d['reference']]
    })
  for c in contents.values():
    c.sort(key=lambda x: comp(x['surface']))
  return contents

def generate_content_file(representative: str, words: list, defs: dict):
  ret = f"# {representative.upper()}\n"
  for word in words:
    ret += f"\n## {word['surface']}\n"
    ret += "意味:  \n"
    for i, (k, m) in enumerate(word['meaning']):
      ret += f"{i + 1}. <{defs[k]}>  \n"
      for ml in m:
        ret += f"  {ml}  \n"
    refs = [i for i in word['reference'] if i]
    if refs:
      ret += "\n関連語:  \n"
      for ref in refs:
        ret += f"* [{ref}](./{ref[0].upper()}.md#{ref})\n"
  return ret

def generate_index_file(kind: str, defs: dict, index: list):
  ret = f"# {defs[kind]}\n"

  if kind == 'ALPHABETICAL':
    ret += "\n## 品詞別インデックス\n"
    for fp, kd in defs.items():
      if fp != 'ALPHABETICAL':
        ret += f"* [{kd}](./{fp.lower()}.md)\n"

  for representative, content in index.items():
    ret += f"\n## {representative.upper()}\n"
    for word in content:
      ret += f"* [{word}](./content/{word[0].upper()}.md#{word})\n"
  return ret

def generate_markdown_files(dic: dict):
  indices = generate_indices(dic)
  content = generate_dict_content(dic)
  chars = dic['header'].get(
    'PHONETICAL_CHARS',
    'a b c d e f g h i j k l m n o p q r s t u v w x y z').split(' ')
  defs = dic['defs'].copy()
  defs['ALPHABETICAL'] = "全単語索引"

  return {
    'content': {
      i: generate_content_file(i, content[i], defs) for i in chars
    },
    'indices': {
      ('index'
       if i == 'ALPHABETICAL'
       else i.lower()): generate_index_file(i, defs, content)
      for i, content in indices.items()
    }
  }

def dump_markdown(dic_path: str, dump_dir: dir):
  dic_path = abspath(dic_path)
  dump_dir = abspath(dump_dir)
  files = generate_markdown_files(parse_dict(open_dict(dic_path)))

  print('generating indices...')
  for rep, con in files['indices'].items():
    path = join(dump_dir, f'{rep}.md')
    d = dirname(path)
    if not exists(d):
      md(d)
    print(f'writing file: {path}')
    with open(path, 'w', encoding='utf-8') as f:
      f.write(con)

  print('generating content...')
  for rep, con in files['content'].items():
    path = join(dump_dir, 'content', f'{rep.upper()}.md')
    d = dirname(path)
    if not exists(d):
      md(d)
    print(f'writing file: {path}')
    with open(path, 'w', encoding='utf-8') as f:
      f.write(con)

  print('done.')

if __name__ == '__main__':
  from sys import argv
  dump_markdown(argv[1], argv[2])

はー。疲れました。はい、これでおそらくどの方面にも需要がないツールの完成です。「欲しかったから作った」の真骨頂ですね。最後までお付き合いいただき、ありがとうございました。

Pythonで競プロ｜ABC129A｜

2019-06-10T07:45:51+09:00

今回は、AtCoder Beginner Contest 129A
を解いていきたいと思います。

問題文

空港 A, B, C があり、それぞれの空港の間では、双方向に飛行機が運航しています。
空港 A, B 間の飛行時間は片道P時間、空港 B, C 間の飛行時間は片道Q時間、空港 C, A 間の飛行時間は、片道 R時間です。
いずれかの空港からスタートして他の空港に飛行機で移動し、さらにそのどちらでもない空港に飛行機で移動するような経路を考えます。
飛行時間の和は最短で何時間になるでしょうか。

こう考えた

P、Q、Rをから2つを選択しそれぞれを加算する。
それらをリストに格納しmin()で出力する。

実装したコード

P,Q,R=map(int,input().split())
print(min(P+Q,Q+R,P+R))

勉強になったコード

print(sum(sorted(map(int,input().split()))[:2]))

map(int,input().split()ですべての入力を受けて
sorted()で小さい順番に並べ替えます。
[:2]で小さい順番から2つを引っ張ってきて
sum()で合計をだしてprint()で出力します。

sort()とsorted()の違い

リスト型のメソッドsort(): 元のリストをソート
組み込み関数sorted(): ソートした新たなリストを生成

🐍いきなりsortedで並び替える発想無かった。

DiscordからSplatoon2の情報を取得できるbotを作った

2019-05-23T17:55:31+09:00

DiscordからSplatoon2の情報を取得できるbotを作った

どんなbot？

botがいるサーバーで
「ナワバリ」とコメントすると現在のステージ2つが返ってきます。
「ガチ」or 「リーグ」とコメントすると現在のステージ2つとルールが返って来ます。
「サーモンラン」とコメントすると現在のステージと使用可能な武器が返ってきます。

他にも機能があるのですが長くなるので気になる方は下記リンク先の説明を読んでください。
イカボット

なんで作ったの？

友人との会話の流れで作ることになった。
他の方が作ったbotが既にあったが対応しているコマンドが覚えにくかったらしい。
- 「ガチ」「リーグ」「ガチマ」「リグマ」「バイト」とかいろんな表現で情報を取得したい
- 他にも情報を取得したい

とかそんな理由で開発がスタートした。

開発・実行環境

言語とライブラリ

PythonからDiscordにアクセスできるdiscord.pyというライブラリが既に公開されていたのでそれを使用した。
開発当時はPython3.7に対応していなかったのでPythonのバージョンは3.6で開発した。

Splatoon2の情報の取得元

下記サイトでSplatoon2のステージ情報を取得できるAPIを公開している方がいたため、ありがたく使わせていただきました。
Spla2 API

大量のアクセスを行わないように + 高速化のためスケジュール更新があるまではキャッシュしたデータをもとにステージ情報などを返すようにしている。

実行環境

GCPで仮想サーバーを立ててSupervisorでデーモン化した。

参考にした記事↓
SupervisorでPythonのWebアプリをデーモン化する

開発中の苦労

Pythonをまともに書いたことがなかったので慣れるまでは開発スピードが遅かった。
特に普段は型ありの言語しか書かないので、型が違うエラーが実行時にしかわからないのが苦労した。

SQLAlchemy の Declarative API を使ってハマった事

2019-04-05T22:33:52+09:00

Python3 + Bottle + Jinja2 + SQLAlchemy で Web サービスを作っているのですが、SQLAlchemy の Declarative API を使い始めた時にちょっとした失敗をやらかしましたので、この辺りで供養しておきます。

以下は SQLAlchemy の Declarative API を使って User クラス(users テーブル) を定義し、テーブルを生成するコードです。コードが膨れ上がるのが嫌いなので、User クラスは user.py に、テーブル生成は database.py に書いています。しかし、database.py の create_all() を読んでもテーブルが生成されない、という問題にぶつかりました。

# user.py
from sqlalchemy import Column
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.types import String

Base = declarative_base()

class User(Base):
__tablename__ = "users"
user_id = Column(UUID, primary_key=True)
name = Column(String)
     :

# database.py
from sqlalchemy.ext.declarative import declarative_base
from .user import User

Base = declarative_base()
Base.metadata.create_all(bind=self.engine)
# ここで users テーブルが作られているはずが、作られない

何が問題なのかというと、複数のソースに分けて書いた時の対応がまずかったのです。
ネットでよく見かける Delcarative API のサンプルは同じ py ファイルの中に書いてあるので問題はありません。
上の例の場合、user.py と database.py の双方で declarative_base() を呼び出して基底クラス Base を使用していますが、互いに独立したメタクラスを触っているので、テーブル生成しようにも Users クラスで定義した内容が引き渡されていませんでした。

解決方法としては以下のようになります。declarative_base(0 で生成した Base を引き回すため、独立した base.py を生成し、user.py を database.py の双方から参照するように修正しました。

# base.py
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

# user.py
from .base import Base
from sqlalchemy import Column
from sqlalchemy.types import String

class User(Base):
__tablename__ = "users"
   :

# database.py
from .base import Base
from .user import User

Base.metadata.create_all(bind=self.engine)
# ここで users テーブルが作られる

以上の対応で、無事 users テーブルが生成されるようになりました。よかったよかった。

しかしこの Declarative API 、実に ORM らしい使い方になるのでとても快適ですね。
当初 SQLAlchemy のリファレンスを適当に見ながら書いたものは Reflective Table Object という方法だったようで
クエリの結果がdict(連想配列)で帰ってくるので PHP の MDB を使っていた頃とあまり使い勝手が変わらない感じでしたが、Declarative API だとちゃんとオブジェクトで帰ってくるのでとても良いです。

pandas入門 .head()で先頭から要素を抜き出す

2019-03-03T08:30:14+09:00

データをいろいろ扱いたい

google Colaboratoryは、環境構築不要で色々できるのが魅力です。
スクレイピングで得たデータもPythonでごにょごにょしたい。そういう時はpandasを使うようです。
今回はスクレイピングデータから最初から任意の要素を抜き出します。

元となるデータ

元となるデータはCrieitさんのタイトル一覧です。

from bs4 import BeautifulSoup
import requests
import pandas as pd 

columns = ['title']
df = pd.DataFrame(columns=columns) 

base_url = "https://crieit.net/posts?page="

num = 1
while num <= 1:
 url=base_url+ str(num)
 r = requests.get(url)
 soup = BeautifulSoup(r.text)
 titles =soup.select("h5 a")
 if len(titles) == 0:
  print("これ以上記事はありません")  
  break
 num += 1
 for title in titles:
  se= pd.Series(title.text, columns)
  df = df.append(se, ignore_index=True)
df

.head

.head()を使うことで先頭から5つの要素を抜き出すことが可能です。
任意の数を表示させる場合はdf.head(10)などのように引数を渡します。

出来たコード

試しに６つまで取得するコードを書いています。

from bs4 import BeautifulSoup
import requests
import pandas as pd 

columns = ['title']
df = pd.DataFrame(columns=columns) 

base_url = "https://crieit.net/posts?page="

num = 1
while num <= 1:
 url=base_url+ str(num)
 r = requests.get(url)
 soup = BeautifulSoup(r.text)
 titles =soup.select("h5 a")
 if len(titles) == 0:
  print("これ以上記事はありません")  
  break
 num += 1
 for title in titles:
  se= pd.Series(title.text, columns)
  df = df.append(se, ignore_index=True)
df.head(6)

動くサンプル

Python3

Pythonで文字列を分割したい

2019-02-18T22:33:44+09:00

Pythonで文字列を分割したい

Pythonでスクレイピングをしていると?q=python＆lang=jaとかややこしい文字列に出くわします。
そんな時、文字列を分割したい！と思うことが多々あります。
そこで今回はPythonで文字列を分割するにはそうすればいいかを勉強しました。

Pythonで文字列に数字を変換する方法

split(文字列)を使えば解決！

実際のコード

Pythonのsplit()を行ったサンプルになります。

colors = 'blue-red-yellow'
print(colors.split('-'))

colors = 'blue-red--yellow'

print(colors.split('-'))

colors = 'blue-red--yellow'

print(colors.split('red'))

出力結果

['blue', 'red', 'yellow']
['blue', 'red', '', 'yellow']
['blue-', '--yellow']

--などの場合は空の配列が出来たりします。

動くサンプル

Python3

あけおめからPython

2019-01-01T00:00:27+09:00

皆さんへのメッセージです。

謹賀, 新年=(lambda x:(not x,x))([])
新年.append((謹賀+謹賀)**((謹賀+謹賀)**(謹賀+謹賀+謹賀))-(謹賀+謹賀+謹賀)**(謹賀+謹賀+謹賀)-(謹賀+謹賀))
新年.append((謹賀+謹賀)**((謹賀+謹賀)**(謹賀+謹賀+謹賀)-謹賀)+謹賀)
新年.append(新年[-謹賀]+謹賀)
新年.append(新年[謹賀-謹賀])
新年.append(新年[謹賀])
新年.append(新年[謹賀+謹賀]+((謹賀+謹賀)*(謹賀+謹賀))**(謹賀+謹賀)-謹賀)
新年.append(新年[謹賀-謹賀])
新年.append(新年[謹賀])
新年.append(新年[謹賀+謹賀]+(謹賀+謹賀)**(謹賀+謹賀+謹賀))
新年.append(新年[謹賀-謹賀])
新年.append(新年[謹賀+謹賀])
新年.append(新年[謹賀])
print(bytes(新年).decode('utf-8'))

実行してみましょう。

小ネタは置いといて。

この前、ふとリスト内包表記の中身(ローカル変数空間)が気になったので以下のコードを実行してみました。

[i for i in [0] if print(locals()) or 1]

結果はこうなりました。

{'i': 0, '.0': }

はい、コードの実行フレームが分かれていますね。ところで表示された辞書オブジェクトのキー'.0'って何でしょう？気になったので以下のコードを実行してみました。もし、私の予想が正しければ実行は終了しないはずです。

[i for i in [0] if locals().__setitem__('.0', range(2).__iter__()) or 1]

実際にやってみた結果、[0]が出力されました。どういうことなんでしょう…?
__setitem__をした後にprint(locals())で中身を調べてみます。

[i for i in [0] if locals().__setitem__('.0', range(2).__iter__()) or print(locals()) or 1]

結果はこのようになりました。

{'i': 0, '.0': }

要素を変えることができていません。なぜでしょう? 残念なことにいくつか仮説を立ててみたのですが、そのどれもが間違っていました。

仮説１. ローカル変数空間はループごとに新しく作られている

これは簡単に確かめることができます。

[i for i in [0,1] if print(id(locals())) or 1]

これで表示される数が2つとも等しければ使いまわされていることが証明できます。私が実行した結果はこうなりました。

1711743637328
1711743637328
[0, 1]

はい、一致していますね。異なるオブジェクトのIDが一致することはまずありえませんので、ローカル変数空間は使いまわされていることがわかりました。

仮説 2. '.0'というキーは例外的に書き換えできない

当然なんてことはありませんでした。

>>> x = {}
>>> x['.0'] = 12
>>> x
{'.0': 12}
>>> x['.0'] = 4
>>> x
{'.0': 4}

仮説 3. ローカル名前空間のオブジェクトがdictではない

だんだん投げやりになってきましたね。当然そんなわけなく、dictでした…。

>>> [i for i in [0] if print(type(locals())) or 1]

[0]

とまぁ、こんな感じでPythonサイドからの解明は終ぞできませんでした…。今年はPythonのコードリーディングをしようかと考えています。

リスト内包表記は単体でチューリング完全と聞いたので

リスト内包表記だけでいくつか書いてみました。まずは普通にFizzBuzzから。

# FizzBuzz in list comprehension
[('Fizz' if not i%3 else '')+('Buzz' if not i%5 else '')+(str(i) if i%3 and i%5 else '') for i in range(20)]

続いてはAtCoder Beginners SelectionよりCard Game for Twoを解くプログラム。結構強引ですね。

print(sum(x-y for x, y in zip(*(lambda x:((x.append(0) if len(x)%2 else None),x.sort(reverse=True),(x[::2],x[1::2]))[2])((input(), [int(i) for i in input().split()])[1]))))

正直言うと、自分も難読化以上の意味はないと思いました…。

ですが、いろいろやっているとやはり内包表記のポテンシャルは高いと感じました。あなたもやってみてはいかが？

for文で遊ぶ

for i in range(20):
    print(i)

と同じプログラムをrange関数なしで黒魔術っぽくやってみたいと思います。

for i in (lambda x: (x, x.append(x))[0])([]):
    print(len(i)-1)
    i.append(i)
    if i[20:]:
        i.clear()

循環参照をうまく使ってみました。難読化以上の意味はないです

私からは以上です。皆さん、今年も元気に行きましょう！

【保存版・初心者向け】Python 目的別チュートリアル

2018-11-12T21:28:55+09:00

はじめに

AI Academyを開発・運営しています、サイバーブレイン株式会社代表の谷です。

近年機械学習等で人気のPythonですが、Pythonで出来ることは機械学習以外にも多くあります。
そこで、初学者の方は機械学習以外でPythonで何が出来るのか？また、何から手をつけて行けば目的を達成できるのか？など疑問を持つかと思います。
この記事が多くの方々のお役に立てれば幸いです。

この記事の対象者

・Pythonで何ができるのか知りたい方
・Pythonを使って自身のしたいことを最短ルートで実現したい方

対象ではない方

・普段仕事でPythonを使われている方
・Pythonに興味のない方

なぜPythonなのか

なぜ複数あるプログラミング言語の中で、Pythonをお勧めしているかと言いますと、2つ挙げられます。

まず、PythonはC言語などに比べ、比較的容易に習得しやすく、多くのことができること。

次に、機械学習のライブラリの充実に加え、様々なライブラリが豊富です。
Web開発もできますし、Webスクレイピング、データ分析などなどです。

Pythonでできること

Pythonでできることは、次のようなことが出来ます。

1. Webスクレイピング
2. 機械学習・ディープラーニング・最適化
3. テキストマイニング
4. データ分析
5. 画像認識・画像処理
6. 業務効率化プログラム
7. Webアプリケーション開発 
8. ネットワーク・サイバーセキュリティプログラミング
9. ゲーム開発
10. Androidアプリ開発
11. デスクトップアプリ制作
12. データベース操作
13. 並列化
14. インフラ構築自動化
15. グラフィックス
16. 非同期処理

『11. デスクトップアプリ制作』以降は他のプログラミング言語でもできる事が多いですが、それらを除いてもPython言語1つで、非常に多くのことができることがわかるかと思います。この記事では主に1~10までに関して記述していきます。

Pythonが学べるサイトは？

全くのプログラミング初心者は、Progate(プロゲート)をお勧めします。

既に、Pythonの基本文法が既知であり、Pythonで多くの事を実現できるようになりたい方は次の動画の購入を強くお勧めいたします。

Python 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイルを学び、実践的なアプリ開発の準備をする

最初に挙げた多くのことが網羅されており、大変わかりやすく非常にお勧めです。

また手前味噌ですが、AI Academyも合わせてご利用頂けますと幸いです。他のプログラミング学習サービスとの違いは、受講者の目的に応じてカリキュラムを最適化している点です。

他にも有料サービスとして、PyQやAidemy、動画サービスですと先ほど紹介したUdemyやドットインストールなどがありますので、ご自身にあうサービスを選んで学んで頂けたらと思います。

どのようにPythonを学べば良いか？

先ほど紹介したProgateに加え、AI Academyで、自身の目的にあったコースを選んで頂き進めて頂けたらと思います。
そして、より詳細に学んでいきたい方はこれから紹介する項目からやりたい内容を選び参考にして頂けたらと思います。
それではPythonでできることを1つ1つ詳細に見ていきましょう。

Webスクレイピング

Webスクレイピングとは、Web上からデータを取得することができる技術です。

・毎日発信されるAIに関するニュースをスクレピング
・会員制ECサイトに自動的にログインして、そのサイトでの直近の購入履歴を取得する

これらのことは、Webスクレイピングで実現できます。
PythonでWebスクレイピングするには、seleniumやbeautifulSoupといったライブラリを利用します。

AI Academy Webスクレイピング

・オススメ書籍
Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-

http://amzn.asia/d/6dB1o9K

機械学習

scikit-learnやTensorFlowなどを扱うことで機械学習の主要なアルゴリズムを扱うことが出来ます。
機械学習における必須のライブラリは、NumPy,Pandas,Matplotlib/seaborn/scikit-learnなどがあります。
他にも画像領域ですと、keras,OpenCV,Pillow、テキスト領域ですと、mecabやGensimなども使えるようになると良いです。

AI Academyでは、下記リンクから機械学習のアルゴリズムをscikit-learnを使って、手を動かしながら学ぶことができます。
AI Academy機械学習

勉強方法など詳しくは下記記事をご参考ください。

【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法

テキストマイニング

テキストマイニングとは文字列を対象にしたデータマイニングのことで、文章などの大量のテキストデータから言語解析や統計解析などを活用し、『意味のある情報』を取り出すことでテキストデータの分析手法です。

Pythonのライブラリでは、mecabやgensimなどを使うと実現できます。

SNSの投稿(Twitterのツイートなど)を分析したり、アンケートの分析が可能です。

データ分析

Pythonでデータ分析をしたい場合は、Pandasというライブラリを使います。
また、matplotlibやseabornというライブラリも合わせて使えるとグラフを描画することもできます。

・オススメ書籍
Pythonによるデータ分析入門第2版 ―NumPy、pandasを使ったデータ処理

http://amzn.asia/d/3jlYXKd

画像認識・画像処理

画像認識では、ディープラーニングが扱えるライブラリ(kerasやTensorFlowなど)を使って写真に写っている画像が何かを検出することができます。
AI Academy 画像認識

画像処理をしたい場合は、OpenCVやPillowなどの画像処理ライブラリを使うと実現できます。

業務効率化プログラム

Pythonを使うと、先ほどのスクレイピングを使って、データを自動で収集したり、Excel処理ができたり、たくさんのフォルダを一瞬で作成したり、Twitterのユーザーを自動でフォローしたり、1000人に一括メールを送ったりなど様々なことが出来ます。

これらの内容の一部は、下記書籍で学ぶことが出来ます。

・オススメ書籍
退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング

http://amzn.asia/d/3besjKA

チャトボットで問い合わせ自動化したい場合は、次の動画を購入するのを強くオススメ致します。

挨拶から店舗予約まで！手を動かして学ぶAIチャットボット開発入門

Webアプリケーション開発

Pythonでは、FlaskやDjangoといったライブラリを使うことで、Webアプリケーション開発ができます。

具体的には次のようなことが出来ます。

Djangoを使ったTwitterクローン作成
FlaskとMySQLでToDoアプリを実装しよう
機械学習で花を判定するWebアプリケーションを作ろう！

これら全ては、AI Academy Web開発を元に進めると作ることが出来るようになります。

・オススメ書籍
現場で使える Django の教科書《基礎編》

http://amzn.asia/d/cygNnDN

Androidアプリ開発

Pythonでは、QPythonやKivyを用いることでAndroidのアプリケーションを開発することが可能です。

ですが、本格的なAndroidアプリ開発をされる場合は、JavaやKotlinを使う方が、ネット上に情報量多かったり、多くのAndroidアプリはJavaで開発されているのでPythonではない方が良かったりします。

ゲーム開発

Pythonでゲームを作るライブラリはPygame、KivyやTkinterなどあります。

・オススメ書籍
ゲームを作りながら楽しく学べるPythonプログラミング

http://amzn.asia/d/gni454S

ネットワーク・サイバーセキュリティプログラミング

Scapyを使う事で、パケット生成や送受信が可能です。
（セキュリティ脆弱性診断に特化したKali Linux（カーリーリナックス）にはデフォルトでインストールされていたりします。）

urrlibなどを使う事でGETリクエストなどが可能です。

・オススメ書籍
サイバーセキュリティプログラミング ―Pythonで学ぶハッカーの思考

http://amzn.asia/d/4x7OMN3

その他（人工生命）

ALife(人工生命)」は、「AI(人工知能)」の発展系として、近年改めて注目されつつある分野ですがこの分野の内容は次の書籍などが丁寧です。

・オススメ書籍
作って動かすALife ―実装を通した人工生命モデル理論入門

http://amzn.asia/d/6v46F2O

学習ロードマップ

次の図で、自身がどれに適しているか確認してみてください。

右向き矢印の名称は各ライブラリ名になります。
ライブラリはpipなどのコマンドを使うことでインストールができます。

まとめ

この記事ではこれからPythonを学びたい初学者に向けて、
・Pythonをこれから勉強しようと考えているが、何から手をつければ良いのか？
・何から学ぶと自分の目的を達成できるのだろう？
などの悩みを解消できればと思い執筆しました。

Pythonでは多くの事ができるプログラミング言語だという事がお分かり頂けたかと思います。是非Pythonを学んで、読まれている方々の目的が最短で実現できれば幸いです。

この記事を書いた人

サイバーブレイン株式会社
代表取締役CEO　谷一徳

フォローお待ちしております！
Twitter
Facebook

2000名以上が参加しいてるAIコミュニティも運営しております。
毎日AIに関する情報を提供しておりますので、こちらのご参加もお待ちしております！
人工知能研究コミュニティ

「Python3」の記事 - Crieit

ChromeとChromeDriverのバージョン違いによるエラー

requirements.txtの自動生成 〜Pythonスクリプトから依存パッケージを抽出する〜

CLIツールを簡単に作れるフレームワークを作ったよ！

TSVで定義した辞書をMarkdownで出力するツールを作った話

Pythonで競プロ｜ABC129A｜

DiscordからSplatoon2の情報を取得できるbotを作った

SQLAlchemy の Declarative API を使ってハマった事

pandas入門 .head()で先頭から要素を抜き出す

Pythonで文字列を分割したい

あけおめからPython

【保存版・初心者向け】Python 目的別チュートリアル

requirements.txtの自動生成〜Pythonスクリプトから依存パッケージを抽出する〜