コネクト・フォーを作ろうぜ☆（＾～＾）？＜その１＞

「　コネクト・フォーを作ろぜ☆？」

「　もう寝る時間だろ……☆」

「　電竜戦の予行演習２をやってる最中なのに……」

「　そんなん　どうでもいいんだぜ☆
コネクト・フォーを調べようぜ☆？」

Connect Four
Connect Four

「　↑　横７、縦６　の４２マスで　上からコインを落としていき、タテ、ヨコ、ナナメに４つ揃えたら勝ちのゲームだな☆
完全解析は終わっているとのことだぜ☆　お互いにミスをしなければ先手必勝☆」

「　〇×ゲームをベースに開発するのと、一から開発するの、どっちが楽だろうか☆？」

「　ケッコウ　違うゲームだから　一から開発した方がいいのでは……☆？」

「　↑　全国コネクトフォー協会とか無いのかだぜ☆？　無いなら勝手に進めるが……☆？」

connect 4

「　↑　書籍を買え、ということみたいだぜ☆」

Connect Four

「　↑　いろいろネットに落ちてるんだが 歴史的に太いのにアクセスできないんで
適当に見つけたやつを真似るか……☆」

「　↑　チェス盤と同じ符号にしておくのが親切か……☆」

[ 1 move(s) | Go X ]
  +---+---+---+---+---+---+---+
6 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
5 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
4 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
3 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
2 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
1 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
    a   b   c   d   e   f   g

「　↑　ここまでは　ぱっと思いつくな☆」

「　じゃあ do c で☆」

do c
pos
[ 2 move(s) | Go O ]
  +---+---+---+---+---+---+---+
6 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
5 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
4 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
3 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
2 |   |   |   |   |   |   |   |
  +---+---+---+---+---+---+---+
1 |   |   | X |   |   |   |   |
  +---+---+---+---+---+---+---+
    a   b   c   d   e   f   g

「　棋譜は c でいいの？ c1 じゃないの？」

「　オッカムのカミソリを使うか、棋譜の見やすさを優先するか……☆？　慣習が分からんぜ☆」

「　重力がなければ　ただの４目並べ　として遊べるのでは☆？」

「　そんなことは許さん……☆　行番号を自動補完したろ☆」

「　重力はバグの元しゃない？」

「　↑　勝利判定は どうやるんだぜ☆？　全方向について　４つの並びがあるのか調べるのかだぜ☆？」

「　それが一番 実装が簡単だと思うぜ☆ 時間かかるけど……☆」

「　勝利の条件があるわよ」

「　↑　着色したところを取られたら、その方向では勝てないのよ」

「　そのプログラムをバグなく実装するのが むずかしそう☆」

「　思考部はどうすんだぜ☆？」

「　深さに上限付けて　全状態ノードを全幅探索する簡単なものでいいんじゃないかだぜ☆？」

「　盤面評価は☆？」

「　四　が作れるタネ　に点を付けたらどうだぜ☆？」

「　↑　連珠の型を真似よう……、コネクト４に通用するか知らんが……☆」

「　評価関数を作るのは　コネクト４　に強いやつじゃないと無理だろ☆」

「　何に価値があるか分からないときは、自己対戦で　強化学習してはどうか☆？」

「　状態をどう表現すんだぜ☆？
Wikipedia によると、 4,531,985,219,092 の状態数があるらしいぜ☆？」

「　機械学習では、　局面は　いくつもの特徴に分割して、　特徴量の総和で　局面評価を近似表現するのよ！」

「　コネクト・フォーの特徴を洗い出してみましょう！」

「　↑　四目並べるゲームなのだから、ふつうに考えて 列 は特徴だろ……☆
これを評価しないやつは いない……☆」

「　全列 抽出してくれだぜ☆」

「　↑　つら……☆
タテ棒と　ヨコ棒は　どっちが価値がありそうだぜ☆？」

「　それは強化学習で求めるんで、お父んは黙れだぜ☆」

「　チェスの符号は　筋、段の順だから、筋の方が強いんじゃないの？」

「　バロック・ダイアゴナルと、シニスター・ダイアゴナルは　どっちが強そうだぜ☆？」

「　共役だろ☆」

「　原点が　ａ１　であることを考えると、ａ１からｇ６の方に向かって伸びる　バロック・ダイアゴナルの方が基準で、
シニスター・ダイアゴナルは　バロック・ダイアゴナルに　交差してんじゃないの？」

「　じゃあ　上図のまんまの並びで　連番を振るか……☆
配列の添え字は　０番　からだが、
最近観測する経験からすると　０は零元だろ、ということで　連番は　１　から振るのが　流行りだよな☆」

「　何のことだか分からんが　それで☆」

「　↑　列に　番号を振ったんで、これから　こいつらは　ネームド　だぜ☆」

「　コンピューター将棋の三駒関係ＫＫＰ、ＫＰＰの特徴は 1 ～ 48,958,183 よね」

「　しばく子は嫌に……、そんな数は覚えなくていいんで☆」

「　コネクト・フォーは　１列関係でいいのか☆？　２列関係、３列関係にしないのか☆？」

「　評価値には　有効桁数　というものがあって、　8 と 9 の違いが分かれば十分なのか、 88 と 89 の違いまで見たいのか、
883 と 884 の違いまで見たいのかは　ゲームがどれだけ微妙な戦いにしているかによるんだが、
将棋のストックフィッシュ系でも　-30,000 ～ +30,000　の５桁の評価値で 今どきのちからが出せるんだぜ☆」

「　お前ら　-9999 ～ 9999 しか見たことないだろうけど☆」

「　ひとまず　１列評価値で作ってみて、それから　判断しましょう」

「　↑　〇×ゲームをベースにするんで、〇と×を　そのまま　使い回そうぜ☆
海外では　×〇　の順かも知れないが、日本では　マルバツ　で通りが良いんで……☆」

「　↑　数えてみると、７マス、６マス、５マス、４マス　の列があるぜ☆
これだけ見ると　ヨコで戦いたくなるけどな☆」

「　ダイアゴナルは　まとめたか☆」

Connect Four

「　↑　遊んでみたろ☆」

「　↑　むしろ誰が　ヨコに並べるかだぜ☆！　タテに積んでりゃ　勝ちは無いが負けも無い……☆」

「　↑　最後は　入玉模様になって　シリンダーに順にコインを詰めていくだけで　勝ち……☆」

「　つまらない　コネクト・フォー　指しやがって☆！」

「　訴訟よ！」

「　これ、下の列の方が　価値があるんじゃないか☆？」

「　それは強化学習で求めるんで、お父んは黙ってろだぜ☆！」

「　空マス、マル、バツを３進数になぞらえ、各列の局面数を求め……☆！」

「　これはつまり　ヨコ列１本　にも　２１８７個の特徴があるということなんで……☆」

3^7 * 6 = 13122
3^6 * 11 = 8019
3^5 * 4 = 972
3^4 * 4 = 324

13122 + 8019 + 972 + 324 = 22437

「　２２４３７個の特徴があるぜ☆」

「　長さ 22437 の配列で収まるわね」

「　２２４３７の特徴のうち、２５個の特徴が　１つの盤面に出てるわけだな☆」

「　さて……、評価値の有効桁数は　どれほどの長さが良いか……☆？」

「　０～２２４３６の数で序列は付くだろ☆　５桁で良いのでは☆？」

「　同時に２５の特徴しか出てこないのだから　５桁も要らんと思う……☆」

「　左右対称の盤なんだから　さらに半分でいいわよね」

「　最近では　勝率　が使われてるんじゃないか☆？」

「　それはそうか……、合理的だぜ☆」

「　じゃあ　精度は　１００．０％　でいいんじゃない？」

「　千分率か……☆　じゃあ評価値は勝率で、単に整数にして　－１０００～１０００　の　２００１段階とするかだぜ☆
２５本 総和にすれば　ー２５０００～２５０００の　５０００１段階だぜ☆」

「　コネクト・フォーを　やってる連中は　１２５００　と　１２５０１　の違いを争っているのかだぜ☆？」

「　知らね☆　高すぎる精度は　ただのノイズだぜ☆」

「　さっきの勝利図で　シミュレーションしましょう！」

「　さっきのゲーム、　８×８　だったんで、　わたしがこれから作る　７×６　じゃないんだぜ☆」

「　じゃあ　７×６　にして　遊んで来いだぜ☆」

「　その大きさで　会員にならなくても遊べる無料の　コネクト・フォー　を探すのが大変だぜ☆
独りで遊んでみるぜ☆」

「　独りで　タテ列タワー立てて　楽しいか☆？」

「　↑　d2、e2、f2 に　〇の棒三　ができていて、これでもう　×は c1, g1 に置けないことが確定しただろ☆？」

「　〇は　タワー立ててるだけで　×　が c1,g1 のどちらかに置くしかないことは確定したな☆」

「　×は　どこで　四　作んの？」

「　無い☆　ｃ列も　ｇ列も　潰れてるし、上に伸びるのを　〇が逃すはずがない☆
確実な詰みがある以上、　満局　を目指した引き分けがも原理的に無い☆」

「　×をタテに積み上げていれば　お父んが　見逃すかも……☆」

「　↑　×の上に置き、ｃ列と　ｇ列に置かないという戦略で　見逃しも無い☆」

「　↑　あれっ☆？　怪しくなった……☆」

「　評価値に　手番　が要るのでは……☆？　特徴の数２倍だぜ☆」

「　長さ４４８７４の配列ね」

「　↑　ダメだぜ、ｃ列、ｇ列の　どちらに置いても　〇　の負けだぜ……☆」

「　何やってんだぜ☆！」

「　２５手先 が読めなかったので　負けたのね」

「　ナナメの突き刺し が　ヤバい☆！」

「　タテには　なんの価値は無いのでは……☆？」

「　そういえば　タテは　重力があるから、　状態数は　３の６乗より　少ないんじゃない？」

000000 有る
000001 有る
000002 有る
000010 無い
000011 有る
000012 有る
000020 無い
000021 有る
000022 有る
000100 無い
000101 無い 
000110 無い
000111 有る
001000 無い

「　↑　つまり　こういうことだろ☆　何この面白空間☆　コネクト・フォーより面白いかも……☆」

「　７２９パターンあるぜ☆」

「　for ループ回せば一瞬だが、評価値の計算中に 小難しいことは入れたくないぜ☆」

「　↑　とりあえず　最後まで　プレイアウト　してみようぜ☆？」

「　↑　その投了図に出た　２５の特徴は　上図の通りで……☆」

「　↑　特徴の通し番号を　３進数にすると　この通りだぜ☆」

「　これは　特徴量じゃなくて　名前なのね」

「　で、この特徴に　何点を付けるんだぜ☆？
１７列目の　特徴２０２２２２号　は　何点だぜ☆？」

「　トータルで　２５０００点なのだから、　２５列で割れば　１列当たり　１０００点　なのでは☆？」

「　そんな適当に付けたら　こっちを立てれば　あちらが立たず、になるだろ☆」

「　３進数０００００００　から、３進数３３３３３３３　までの全ての特徴に点数を付けるには　自己対戦を何回やればいいの？
誕生日のパラドックスを利用して求めなさい？」

「　投了図だけ　点が付いててもダメで、　７×６　の盤の　４２　の指し手１つ１つで　点数が付いてて欲しいんだけどな☆」

「　言ってしまえば　０点の初手から、この３６手目の１００点までの道のりに、少しずつ点数が上がっていくような採点方法を作ればいいわけだぜ☆」

「　やることは　見えてきたな☆」

「　評価値とは　勝ち、引き分け、負け　が見えていないときに　仕方なく使う　勝ちへの近さを表す数　だということは、
ボンクラーズや　ナインデイ・フィーバー　がよく知ってるぜ☆
この評価値について、もう少し説明を足そう☆」

「　初手は　７手しかない……、もっと言えば　左右反転すれば実質同じなのだから、
a1, b1, c1, d1 の４つしかないし、
もし　先手必勝　と分かっていれば、上がっていく評価値をたんたんと見ているだけで勝つ☆」

「　先手必敗が見えていれば　どの手を選んでもマイナスよ」

「　もし、このような、どの手を選ぶかに点数が付いているなら　方策（ポリシー）　と呼ぶ☆
今回やっているのは　局面評価値（バリュー）　なので、指し手には点は付いてないぜ☆」

「　↑　数は適当に付けたが、石を置いてみて、その局面の２５列の特徴量を全部足したものが　局面評価値だぜ☆
もう少し視覚化すると……☆」

「　↑　特徴１個１個に点数が付いていて、その総和が　局面評価値になってるわけだぜ☆
さらに　もっと視覚化すると……☆」

「　↑　配列に入ってる点数を足してるだけだぜ☆」

「　そこに　点数を入れるのが　むずかしいのよ」

「　まだまだ　その話に入るのは早いぜ☆　もっと　数　を知ろうぜ☆？」

「　０手目から　３６手目までに　０　から　２５０００　まで増える数は　どんな　感じ　かという話しだが……☆」

「　６９４点ずつ　３６回　増えていくのが　ベスト……、ただし条件があるぜ☆」

「　その図は　６９４点増えている評価値を見ている人なのね」

「　相手が　ヘタクソだったり、わざと負けて　たまたま勝ってしまったような　投了図を　省ければ、だぜ☆」

「　そんなん　ミニマックス戦略で　掃除できる……☆」

「　都合が良いことに、コネクト・フォーは　石を置いたところの　特徴は　３つか、４つなんで、
その３つか　４つに　６９４点　増えるような　配点を付けとけばいいんだぜ☆」

「　それが　むずかしいのに……☆」

「　日付が変わったので　続きはまた今度だぜ☆」

2020-07-22(wed) 20:00

「　↑　お父んの考え方だと、直線にならないか☆？」

「　勝率ベースだと、コインを投げまくるので、そんな風にはならない……☆
詳しく踏み込む前に、ありえない評価値の説明をするぜ☆」

「　↑　先手必勝だと　上図のようなグラフになりそうなものだが、局面評価値というものは、こうはならない☆」

「　なんで？」

「　↑　例えば　初手　は　実質４手だが……☆」

「　↑　１～４　の４つの数があれば　序列を付けられるので、　評価値４　とかでも　十分足りる☆」

「　１点でも　飛び出ていれば　十分だぜ☆」

「　↑　タワーが１つも天井に付いていなければ、次の局面は　いつも　７種類あるという　変わったゲームだが……☆
２手目は　２８局面あるだろ☆」

「　２８個の数があれば　全ての２手目に序列を付けることはできるけど、
それで行くと　４２手目の局面の序列を付けるのに使う　数が　膨大になるんじゃないの？」

「　だから　全局面を　全順序で並べるということは　しない……☆
しかし　そうか、　指し手は　たかだか　多くて　７つまでなのか☆　実現確率探索もできそうだな……☆」

「　↑　局面ごとに、７つの手を　何％　で　選んだ　か、ただ記憶しておくだけだぜ☆」

「　１つの局面は　長さ　２２４３７　の配列で表せるのだから、　７つの指し手の数だけ　それを用意すればいいんだぜ☆」

「　すべての局面で　ルーレット　回しまくっても　ぜんぜん　埋まらないだろ☆」

「　遊びながら　強くなるんだから　面白いだろ☆」

「　局面評価値（バリュー）より　方策（ポリシー）の方が　簡単に作れそうねぇ」

「　しかし　この　パーセンテージは　相手が置くところの確率だぜ☆
自分が置くところの確率にするには　２８倍要るのでは☆？」

「　前局面から見た相手は、自分のことだぜ☆　７倍でいける☆」

「　勝率を求めるなら、トライした数と、勝った数の２つがいるのでは☆？」

「　それはそうか……、１４倍で☆」

「　その学習データは　どうやって保存すんの？ CSV？」

「　CSV がまずまずかな☆」

00,99,100,

「　100分率だと、3桁になるのが　気持ち悪いんだよな☆」

「　じゃあ　99分率　にしろだぜ☆」

「　それも気持ち悪い……☆」

「　100 なら AA にすれば？」

「　一般的でない……☆」

「　1 ～ 7 の最小公約数は 420 だぜ☆　420分率にしろだぜ☆」

「　わらう☆」

「　直近の４２０回だけ記録するようにして、内部的に　４２０分率にして　見た目は１００分率で表示するかだぜ……☆」

「　機械学習のモデルは　それで確定でいいわよね」

「　左右反転は削ったり　圧縮かけれそうだが　省略で☆
実装は明日からにしようぜ☆」

＜次の記事へ＞