機械学習で出てくるクロス・エントロピー誤差関数の真実を書こうぜ☆（＾～＾）？

「　自習をしたんで、アウトプットしようぜ☆」

「　マイペースだな……☆」

「　何これ？　グーグルの検索ワードを英語にして　"PhD" ってキーワードも付けとくと　記事のレベルが上がるんだけど？」

「　ハックだよな☆」

「　↑　で、　機械学習　の……、特に　教師付き学習　の雰囲気を　なんか　いい加減に説明したのが上図だぜ☆
ずれ　を　０　にしたいわけだぜ☆」

「　正しい答えなんか　信じてはいけないのに……☆」

「　そこは信用しようぜ☆」

「　↑　また、ずぼらに説明すると、ずれた分を、ずれていないように　ちょっと修正するのが　学習だぜ☆
この調整を自動でやらせるために　PyTorch　のようなフレームワークを使っているわけだから、ここでは　地力実装しなくていい☆」

「　もっと　ドカンッ　と一発で　ずれを全部　調整したらいけないの？」

「　１問５点の問題が２０個あって、１問は必ず正解するが　残りの１９問外す、みたいな知能に憧れがあるなら　そうしろだぜ☆
多分　最後に学習した問題だけ正解して　それ以前の記憶は失うだろうなんだぜ☆」

「　むしろ、学習率という割合を設けて、調整量を減らそうとまでするぜ☆」

「　変なの！」

「　コーヒーに角砂糖３個入れたら　甘くなるだろ☆　もう少し甘くしようと思って　また角砂糖３個入れたら　砂糖水におまけでコーヒーが入ってた水になるだろ☆」

「　↑　今回、わたしたちが着目したいのは、上図の中の　ずれ　だぜ☆
ひとくちに　ずれ　と言っても、どれぐらい　ずれているか　の測り方は　いろいろある、ということだぜ☆」

「　↑　例えば　身長なら　引き算すれば　ずれ　が求まるが、これは　スカラー　だからだぜ☆」

「　↑　どこが　どう　ずれてて、　ずれはいくつ、　と言いにくいこともあるだろ☆　これは　ベクトル　だからだぜ☆」

「　そんなもんに　ずれはいくつ、とか言えんの？」

「　言わないと　学習できない……☆　この　ずれはいくつ、と言うやつが　損失関数　だぜ☆」

• 平均二乗誤差（Mean Squared Error）
• 平均絶対誤差（Mean Absolute Error）
• 交差エントロピー誤差 (Cross Entropy Loss)

「　損失関数は　いろいろあって、例えば　↑　上のリスト　のようなものがあるぜ☆
Error と呼ぶか Loss と呼ぶかは　まちまち　で、方言だから好きにしろだぜ☆」

「　で、交差エントロピー誤差　は、なんか　他のやつに比べて　むずかしいんだぜ☆
ぱっと　話を聞いただけでは分からない……☆
もちろん　数式をパクるだけなら　どれでも　むずかしくないが……☆」

「　呪文は　考えずに　唱えるだけでいいのに……☆」

「　そこで、交差エントロピー誤差　の登場人物を紹介しようと思う☆」

• 確率分布　（Probability Distribution）
• 自然対数　（Natural Logarithm）
• トレーニング・データ　(Training Data)
• 総和　（Sum）
• 負　（Negative）

「　↑　この５つが分かれば、ようやく　いい勝負ができそうな感じだぜ☆
うーん、さっぱり分からん、というところから、うーん、なんとなく　ぼんやり、まで　進める☆」

「　１つ１つは簡単なのに……☆」

「　でも結局　呪文なのだから、分かって使おうが　分からず使おうが　唱えれば　成果物に差は出ないんじゃないの？」

「　唱えなくていいときに　呪文　唱えてるやつ　いるよな☆
分かってないからだぜ☆
このケースだから　この呪文を唱えていて、別のケースでは　また別の呪文を唱える、という使い分けができていれば　言うことはない☆　ＯＫだぜ☆」

「　オーベルシュタインみたいだな☆」

確率分布　（Probability Distribution）

「　サイコロは　振れば　振るほど　3.5　が出続けているのと　変わんない気分になるから
すごろく　は　スタート　から　上がり　までのマスを極端に長くすると　みんな団子状態になるので　２マス戻る　とか　ばらつかせているんだが、
この　3.5　は　期待値　だぜ☆　では、　確率　とは何だろうか☆？」

「　例えば　サイコロの出目に偏りがないとき　１の目　が出るのは　６分の１　なんで　１の目が出る 確率 は　６分の１、　0.16666666…　だぜ☆」

「　では、 確率分布 とは何だろうか☆？」

「　↑　サイコロを１つ　振っているだけでは、　ありがたみ　が分かんないのよ」

「　↑　サイコロを　２つ以上　振るようになると、　確率分布　が出てくるのよ。
２　が出るのは　３６通りの中の１通り　だけど、　７　が出るのは　３６通りの中の６通り　なのよ」

「　ドミノで遊びたくなってきた……☆」

「　並べて　倒して遊ぶものだと思われてるよな、ドミノ☆」

「　↑　サイコロ２個を転がしてコロコロ回っているというのがイベントで、サイコロがピタッと止まるのがオカレンスで、
上の面に出た４と３の目を足して７　というのが　アウトカム　だぜ☆」

「　↑　どんなケースがあるか並べたｘ軸の要素たちの入れ物を　大文字の　Ｓ　で表すようだな☆
Ｓ　の中身は　小文字で　ｓ　☆」

「　↑　関数の形をグラフにすると、例えば　ｐ（４）　は　３６分の３　になるわけだぜ☆」

「　このとんがったグラフは　微分できるのかだぜ☆？」

「　とんがってるとこ　どうなってるんだろうな☆？」

「　この三角形の面積を見てみると、　絵が歪んでしまったが　ちゃんと　３６等分　できることを確認してくれだぜ☆」

「　定規を使って　引きなさいよ！」

「　３６分の１、つまり 0.027777777…、有効桁数はどこなんだろな、0.02 としておくかだぜ☆　これが、 0 を除けば 一番小さい数　で、
３６分の３６、つまり 1.00 が　一番大きな数　と思ってくれだぜ☆」

「　フーン☆」

「　例えば　1 - 0.02　と出てくれば、３６分の３５　の面積だと思ってくれだぜ☆
ちゃんと計算すると　0.97222222…、で 0.97 ぐらいなんだが☆」

「　式で書くと　1 - p(2)　みたいに書かれるぜ☆　p(2)　は上図と照らし合わせろだぜ、 1/36 のことだぜ☆
こういう書き方が　知ってるものとして　説明なくでてくるから　ふだんから使い慣れておけだぜ☆」

自然対数　（Natural logarithm）

「　自然対数は　わたしが　もっとも得意とするとこなんで　１００ページぐらい　しゃべれるんだが、
今回は　クロス・エントロピー誤差関数　で使うとこだけ説明するぜ☆」

「　いつも　そうしてくれだぜ☆」

「　↑　さっき、確率は　最小が　0.02　で　最大が　1.00　という話をしただろ☆
あれが　そのまま　ｘ軸　に当てはまるぜ☆」

「　log_e は ｙ　は　どこまで下がんの？」

「　ｙ　は　ネガティブ・インフィニティ　に向かうぜ☆　ｘ　は　0.00000000000……　と小さな数になるんで　０　と思ってても実用上問題ないぜ☆」

「　でも、 log_e　は x=0 にはならないから、 0.00000001 やらなんやら　適当に　決して０ではない　微小な正の数を　ｘの下限としてくれだぜ☆」

「　フーン」

「　今日は疲れてるんで　ここまでな☆」

---

「　起きてきた☆」

「　寝てればいいのに……☆」

「　↑　で、　ｘ軸も　ｙ軸も　たかだか　６つ　しか　刻みを使わないわけだが……☆」

「　自然対数の特徴は　ｙ軸の間隔が、
最後の区間は、　前２つ分の間隔　に、ピッタリ同じなんだぜ☆
それ以前のところは　ずれているが、だんだん　近づいていってると考えてくれだぜ☆
刻みが　６個　しかないんで　けっこう　ずれてるように見えるが、
刻みが　１００個、　１０００個　増えてきたときに　うまみが　出てくるぜ☆」

「　何が　うまい　んだぜ☆？」

「　加速に加速が付いているから　だんだん大きく　ぎゅいーん　と伸びていくが、
ぎゅいーんと伸びていくやつの中でも　加速の加速が　ゆるやか　な方だろ☆
大きくても　前２つ分の間隔だぜ☆」

「　ぎゅいーん、じゃ　分かんないのよ！」

「　↑　人の言語には　これを表す言葉が無いと思うんだが、もう少し　感覚的な説明を与えるなら……☆」

「　↑　こういう　ぎゅいーん　だぜ☆」

「　分からん☆」

「　別のところから攻めるか……☆」

「　↑　こうなってるだろ☆」

「　わらう☆」

「　↑　こうなってるのも　分かるだろ☆」

「　うーん？」

「　↑　ｙ軸も　鏡面に改造するぜ☆　ゼロは無くなった☆」

「　やりたい放題☆」

「　↑　仮に　こういう風に　ブロックを取るとしようぜ☆？」

「　↑　こういうブロックの取り方をすると　こうなるんだが、 厚みがまちまち　で、多分　この方法ではダメで、歪んでいて説明がむずかしいぜ☆」

「　厚みが揃ってる方から　ブロックを切り取りなさいよ」

「　↑　このブロックの取り方は　良さそうだ……☆
計算してみると　面積は……☆」

「　↑　うーん☆」

「　ブロックが　でこぼこ　してんじゃないの？」

「　log_e はカーブを描いているからな☆　液体でも流し込まなければ　ちゃんと面積を測れないぜ☆」

「　これでは　自然対数　をなんで使うのか　わからないぜ☆」

「　↑　こうなってるんだぜ☆」

「　どうなってんの？」

「　１個　遠くへ行くには、２倍のちから　がいる感じだぜ☆　ぴったり　ではない☆」

「　じゃあ　サイコロのモデルに　自然対数は　合ってないのでは☆？」

「　まったくだぜ☆　ガウス分布ではないからな……☆」

「　サイコロのモデルにあった分布モデルは　何なんだぜ☆？」

「　なんだろな　あれ……☆　指数関数的ではないと思うが……☆」

「　じゃあ　リニア分布モデル　なんじゃないの？」

「　そんな　社会現象で見かけなさそうなモデル　資料を掘りだせるかだぜ……☆？」

「　Triangular Distribution というのが　それっぽいな☆　Triangular Function というのもあるぜ☆　似たような分野　いっぱい出てきた……☆」

「　サイコロの分布は例が悪いのよ。　自然対数が使える分布の例を出しなさいよ！」

「　むしろ　そっちの方が簡単……☆
サイコロは６面あって　タイヘンなので、　コインにしようぜ☆　表裏の２面だぜ☆」

「　↑　サイコロが　Senary なのに対して、コインは Binary だぜ☆」

「　↑　コイン３枚　投げるのは　こんな感じ☆」

「　↑　コイン４枚　投げると　三角形が　崩れてきたぜ☆　ガウス分布の始まりだぜ☆」

「　４回投げることが重要なの？」

「　そうだぜ☆　サイコロだと　６倍　６倍　６倍　なんで　嫌になるんで　コイン　にしたんだぜ☆」

「　２０回ぐらい　投げなければ　ガウス分布が　大数の法則から受けて　ベルカーブを描く性質が　見えてこなくないかだぜ☆？」

「　１０４万８５７６パターンの２０枚のコインな☆　描かないぜ☆」

＜書きかけ＞