クロスエントロピー。損失関数）クロスエントロピー誤差

Cross entropy

は、 hは）。

しかもそれがどっちかというと「数学」の話なので、機械学習の本筋からやや外れる。

これはソフトマックス関数と交差を合成した関数をすると簡単かつ直感的にわかりやすい式が出てくるためです。この場合、系全体の状態数か、あるいはその対数であるエントロピーが最大になるように部分系のエネルギーが決定されると考えるのは自然であろう。

クロスエントロピーについては言及していません（また、「相対エントロピー」の奇妙な定義があります：「ソースのエントロピーと、同じシンボルに制限されている場合の最大値との比」）。加えて，上で説明してきたような数学的な背景が破綻します。

この表式が成り立つように、（） T を定義する。日本一わかりやすい説明を、お届けします。この部屋は散らかっているのでゴミが多い。

損失関数は幾つか種類がありますが、では下記の2種類がよく使われます。確率 x の事象は情報量が log x と定義されています。この時、交差との差は上の中かっこは常に正になります。