ふわっとかきます。ちゃんと書くと大変なので。
information theory とかよりも mathematical structure の話です。もっと言うと「認知」の話です。
私たちは様々な「データ」を得て、「情報」を受け取ります。私はその情報が多いほうが面白いと思っています。
が、ここで「情報が多い」というのはどういうことなのか、ということを考えなければなりません。
例えばランダムノイズで生成された膨大なデータに情報がどれくらい入ってるかというと、無です。0 です。
つまりデータ量と情報量には相関がありません。じゃあ情報とは何でしょうか。
ここで私が捉えている「情報」という概念は「それがどれほど経験に無いことか」「それによって未来予測がどれくらい出来るか」だと思います。これはおおよそ 相互情報量 を指していると思います。
要は過去から現在が推測できないとおもしろくて、現在から未来が推測できるとおもしろい、という話です。
「新たな経験 = 驚き」と「未来予測精度の向上 = 学習」です。これが良いものであると私は思うわけです。
つまりランダムノイズによって生成されたデータは (それが完全な一様ランダムであると知っている限り)、一切珍しさを持たない (どんな結果であってもおかしくない) 上に未来予測に一切影響を及ぼせないため、情報を持っていない、という捉え方をしています。
なので時系列データを前提とした話をしています。例えば照明。例えばゲーム体験。例えば音楽。まぁなんでもいいです。
例えば 0 と 1 が出てくる列があるとして。これまで 0 と 1 が交互に出てきたとして。さっき 0 が出てきたので次はきっと 1 が出ます。この予測が立つことが楽しい。
さて、ではここで 2 が出てくる とどうなるでしょうか。新たな経験ではありますが、これは将来のための学習には使えません。もうこれまでのパターンは無効だと認識してしまって、喪失感を得るはずです。
ではしかし、例えば何らかの方法で「次は違うのが出てくるかも！」と予め提示されると、推測すると 1 だけどそうじゃないってことはどういうことなんだろう、って思ってくれます。そうして 2 が出てきたら、なるほど！となる。これまでのパターンとは違うけれど、裏切られたという感覚は減るはずです。その後が楽しみになるかも。
もうちょっと書くと、 (A,0), (A,1), (A,0), (A,1) と続いた次に (B,0) が来たら、(C,2) が来たとしても素直に新たな学習として捉えることができるよね、っていうことです。
これが「体験を設計する」ということだと思いますが、こんな話が書きたくてこれを書いたのではないです。
えー脱線した話を戻します。もっと単純なことが言いたかったんです。
まず、明るい光は、良いです。
なんで良いのかなって思ったんですが、太陽がいつも阿呆みたいに眩しいことを考えるとやっぱり珍しさなのではないかと思います。とは言えもうちょっと構造は入っているはず。
例えば全体的にぼんやり光っているよりも、一部だけが鋭く光ってる方がなんか情報がある気がします。ここの情報というのはまぁアレです。さっき話したやつではないですね。えーと。
私達の視界は2次元画像の時系列データです。2次元画像に対して考える「情報」の概念は「圧縮可能性」が近い気がします。時系列データとはなんか違う気がしますね。似てるところもあるんですけど。
つまり「ぼんやり光ってる」のは「中心がこのへんで光ってる」っていう印象なのに対し、「鋭く光ってる」のは「中心がここで光ってる」というようにちょっと曖昧さが減ります。考えるのがめんどくさいのでいまはこれだけにしておきます。
これは情報というよりも コルモゴロフ複雑性 というやつです。それはそれで大事なんですけど、さておいて。
最初の話で言うと、単純に「めちゃ眩しい光は珍しいので、うれしい」ということになります。まぁそうかも。
明るい光はいいんですが、光が一定間隔で点滅すると未来予測が出来るので情報を持ちます。が、単純な一定間隔だと情報が少ないです。これは「コルモゴロフ複雑性が小さい」と同じ状況にあると思います。
ランダムだとダメだけど、単純すぎるとダメ、ということでちょっとおもしろい点滅の仕方のほうが情報を持ちます。これ光よりもリズムの話をしたほうがわかりやすいですね。
言いたいことはわかるとおもうんですけど。
で、それも別に書きたいことじゃなくて。えーと、言いたかったのは時間の成す空間の話で。
時間は一応連続に流れている上、まぁ光の明滅とかもこう、急には変わらないので連続な変化をします。で、連続だと現在の微小変化から将来がほんのすこしだけ予測できるという性質を持ちます。
要は「いま点いてないから、次見たとき (0.001秒後くらい) もきっと点いてないだろう」という推測ができます。
まぁ連続だけだと「急にめっちゃ点いた」が有り得るんですが、リプシッツ連続 なら間違いなく「次は絶対にぴかーって点いてることはない」と言えます。
で、さらに微分可能性を仮定するともっと未来予測ができるはずで。
さらに微分すればもっと未来が見えます。
ぱっと一瞬を見るだけで未来が視えます。
そういうのが良いよねっていう話をまぁ 𝙐𝙇𝙏𝙍𝘼 𝙓𝙍 𝙇𝙄𝙑𝙀 解説 (2/2) で書きました。
さて、それはそれとして時間は周期的な振る舞いをすることがよくあります。音楽が流れてるときの話をしています。
私はなんだか音楽に対しては 2-adic number を割り振るほうが自然なのではと思ったりするんですがその話は自分でもよくわかってないのでしません。
で、周期的な振る舞いをするということは、(可積分なら) フーリエ変換することができるはずです。つまり周波数領域の上での「情報」をかんがえることもできそうです。
だからこう。単振動程度なら周波数1つで記述できるかもしれないけど、もうちょっとごちゃっとすると情報が増えて嬉しいというか。
音楽的な話だったら8小節が繰り返されたその次にどんな変化が起きるのかが楽しみというか。
まぁ別に媒体は関係ない話なんでなんでもいいんですけど。
「情報」(らしきもの) はいろんな方法でデータに付与できるんだよなあ、という話です。
追記: あとそういえば「統計」っていう見方もありました。つまり「最近 0 と 1 が一様ランダムで出ているから、次も 0 か 1 が一様な確率で出るだろう」という推測もあります。これを考えると最初の例はまぁ普通に意味はあります (つまり「次の瞬間」を予測するのではなく、「これからの流れ」を予測するわけですね)。いっぱいありますね。
私はそれを根拠付けるために「ルール」を設けるのが好きですが、まぁ別にそれに限らないです。(とは言え、だいたいの方法はほぼ全てルールといえると思う)
「系列からルールを逆算する」という工程もまた未来予測の一種でありたのしい要素ですよね。
そういえば微分可能性は近傍の重要性と同義で、つまり前に書いた「つながり」の話を受け継いでいます。
「ちゃんとやる」というのは具体的にこういうことだと思う、という。
まぁ書き散らしです。おわり。いつかちゃんと清書することもあるかも。
