自分は基本的に生存の必要性という観点からものをみている。
言葉は、人の多様なコンテキストを結晶化させたものであると考えている。ある言葉が紡がれるとき、それはどの媒体であるかすら、社会的なコンテキストを引きづっている。
もちろん、言語には文法がある。文法規則に則っていないものは、とても解釈がむずかしくなる。それは、人にとって、信号なのだ。だからこそ、規則からずれたものは、解釈が難しい。それでも、通じる場合はある。文法規則は確かに複雑なことを伝えることができるが、原始的な言語は、もっと簡単な状況を簡単な信号で伝えていたのではないかと思っている。
単語ベクトルは分布仮説に則っている。それは、共起であり言語モデルである。共起は、コンテキストだったのだろうか。個人的にはコンテキストから出てくる単語について、連動しやすい単語群があるということだったのではないかと思っている。それは、内容語において、そうなっているのだろう。それは、機能語についてはあてはまらないだろう。だからこそ、SIFは成功したのだと思う。（機能語をunigramモデルに押し込めているというもでる。）
連動しやすい単語群は、局所的なコンテキストを表していただろう。BERTの成功は、もっと広い範囲で共起を見ることとself-attentionによって、局所的な関係を超えたコンテキストを見ることができたのではないかと思っている。これは、next-sentence predictionの学習がそれを補強している。つまり、文単位の共起と見える。また２文関係のタスクは、両方を入力することができとこともあるのではないかと思っている。
話をもどそう。広いコンテキストとはなにだろうか。よくわからない。ただ、言葉の羅列は、文法規則をそこそこに引きずりながら、それぞれの媒体に、伝える相手に合わせた単語列が生成される。逆に、その媒体で受け手に取って明らかなことは、生成されない。これは、多分BERTよりさらに広いコンテキストだろう。ただ、局所的な単語列がある種の意味を捉えていたように、更に広い単語列が、このようなコンテキストを捉えている可能性はある。しかし、それはある種のノイズでもあるのではないだろうか。ただ、それが一般的であるためには文書ソースが多様である必要がありそうだが。
ただ、コンテキストとして、もっとも言語処理が取れていないのは、クオリアであり、グラウンディングとその実質的影響の質感である。これが、人間にとっては、伝えるべきものであり、根源であると思う。そして、その状況の別が、言語で表されていると思う。しかし、現在の技術においては、画像・音声・動画・センサ情報と強化学習が必要になるので、当然ながら計算量としても難しい。
一体、単語列の共起はどこまで情報を含んでいるのだろうか。なんとなく、条件つけることで、変わるのであると考えたい気持ちはある。しかし、outputをベクトル表現した場合は、同じ点としてoutputすることになる。あるいはデコーダを複数用意するのか？
