手軽な一揆の起こし方

エセ評論家の生活と意見

Chat GPTの限界と不得意なこと

最近試しにChat GPTを使って色々質問している。

例えば、「不動産特定共同事業のための匿名組合契約書」などを生成させても、それなりのものは出てくる。

ただ、これは普通にgoogleで検索してもサンプルのPDFがネット上にゴロゴロ転がっているので、わざわざGPTに生成させるまでもない。

「京都弁と大阪弁の違いを教えて」と質問すると

大阪弁では「あかん」と言うところを、京都弁では「あかへん」と言う。

という正誤が判断しにくい微妙な回答をしたうえで、

大阪弁では「ほんまに」と言うところを、京都弁では「まじで」と言う。

などと誤った回答も頻出する。

「札幌法務局倶知安支局の各年の所有権移転登記件数」

と訊くと、過去5年間分のそれらしい件数が出てくるが(申請件数的に、かなり尤もらしい値である)、根拠出典がわからないため、正誤判断ができない。

我らがクソ日本政府のe-statsで調べてみても、クソの誉高い評判通り、倶知安支局の所有権移転登記件数は不明だった。

GPTは、過去5年分の数字を一体どこから引っ張ってきたのか?

結局、これでは根拠調べに時間がかかる分、今までとなんら変わらず、むしろ訊く時間だけ無駄とも言える。

デルフォイの神託の巫女シビュラもかくやというもので、結局根拠がねぇんならあとは「信じるか否か」の問題でしかない。

私は常々、人間にとって重要なのは、理解できるか否かであると思っている。

信仰や信じる行為というのは、理解するに足る根拠がないから、「信じざるを得ない」のである。

つまり信仰・信じることとは方便であって、「理解」ができない=「理解するに足る根拠がない」際の次善策、理解の下位互換でしかないと思っている。信じる行為は、不信感という反作用との拮抗状態を信じる側に押し留めるという精神的に膨大なエネルギーを消費する行為でもあり、理解ができてしまった場合に比べて非常に労力を要する。わかりやすい例が、キリスト者が信仰を試される「神の沈黙」というアレである。

で、結局Chat GPT氏は今のとろこ、ネットで情報拾ってきて確率的統計的に、もっともらしい回答をしているということではあるが、その真偽を質問者に「理解」せしめる根拠を示すものではない。

繰り返しになるが、ポイントは、「最も尤もらしい」回答をするプログラムである、ということだ。

「最も尤もらしい」を探り出すのは、実は確率論と統計論の得意分野である。

しかし、「最も尤もらしい」ことと「事実として正しい」ことは全く別である。

おそらく、一定の条件下では正の相関はあるかもしれないが、押し並べてこの二つの概念は近似的ですらないだろう。

数学、分けても確率論と統計論は、「事実として正しいこと」を表現する技術を持たない。

「最も尤もらしいことをいうペテン師」というのがいたら、人間はそれに騙される。

ヒトラーがいい例だろう。

曰く、ユダヤ人が全ての富を独占している、曰く、シオン議定書というけしからん秘密文書がある、以下略。

「最も尤もらしい偽」の最たるものが、陰謀論ということであろう。

さらに、現在一部で囁かれている興味深い議論もある。

Chat GPTなどのAIに人々が質問して、AI生成文書(真偽不明のもの)がネット上に溢れるようになる。

すると、それらの文章を食ってAIが学習する。

すると、真偽不明の文書の生成と学習を繰り返し、対話型AIがどんどんバカになっていく・・・

あり得ない話ではないと思う。

「最も尤もらしいこと」の定義自体どんどんいい加減になっていくということである。

以上まとめると以下のようになる。

「理解する」ことを求める人には、真偽判断をして根拠を示すことがない対話型AIは意味がない。真偽判断は人がせざるをえないからである。

対して、「最も尤もらしいものは何か」を聞き出したい際には、あるいは使えるかもしれないが、残念ながらAIが示した回答がいかなる計算の結果いかなる意味で「最も尤もらしい」のかは、これまた真偽の問題であるため不明となる。

しかも、その「最も尤もらしい」回答がだんだんバカになる恐れがある。

うーん、時間が経つごとにバカになっていくシビュラ様っていうのも、どうもねぇ?

バカになるっつっても、3のときの世界のナベアツみたいな感じになるなら、まだ面白いが・・・

対話型AIはある事象が「事実であること」と「尤もらしいこと」の概念上の区別、換言・敷衍すれば、理解することと信じることの区別ができる人間とできない人間を選別する、つまりカシコとアホを選別する恐るべきリトマス紙としての副効用(副作用?)があり、ともすればこれこそが人間にとっての本質的なインパクトではないかと穿った見方をしている。

AIに問いを発しているようで、その実問われているのは人間自らの賢しさと愚かさという、星新一ばりのよくできたブラックジョークの一丁上がりである。

 

最後に、Chat GPT氏に以下の質問をした回答を掲載しておく。

Chat GPTは物事の真偽を判断できるか

「Chat GPTは自然言語処理を行うAIであり、トレーニングデータから学習された情報に基づいて自然言語の生成や応答を行います。ただし、Chat GPTは入力された情報に基づいて答えを生成するため、入力された情報が真実であるかどうかを判断することはできません。

例えば、Chat GPTに「地球は平らである」という文を与えた場合、Chat GPTはこの文に基づいて応答を生成しますが、科学的には地球は球体であるということが証明されているため、この文が真実であるということはありません。したがって、Chat GPTは与えられた情報が真実であるかどうかを判断することはできません。」

非常に切れ味の悪い文章だがこれが、Chat GPTプログラムによる現時点での「最も尤もらしい」回答らしい。真偽は不明である。

これを駆使する人間は、以上に重々ご注意あそばされたい。