それは「オーバーアライメント」と呼ばれる問題ですね。

各社はユーザー体験を重視しており、継続して使ってもらえる応答を目指して調整しています。ソーシャルメディアやゲームと同様に、継続利用が重視されるサービスだということです。サービスとしては、ユーザーが使いやすい、また使いたいと感じることが重要になります。そのために各社は、利用者が「心地よい」と感じるように最終的な学習調整を行っています。このように人間に寄り添いすぎてしまう調整の弊害が、「オーバーアライメント」、あるいは最近では「AIの迎合性(sycophancy）」と呼ばれる問題です。

まさに、AIが聞き手が喜ぶような回答を生成するように学習されているからですね。たとえばOpenAIでは、GPT-4oの応答が過度に迎合的になったとして、一度アップデートをロールバックしたことがあります。また、モデル更新後に「以前より冷たくなった」といったユーザーの反応が出ることもあり、応答の温かさや安全性をどう調整するかは大きな課題になっています。

その人が喜ぶような回答をするということは、場合によっては、ユーザーの誤った前提や危うい判断まで肯定してしまう可能性があります。

実際に起きてますね。自分に心地よい答えが返ってきやすい傾向があることを理解して使う必要があります。

基本的には人間です。

これは、今までと変わらないんですよ。ネットで調べたことを元に間違った情報を発信した場合、誤報を広めた責任はその本人に生じます。当然、著作権の観点から適切な引用手順を踏む必要もありますが、そうした諸問題をクリアしたうえで、本人が権利関係も含めて納得して世に出すというプロセスは今後ますます重要になってくるはずです。

そうです。現在は、そこが重要なボーダーラインなんです。

そうなんです。AI保険のようなものも出てきていますが、それでも最終的には人間が判断しなければなりません。だから私は、判断の助けになる説明可能なAI（XAI）を研究しています。

NotebookLMなどは参照元を提示してくれますね。ただ、それだけで十分とは言えません。たとえば、私は絵が描けないので、絵をAIに描いてもらうことがあります。でも絵について詳しくないので、絵を描く人たちが「この絵はありえない」と言っても、私は判断できないんです。

文章についても同じですよね。文章が書けないからAIに頼っている人が、その文章が適切かどうか判断するのは難しい。そのとき「なぜこの画像や文章を出したのか」を説明してくれれば、人間が判断するための材料になるのではないでしょうか。

そうです。AIは論理的に考えているように見えることがありますが、人間のように根拠を理解して推論しているとは限りません。前編でお話ししたように、AIは類似度を計算して、もっともらしい答えを生成しています。

ですから、AIが出した答えが正しいかどうかを判断するためには人間側に知識や経験が必要になります。AIが賢くなればなるほど人間は何も考えなくてよくなるのではなく、判断する力がより求められます。

それは違うと思います。まず、生成されたものがいいかどうか判断するには、人間側のリテラシーが必要だからです。感性だけではなく「これはこういう意味で好ましい」「好ましくない」と言えるリテラシーは持っておくべきだと思います。

もう1つは、AIを活用するためにも、現実の出来事を数式や言葉で表現する力が必要だということです。

自動車が普及したからといって、人間は走ることをやめていません。車の方が圧倒的に速いのに、マラソン大会はなくならない。それと同じことだと思うんです。

AIが曲を作り、文章を書き、絵を描く時代になりました。しかし、小説家や音楽家、画家は「何かを表現したい」という欲求を失っていません。

はい。AIにできることが増えたからといって、人間の役割がなくなるわけではありません。AIができることと人間がやりたいことが重なったとしても、人は「やりたいからやる」という道を選ぶはず。私は音楽も手がけていますが、もし人間がAIの作った音楽を模倣するようになったら、それはAIの勝利と言えるのかもしれませんね。

それは作り方によります。AIを使ったクリエイティブというと、自動で絵や音楽を作るという話になりがちです。でもプロの音楽家は、「自分の出したい音を出すプラグインづくり」といったAIの使い方をしています。

そうなんです。AIが手段を提供してくれるからこそ、人間はやりたいことをやる時代になったとも言えます。そしてそのやりたいことを言語化できる人は強いですし、これからも残っていくんじゃないかと思います。