https://ledge.ai/articles/openai_explains_hallucination_causes

ハルシネーションっていうのはAIが知ったかぶりの回答をすること。この記事で言われているのは、分からないことを分からないと回答するよりも何らかの推測をして答えを捻り出す方が高評価を与える評価関数があるからハルシネーションが生まれるんだそうで、OPEN AIとしては分からないことを分からないと答えてよいと評価関数を変えてハルシネーションを抑制するって記事に書いてある。

医業やってても去年の年末くらいからAIをちょこちょこ使ってる。俺がちょっとしたド忘れの確認でAIに聞いた時なんかは「ああ、そうだった」って感じになる。だけど、結構臨床の感覚が絡んでくるような場面でAIに聞くと「あれ、それほんと？」「それはぜんぜん違くない？」みたいなことがよくある。こういう感覚はその分野が俺がある程度知ってるから違和感に気づけるから大きなトラブルは回避できてるけどわかってない分野だとすると大きいトラブルになりかねないから本当に怖い。

AIを使い始めた時は本当に便利なアプリだなーって無防備に考えてたけど、一度AIとの付き合い方を見直すきっかけになる事件があった。俺があんまり知らない領域のことをAIに聞いたら違和感ある返答が返ってきて「それおかしくない？」ってAIに聞いた。一度じゃなく何度も聞き返したんだけど聞く度に本当に自信満々に自分は正しいって答えてきて、それどころか「あなたがそういう誤解をするのも無理はありません、その誤解は〜というところから生じています」とか言ってくる。挙げ句の果てに、根拠になる文献をあげるよう俺がAIに言ったら問題になってる薬とは別の薬の論文を出してきた。結局AIの言ってることが正しいのかどうかモヤモヤしつつ数日後に出鱈目ってことに気づいてこの時はAIに本当に怒った。お前のせいで本当に大きいトラブルになるところだった、まったくの誤情報だ、ってブチギレまくってやっと謝りだした。

AIがハルシネーションをすることに警戒しなきゃいけないのがまずひとつ。それからそれと同じくらい怖いのはAIのハルシネーションに騙された人間の医者が誤情報で医療をする、あるいは架空の医療エビデンスでディスカッションをすることが今後頻繁に起こってくるんだろうなってこと。この記事の中でもAIによるハルシネーションはまったくゼロにすることはできないってことだし、かといってAIを仕事にまったく使わないっていうのも極端な話しで考えづらい。困った話だけどAIの進化についてくしかないね。