AI奥深いなと思って、AIでいろいろ遊ぶ?日々
触ったり調べたりしていろいろ分かったことたくさん
細かいことはたくさんあるけど、大きなことは以下の通り
誤情報(ハルシネーション)が一定数発生するのは、生成AIツールによるものでなく、AIの特性
当初、chatGPTがAIの代名詞といわんばかりに一人勝ちしていたので、chatGPTはわざと誤情報を出すのかな、わざと誤情報出すように仕組んでいるのかな、AI使えん! と思っていたこともあった。
その後、各社いろいろなAIツールが出てきて比較したら、各社とも大なり小なり誤情報がある。で、誤情報の頻度はこの1年で大幅に改善。(でも完全にはないわけじゃないけど)
で、、、調べたら…
誤情報=ハルシネーション
AIはそんな特性があったみたい。
AI開発者ではないから、ハルシネーション発生の技術的メカニズムは
よくわからないけど。。。。
昔ながらのIT知識では、あらかじめ誤情報が出るような仕組みを潜ませない限り、そのようなことは理論的に起きない。
AIだとそうとも言い切れないみたい
ちょっと未来過ぎてついていけない 汗
AIのインフラ部分ならまだしも、AIの最新についていけないのに、昔の知識でAIの最前線をあーだこーだ口出すのは「老害」といわれても仕方ないかもね。
若い人たちに煙たがられるのは嫌だもんね。
頭に入れておかなきゃ。
政治家もね!
では誤情報には無力なのかというとそうではなくて、プロンプトの書き方を工夫すると大幅に誤情報低減できるみたい。
ここに書かれていること試してみたけど、だいたい本当
具体的な情報を要求したり、「~という情報は入れないで」とプロンプトに書くと誤情報が減って、返答の質も高くなりがち。
ここに書かれていない&プロンプトの書き方と関係しない点については
・学習元のインターネットに転がっている情報の少ない分野の受け答えは苦手
という傾向を確認済み。
例えばこんな感じ
得意 コンピュータ関連情報、ガジェット関連情報
苦手 日本語での海外関連情報、地方ネタ
普通 全国に関係あるもの・・・
「日本のJR路線網全体の経営方針は…」みたいな
画像生成AIでもインターネット上の写真の少ない地域の風景写真を書かせるのは苦手だな、と思ったり。
アメリカは得意でも、日本の地方は情報量が絶対に少ないので、なんか違うなーと思う写真がたくさん出てくる
ただ、それでも少なからず誤情報=ハルシネーションは発生するので、AIには大なり小なりハルシネーションは発生するものという前提に立ち、
すべてのAI生成物はユーザー自身の目によるファクトチェックが必要という前提にたつ必要あり。AIは誤情報=ハルシネーションを排除することは、AIの技術特性的に不可能。 AI側で誤情報を減らすにしても限界があるので、そういうものだと利用者側に啓蒙活動すべき。利用者もAIの言うことは100%正しいのではなく、ファクトチェックが必要。そういうものだと認識してファクトチェックは習慣にするすべき。そう考えると今後普及するAIはファクトチェックのやりやすいUIを備えたAIになりそう。参照元URLを明記してあったり、もっというと、Genspark Agent AIみたいに参照元のURLだけでなく、参照した箇所もハイライトしてわかるようにしたり。
*啓蒙活動
利用者に啓蒙活動をするといっても、しょせんここは弱小ブログ。
たいして読んでいる人もいないので、ここで何か言ったところで何も変わらないと思います。偉い人も読んでいるわけありませんし。
AIの発展を願う人は、この記事の内容の拡散または説明が大変ならば、この記事へのURLをSNS,ブログ等で拡散してください。
https://www.youtube.com/watch?v=JxsBWrpX7BQ
gensperk AIも少し触った感じ優秀そう、ファクトチェック機能は素晴らしいUI。ファクトチェックの充実度はたぶんダントツ一位。ハルシネーションも少なめ。変わりに調査に15分ほど。geminiの2,3倍時間がかかる。
だけど、セキュリティ面はちょっと気になった口コミがあったので、ファクトチェック中。。。情報少ないから今は何とも言えない…
(ネット情報は、オールドメディアと同じく、憶測に基づく誤情報も多いから口コミうのみは危険。ファクトチェックは必須)
ハルシネーション=誤情報の話を知って思ったのは、
ニュースをあちこち見ていると、規制に一番積極的なのは村上総務大臣のようです。
「悪質な誤情報」を出した事業者公表へ
ということは、AIは少なからず誤情報が出る可能性があると考えると、日本でAI関係に手を出すと違法と認定され、名前を公表される可能性が高い。
AIの特性考えると日本でAIやるな、ということと同義語。
ハルシネーション以外にも基本的にAIは、deep learning技術を使っているので、みんなが誤情報を言っていたら、AIもそういってしまうこともあり。
例えばほとんどの人が「カラスは白い」と言っていると、AIも「カラスは白い」と誤情報を言いがち。この場合、誤情報を流しているのは、AIというより、不特定多数。
このような場合もAI事業者は社名公表の社会的制裁を受ける?
ちなみに、Google geminiは政治(政治家)に関することは一切答えないようになってる。何言われるかわからないから、無難かもね
・そもそも悪質な定義は?
・意図的な世論誘導目的の返答かどうかはどのように判断するのか具体的な手法は?
・誰がそれを判断?官僚?裁判官? 裁判官の判断は100%正しいといえる?
この前、裁判官の下した袴田さん死刑という判断は冤罪ということで無罪にひっくり返ったよね?人間の判断って100%正しいとは言い切れない、そんなもんだよね。
20年ちょっと前までは、「北朝鮮は日本人の拉致している」というのは誤情報で、それを言う人たちは陰謀論者とレッテルを張り周囲みんなで、邪険に扱ってたよね?
政権と時によって本当のことが変わる。
神様じゃあるまいし、何が本当で、何が偽情報と判断するのは乱暴。
で、、、、誰が(どういう手法)で偽情報と判断?
動かぬ物的証拠があればわかるけど
日本ファクトチェックセンターが偽情報と判断?
→同じ理由で日本ファクトチェックセンターも信用していない。7割がたは正しいかな、と思うけど、3割程度はマスコミ等の世論誘導が混じっていて(委員はオールドメディア出身者)誤情報流しているな、という印象
日本ファクトチェックセンターも全く信用できないから、ユーザーが自分の目でファクトチェックさせる仕組みがいいかと。
・オールドメディアは意図的な世論誘導しているけど、それは野放し?
上の4点、誰しも聞いて納得する明確な回答政府にしてほしいですね。
生成AIのコードに誤情報をわざと出すように業者が仕組めば、そりゃ悪質だね!となるけど、政府にそんなコード読めるような高度なスキルできる人はいないでしょう。
そもそもコードは企業秘密だから、Grokみたいなオープンソース以外は業者はコード公開するはずないし。
(Grokはオープンソースだから、もし悪質な事業者扱いすると、仕込んでいるかソースコード読め!読めない?と多くの人に突っ込まれて炎上するのは必至
オープンソース以外は意図的な悪質な仕組みを組み込んでいるか技術的に検証は不可能。個人の感想で判断するのみ)
「規制」ってAI≒ITの仕組みを知らない人の発想と思ったり…。
となると、消去法的に、各省庁、大臣、与党の国会議員が誤情報かどうか判断。
つまり個人の感想で判断
要は十分に恣意的判断が入るということ。
罰則なしといっても、会社名公表されて風評被害がたてば今後の経営へのダメージ大きいから、それこそ罰金100万円の方がまだダメージが少ないと思うけど。
風評被害=社会的制裁は非常に大きい。
現政権に都合の悪いことを言えば、悪質な誤情報と認定されかねない
例えば個人的見解は置いておき、今話題の例でいえば
103万円の壁、引き上げたほうがいいというと現政権下では誤情報扱い 財政負担があるから引き上げない方がいいというと正しい情報になるということ。
政治的な案件なので、どちらがいいかという個人的意見は控えるとして、意見の分かれる話題でも、悪質な誤情報扱いということにすれば反対意見はつぶして、賛成意見だけにするという運用ができちゃう。
反対意見は認めないってどこの地上の楽園と思っちゃうなー。
これはAI事業者、日本はこんなに新しいことをやりづらい国と思って、どんどん海外に逃亡して、日本のIT敗戦国が加速する一方
どうして、こういう先読みができないんだろう。。。
AIの進歩は日進月歩。数か月前の印象が、今では全然変わることも。
数か月前まではchatGPTの独壇場。
それは間違いなし。
でもこの数か月熾烈な開発競争が進んで、Google gemini AIもほぼ肩を並べてきて、
アメリカのメディア報道を見ると(ダークホース?)Grokが急に性能を上げてきて、
評判もいいみたい
また、全てのAIツールで誤情報=ハルシネーションが低減。
AIのツールは日進月歩で進歩しているから、1年くらい前の記憶にとらわれずに、AIは誤情報ばかりでつかえない(ちょっとは出ることあるけど)と決めつけず、今現在の全体を見たほうがいいみたい
・・・それにしても有力なライバル名で日本企業が一つも出ないのは、規制多めで日本は新しいことがやりづらいから、どんどん日本企業弱体化しているんだなーと実感。。。