社内SEゆうきの徒然日記

社内SE歴20年以上の経験からIT全般についてつぶやきます

生成AIの誤情報=ハルシネーション対策に有効なRAG機能って何?

k5963k.hateblo.jp

この記事を書いている途中で、conhere AIにはRAG機能がついているというのを知り、

意味を調べてみた。

パープレAIに聞いてみた。

「そもそもRAG機能って何?」

-------------------------------------------------

生成AIにおける「ハルシネーション」とは、AIが事実に基づかない誤った情報や架空のデータを生成してしまう現象を指します。この問題は、生成AIの信頼性を損なう大きな課題とされています。その対策として注目されているのが「RAG(Retrieval-Augmented Generation)」という技術です。

RAGの概要と仕組み

RAGは、生成AIが外部データベースやドキュメントを活用することで、回答の正確性を向上させる手法です。この技術では以下の2つのプロセスが組み合わされています:
  1. 検索フェーズ: ユーザーの質問に関連する情報を外部データベースや信頼できる文書から検索します。
  2. 生成フェーズ: 検索で得られた情報を基に、大規模言語モデル(LLM)が回答を生成します。この際、参照元の情報が回答に反映されるため、回答の根拠が明確になります1510

RAGによるハルシネーション対策の効果

RAGを活用することで、以下のような利点があります:
  • 正確性の向上: LLMが外部情報を参照するため、学習データに含まれていない最新情報や特定分野の知識も反映可能です59
  • 根拠の提示: 回答に使用された情報源が明示されるため、ユーザーは回答内容を確認・検証できます613
  • 業務適用性の向上: 特にカスタマーサポートやFAQ対応など、正確性が求められる業務で有効です27

実装上の注意点

ただし、RAGにも限界があります。以下の点に注意が必要です:
  • データベースの品質: 使用する外部データが信頼できない場合、誤った情報が参照されるリスクがあります。そのため、データベースの定期的な更新と管理が重要です410
  • 完全な防止は困難: RAGを導入してもハルシネーションを完全に防ぐことはできず、追加的な対策(例:プロンプトエンジニアリングやファクトチェック)が必要です812.

応用例

企業では、自社内で蓄積したドキュメントやFAQデータベースをRAGに統合することで、業務効率化や顧客対応力向上に役立てています。また、「RAG Fusion」のような進化版技術も登場し、より深い知識反映が可能になっています37. 総じて、RAGは生成AIのハルシネーション問題への有効な対策として注目されており、その活用は今後さらに広がると期待されています。
 
---------------------------------
 

あと何気なく使っていたperplexity(パープレ)

kiririmode.hatenablog.jp

RAG機能積んでたから、パープレは誤情報=ハルシネーション少なかったんだ!

 

 

 

おまけ・・・・

reposub.jp

〆(._.)メモメモ

 

 

ちょっと前まで、AI(chatGPT)誤情報だらけで使えん! と思ってたけど、RAG機能を使えば使える!

パープレでchatGPT o3 mini モデルを使えるようになったから、それを選べば、chatGPT with RAG機能になるのか…

・・・・試した結果…これ、かなり使える!

 

chatGPT本家で使うより、パープレ経由で使う方がRAG機能も使えていいかも!

 

k5963k.hateblo.jp

 

・・・・・だんだん話題がマニアックに・・・

ついてこれなくなる人多そう 汗

 

 

一言でいえば

「RAG機能は神。RAG機能の付いたAI推奨」

これだけ覚えておけばいいのかな

 

ってことは、同じくRAG機能を積んでいるconhere ai (富士通提供のtakane (kozuchi))も誤情報少ないのかな、期待大

 

---

 

RAG(Retrieval-Augmented Generation)機能を持つLLM(大規模言語モデル)は、従来のLLMといくつかの重要な点で異なります。それぞれの特徴を以下にまとめます。

RAG機能と従来のLLMの違い

項目 RAG搭載LLM 従来のLLM
データソース 外部の知識ベースやデータベースからリアルタイムで情報を取得し、応答生成に利用136 モデルのトレーニング時に使用された静的なデータセットに依存134
情報の最新性 リアルタイムで最新情報を取得可能なため、情報が常に最新で正確178 トレーニング時点以降の新しい情報には対応できず、古いデータに基づく応答を生成する可能性がある14
ハルシネーション(誤回答) 外部データ参照により、誤回答や無関係な情報生成を減少513 内部知識のみを使用するため、誤った情報や不正確な内容が生成されるリスクが高い113
カスタマイズ性 外部データソースを変更するだけで簡単に更新可能。再トレーニングは不要16 モデルを更新するには再トレーニングやファインチューニングが必要で、コストと時間がかかる14
応答の文脈適応性 外部データを動的に取得して文脈に合わせた応答生成が可能35 文脈は内部パラメータとトークン制限内で処理されるため、長期的な文脈保持が難しい場合がある37
計算リソース 外部データ検索による追加コストが発生する場合もある15 内部パラメータのみを使用するため、計算リソースは比較的安定している15

主な利点と用途

  • RAG搭載LLM:
    • 最新情報が必要な分野(例: ニュース、金融、技術)で有用137
    • カスタマーサポートや専門的な質問応答など、正確性が要求される場面で活躍56
    • ドメイン特化型アプリケーションへの迅速な適応が可能56
  • 従来のLLM:
    • 静的な知識ベースに基づくタスク(例: 一般的な会話や創造的な文章生成)で効果的。
    • リアルタイム情報が不要な用途では計算コストが低い。
これらの違いから、RAG搭載LLMは動的で変化の激しい環境に適しており、従来のLLMは静的かつ汎用的なタスクに向いていると言えます。

 

 

 

 

にほんブログ村 IT技術ブログ IT技術メモへ
にほんブログ村 IT技術ブログ セキュリティ・暗号化へ
.