はてなブックマーク

本記事では、RAGの性能を高めるための「InForage」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けに「社内データ検索サービス」を提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「InForage」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー InForageは、RAGの精度を上げるための新しい手法です。BAAIの研究者らによって2025年5月に提案されました。 InForageは、情報探索理論（Information Foraging Theory）という、「動物が餌を探す行動をモデル化した理論」に着想を得た手法です。野生の動物が嗅覚を使って獲物にたどり着くイメー

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの文書の検索精度を既存のシステムに付け加える形で、精度を引き上げることのできるRRA(Rational Retrieval Acts)について紹介します。 サマリー RAGの検索は、Embeddingを用いた検索と登場する単語の重要度を用いた検索(以降「疎なベクトル検索」)の両方を用いることがあります。後者の疎なベクトル検索は未知の語彙や、検索対象のドキュメントに依存する検索で効果を発揮する手法です。 RRAは既存の疎なベクトル検索の後処理として動作するシステムで、ベクトルの重みづけを文書全体の情報を元に調整することで精度を上げる手法となっています。RRAは非常に汎用的な手法なため、あらゆる疎なベクトル検索の後処理として付け加えることでき、さらに検索精度を上げることに成功しています。 従来の疎なベクトル検索とその課題

本記事では、RAGの性能を高めるための「DualRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けに「社内データ検索サービス」を提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「DualRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー DualRAGは、RAGの精度を上げるための新しい手法です。天津大学の研究者らによって2025年4月に提案されました。 最近、OpenAIの「Deep Research」が話題です。この機能では、Web上の情報をもとに深く考え、高精度な回答をすることができます。ただ残念ながら、本家「Deep Research」の実装は、公開されて

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、方針の決定と検索を繰り返すことで複雑な質問に回答するための枠組み「PAR RAG」について紹介します。 サマリー Deep Researchを皮切りに、検索と推論を繰り返してこれまでよりも精度の高い検索を実現する機能は普及し始めています。Deep Researchでは検索対象をWeb上のデータとしていますが、検索対象は独自データにすることも可能です。それが今回紹介するPAR RAGです。PAR RAGでは、単純な検索の繰り返しだけではなく、検索結果の評価と検索の計画を組み立てることで更に高い検索精度を実現しています。 エージェントの過剰推論問題 検索を繰り返すことによる問題 LLMが検索を繰り返すことで、より複雑な問題を解決するアプローチにはいくつかの問題があります。特に繰り返しによって発生する問題は、「ずれの蓄積」です。検

本記事では、RAGの性能を高めるための「REBEL」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「REBEL」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー REBEL (RErank BEyond reLevance) は、RAGの精度を上げるための新しい手法です。MicrosoftとScale AIの研究者らによって2025年3月に提案されました。 通常のRAGでは、リランキングという手法がよく使われます。これは何かというと、ベクトル検索で取ってきた文書を「ユーザーの質問との関連性」で並び替え、上位のX件をLLM

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、取得したドキュメントを圧縮することでLLMの生成速度を最大５倍高速化する手法「OSCAR」について紹介します。速度はもちろん、入力するデータ自体も小さくできるので費用も抑えることができるようになっています。 サマリー RAGは必要な情報を収集して、その情報を元に回答を生成する機能をもっていますが、多くの場合で無関係な情報を含めてLLMに渡します。これにより、LLMへの入力トークンが増加してしまい、文章の生成が完了するまでの速度と料金がより多くかかることになります。 今回紹介する「OSCAR」はLLMに渡す文章を「圧縮」することで入力トークンを抑え、かかる時間と料金を抑えることができます。加えて、精度についてもそのままLLMに検索結果を渡す場合と比べて同程度の精度を実現しています。 問題意識 大量の文章を追加することの悪影響

本記事では、RAGの性能を高めるための「DyPRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「DyPRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 （すみません、ちょっと今回、玄人向けの記事です...🙏） 本題 ざっくりサマリー DyPRAGは、中国科学院自動化研究所の研究者らによって2025年3月に提案されました。 通常のRAGでは、ユーザーの質問に関連する文書を「会話のコンテキスト」としてLLMに渡します（=「In-context learning」）。ただ、このとき文字数が多すぎると、LLMがハルシネーションを起こした

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、AIエージェントが陥る考えすぎ(過剰推論)を防いで、精度を向上させる手法ReaRAGについて紹介します。 サマリー 2025年はAIエージェント元年と呼ばれるように、Web検索やコード生成の分野でAIエージェントの活躍の舞台は広がっています。しかし、AIエージェントの抱える問題の一つ「過剰推論」によって回答にたどり着けなくなる問題があります。ReaRAGはこの「過剰推論」をファインチューニングで防ぐことに成功しています。 ポイントは、ツール(Web検索など)そのものと少ない手数で回答にたどり着くパターンを学習するという点です。ツールの使用方法を学習することは多いですが、利用するツールそのものとそのツールを少ない手数で利用する様子も学習に含めることで、ツール利用の精度が大幅に向上します。 エージェントの過剰推論問題 過剰推論に

本記事では、RAGのソースにするドキュメントに対して、「Q&Aデータ」を自動で生成できる手法「ExpertGenQA」について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGサービスを提供しているスタートアップです。 この記事は何 この記事は、ドキュメントについての高品質なQ&Aを自動生成する手法「ExpertGenQA」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー ExpertGenQAは、専門文書に基づいたにQ&Aを、高品質かつ自動で作成するための新しい手法です。カリフォルニア大学リバーサイド校の研究者らによって2025年3月に提案されました。 通常、RAGを評価するためのデータセットの作成は大変です。特に、ソ

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの要であるEmbeddingの性能を大きく低下させてしまう、文章の特性について解説します。 このブログで紹介している内容は以下の論文を元に作成しておりますので、詳細はそちらをご確認ください。RAGを構成してみたが、どうしても正解の文章を取ってこれない！そんなときはもしかするとこの論文で紹介されているような文章になってしまっているかもしれません。 サマリー Embeddingは、RAGの検索能力の根幹に関わる機能ですが、そのの性能や特性についてはあまり知られてはいません。実は、保管するテキストの文体や分割方法次第で最大90％程度、検索性能が下がってしまいます。 今回紹介する論文では、Embeddingの性能を著しく下げるテキストの特徴を調べ、その性質についてまとめています。特に「文章の位置」、「使用する単語」、「文章量」

本記事では、RAGの幻覚（ハルシネーション）を検出するための「LettuceDetect」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGのハルシネーションを高速に検出するための「LettuceDetect」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー LettuceDetectは、RAGの幻覚を検知するための新しい手法です。LettuceDetect を使うことで、最近流行している「LLM-as-a-Judge」より圧倒的に速く、でも、ほぼ同じ性能で、幻覚を検知できます。KR Labsとウィーン工科大学の研究者らによって2025

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。 今回は、人間の脳の構造をRAGに応用することで検索、回答の性能を向上させる手法「HippoRAG 2」について解説します。 なお、この手法の前身である「HippoRAG」は、過去に解説しておりますので、そちらもぜひご確認ください。 サマリー 一般的なRAGは、単純なベクトル検索を利用しているため、意味の理解をするという面で限界がありました。特に複数回の検索が必要な場合や、質問の意図を解釈する必要がある場合に特に精度が下がります。HippoRAG 2は、人間の長期記憶の仕組みを真似するように、ナレッジグラフを利用することで特に、複雑な質問への回答性能を大幅に向上させています。 問題意識 RAGの意味理解

本記事では、RAGの性能を高めるために「あえてノイズを注入する」手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 OpenAIがリリースした「Deep Research」[1]という機能が話題です。その中で、「AIが、全然関係ない思考を挟んでいる」という、興味深い報告がされています。[2] そして面白いのは、OpenAIが意図的にそうしている可能性が指摘されていることです。 そこで、この記事では、上記の根拠として挙げられている論文[3]について、日本語で簡単にまとめます。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー この論文は、RAGシステムにおいて、ノイズ（=無関係な文書）が与える影響を分析したものです。サ

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、Embeddingの過程で深い思考を行うモデル「O1 Embedder」について紹介します。 サマリー EmbeddingはRAGのシステムにも欠かせないもので、Embeddingの性能がそのままRAGの性能に直結すると言っても過言ではありません。 O1 Embedderは、EmbeddingとOpenAIのo1モデルのような深い思考をかけ合わせたモデルです。この特徴によって、特に複雑なクエリに対するEmbeddingの性能を向上させることに成功しました。 OpenAIのo1モデルに代表するような深い思考を実現するモデルは、クエリを元に様々な観点で考えを洗い出し深く考えることで精度を高めています。

本記事では、RAGの性能を高めるための「DeepRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 OpenAIがリリースした「Deep Research」[1]という機能が話題です。 この記事は、RAGでも「Deepな検索」ができるようにする手法「DeepRAG」の論文[2]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー DeepRAGは、RAGの新しい手法です。DeepRAGを使うことで、データベースを深く・網羅的に検索した上で回答するRAGを、構築することができます。中国科学院ソフトウェア研究所とWeChat AIの研究者らによって2025年2月に提案

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。 今回は、LLMの幻覚を検知するための仕組みとしてGoogleが紹介する「RIG(Retrieval Interleaved Generation)」について解説します。 ちなみにこのRIGは2024年の9月には公開されていたのですが、最近再びポストされていたので、せっかくのこの機会に紹介できればと思います！ サマリー LLMはその性質上ハルシネーションを完全に避けることが難しいです。このため、LLMの利用には利用者側がある程度正確に情報を判断する必要があります。 しかし、その生成された文章の中に情報の参照元があるだけで、真偽の判断の難易度はぐっと下がります。「RIG」はLLMをファインチューニングする

本記事では、RAGの性能を高めるための「Agentic RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、「AIエージェント」をRAGに取り入れた手法である「Agentic RAG」のサーベイ論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Agentic RAG は、RAGの新しい手法です。この論文では、「RAGにAIエージェントを使っている」とはどういう状態なのか、どんなパターンがあるのかまとめられています。クリーブランド・ステート大学の研究者らによって、2025年1月に発表された論文です。 最近、「AIエージェント」が注目されてい

本記事では、RAGの性能を高めるための「VideoRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGで動画も検索できるようにする手法「VideoRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー VideoRAGは、RAGの新しい手法です。VideoRAGを使うことで、動画も、RAGのソースとして活用できるようになります。KAISTとDeepAuto.aiの研究者らによって2025年1月に提案されました。 最近、「マルチモーダルRAG」が注目されています。（※こちらの記事でも2025年のトレンド予想として紹介しました） 通

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、メモリの制約が厳しい環境における効率的なRAGシステムを実現したEdgeRAGを紹介いたします。 サマリー RAGは、大容量の情報にアクセスするための優れた手法で、様々な手法が開発されています。その一方でデータの保管には大量のメモリを消費してしまい、例えばモバイルの環境ではRAGをそのまま運用することが難しいです。 今回紹介するEdgeRAGはメモリに乗せるベクトルデータを賢く選択することでメモリの消費を抑えつつ、大規模なデータセットにおいて従来の手法の3倍程度の速度を実現しています。 問題意識 メモリが少ない環境におけるベクトルDBの問題 RAGを構築する上でベクトルDBは欠かせない存在となって

本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、リアルタイムRAGを使用して長大な文章から正しい解答を高速で取り出す手法MixPRについて解説します。 サマリー LLMの性能は向上を続けていますが、依然として長大なコンテキストには適切に対応できないケースが多いです。この問題に対応するためにRAGが提案されていますが、準備時間やQAタスク以外での性能に疑問が残ります。 この問題に対してMixPRはPageRankと質問をベースとした処理の最適化を組み合わせて、高速に重要なテキストを抜き出せるようになり、高速化と精度の向上に成功しています。 問題意識 高速に検証することの重要性 RAGは、関連ドキュメントさえアップロードしてしまえば、以降簡単にLL

本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しております。 今回は、推論ステップをモンテカルロ木探索を用いて導き出し、複雑なタスク(例えば、数学の問題を解くなど)での性能を大幅に引き上げる手法、「HiAR-ICL」について解説します。 サマリー LLMに複雑なタスクを任せるための手法は、これまで様々なものが提案されてきました。有名なところで「ステップバイステップで考えて」とLLMに伝える手法や、Chain of Thoughtなどが挙げられます。 今回紹介するHiAR-ICLもそんな手法の一つですが、推論ステップの抽象化、推論ステップの探索と個別のタスクへの適応によって同じLLMモデルを使用した他の手法と比べて、高い精度を実現しました。 複雑な推論を得意とするモデルとしてすでにo1モデルが存在していますが、以下の観

本記事では、RAGの性能を高めるための「HtmlRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、WebページをRAGしたい時に回答精度を上げる「HtmlRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 ※前提として、HtmlRAGは、Webから取ってきた文書を使ってRAGしたいときにだけ有効な手法です。PDFやWordでRAGしたい場合、今回あまり関係ないです。 本題 ざっくりサマリー HtmlRAGは、RAGの精度を上げるための新しい手法です。中国人民大学と百川智能（Baichuan Intelligent）の研究者らによって2024年11月に提

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、文章の尤度とドキュメントの配置位置、そして回答の精度の関係性を調査した論文について紹介します。 サマリー RAGにおいて、正解ドキュメントの文章の配置と、回答精度の関連性は以前から注目されていました。この関係性の原因が文章の尤度(文字同士のつながりをLLMがどの程度自然と捉えているかの指標)にあるとしたのが、この論文の大まかな趣旨です。 質問ないしは回答の尤度を用いることで以下のような機能が実現できます。１つ目は、回答の精度をLLMによる出力の前に事前に推測すること。２つ目は、生成された回答がどの程度正しいか推測すること。これらを検証した実験結果について紹介していきます。 問題意識 RAGの精度は

本記事では、RAGの性能を高めるための「Plan×RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「Plan×RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Plan×RAGは、RAGの精度を上げるための新しい手法です。アールト大学とMicrosoft Researchの研究者らによって2024年10月に提案されました。 ざっくり言うと、Plan×RAGとは、「計画を立ててから検索する」手法です。Plan×RAGでは、ユーザーの質問を、まず最初に小さな単位に分解。その後、それらの関係性

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、ドキュメントを活用して専門分野に強いRAGを構築できるSimRAGについて紹介します。 サマリー SimRAGは、専門分野に関するドキュメントを用いてファインチューニングを行うことで、専門分野の質問に高精度で回答するRAGを作成できます。RAGに特化するためのファインチューニングと、専門分野に特化するためのファインチューニングを組み合わせることで高い精度を実現しています。 問題意識 RAGにLLMをそのまま使用することの問題点 多くのRAGのシステムでは、検索を工夫することはありますが、LLMになにか手を加えることはありません。その理由は、LLM自体がある程度万能にドキュメントを理解し回答に用いる

株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。本記事では、RAGの性能を高めるための「LongRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「LongRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LongRAGは、「文書全体を読まないと正答できない」ようなタイプの質問に対しても、RAGの精度を上げるための新しい手法です。中国科学院・清華大学の研究者らによって2024年10月に提案されました。 ざっくり言うと、LongRAGとは、「階層化」+「フィルタリング」です。 2つとも、よく知られたRAGの手法ですが、これらを組み合わせるこ