超长上下文 LLM 与 RAG 技术，在文档问答场景下谁更强？我动手做了一个对比实验结论：大模型长上下文对 RAG 技术就是降维打击。不期望大模型都达到 200K、2M 这种级别的上下文长度，但至少应该达到 32K、64K 的长度且保证模型质量不下降。长上下文可以极大的简化 RAG…

Warning: Missing argument 3 for write(), called in /www/wwwroot/shijiebei05.com/incs/robot.php on line 68 and defined in /www/wwwroot/shijiebei05.com/incs/data.php on line 487

site stats

超长上下文 LLM 与 RAG 技术，在文档问答场景下谁更强？我动手做了一个对比实验结论：大模型长上下文对 RAG 技术就是降维打击。不期望大模型都达到 200K、2M 这种级别的上下文长度，但至少应该达到 32K、64K 的长度且保证模型质量不下降。长上下文可以极大的简化 RAG…

发布时间: 2024-04-07 23:20:26

1分

数据加载中

关注推特

收听电报

2

1

0

超长上下文 LLM 与 RAG 技术，在文档问答场景下谁更强？我动手做了一个对比实验
结论：大模型长上下文对 RAG 技术就是降维打击。不期望大模型都达到 200K、2M 这种级别的上下文长度，但至少应该达到 32K、64K 的长度且保证模型质量不下降。长上下文可以极大的简化 RAG…
时政
( twitter.com )

1年前由 heycc 提交

超长上下文 LLM 与 RAG 技术，在文档问答场景下谁更强？我动手做了一个对比实验

结论：大模型长上下文对 RAG 技术就是降维打击。不期望大模型都达到 200K、2M 这种级别的上下文长度，但至少应该达到 32K、64K 的长度且保证模型质量不下降。长上下文可以极大的简化 RAG 方案，使得开发文档问答应用变得更简单。

点击图片查看原图

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

非常非常值得一看的来自 LangChain 团队的 RAG 视频：当 LLM 的上下文足够长了就不需要 RAG 了吗？
—— RAG在长上下文大语言模型(LLM)中的应用探讨…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:21:08

2

2

1

1

论文推荐：模块化RAG（
可以理解为是对 RAG 最新的综述，基本覆盖了所有的 RAG 技术。
作者尝试用数学或者伪代码定义 RAG flow 倒是挺有意思。
小感想：RAG 等技术天然有缺陷，不要死磕，雕花雕不好就再等等，做之前想想 ROI。
时政
( arxiv.org)

11个月前 • 九原客 • -- 点击 0 评论

3

2

1

1

NVIDIA发布一个可以运行在PC上本地模型：Chat With RTX
该模型可以与你自己的内容（文档、笔记、视频或其他数据）相连接，
利用检索增强生成（RAG）、TensorRT-LLM和RTX加速技术，用户可以个性化地创建一个聊天机器人。
快速获得上下文相关的答案。所有操作均在用户本地完成！
它专为搭载NVIDIA…
IT技术
( twitter.com)

1年前 • 小互 • -- 点击 • 下载视频 0 评论

00:01:05

4

2

1

1

RAG 并没有大家想象得那么复杂，要对技术祛魅，本质上就是 3 个部分组成。
感谢把之前写的两篇关于 RAG 原理的文章整理了一下，这样图非常清晰！
IT技术
( devv.ai)

1年前 • Jiayuan (Forrest) • -- 点击 0 评论

5

2

1

1

转译：一种全新的 RAG 方法让文档理解更上一层楼
RAG 技术已经迅速成为在实际应用中部署大型语言模型（LLMs）的首选方式。但大部分现有技术仍面临一个局限：它们只能从文档中检索到一小段连续的文本，这限制了对整个文档上下文全面理解的能力。
现有一种创新方法，名为…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

2

1

1

推荐阅读：在 RAG 流程中提高检索效果：融合传统关键词与现代向量搜索的混合式搜索技术 [译]
这篇文章探讨了如何结合传统关键词搜索与现代向量搜索来获得更相关的搜索结果。
原文：Improving Retrieval Performance in RAG Pipelines with Hybrid Search

IT技术
( towardsdatascience.com)

1年前 • 宝玉 • -- 点击 0 评论

7

2

1

1

你以为是 100 K 上下文，其实是 RAG ……
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

8

2

1

1

发现个好东西💎
这是一篇用于零基础入门大语言模型（Large Language Model, LLM）底层技术原理的飞书文档
其最直接面向群体为非科班出身但想要了解AI技术原理的AI爱好者们
这篇文档从浅到深，覆盖非常非常多的LLM相关内容细节，并且持续更新迭代最新的技术进展
链接如下：👇
时政
( s3tlxskbq3.feishu.cn)

1年前 • vigorxu • -- 点击 0 评论

9

2

1

1

这张“RAG 技术现状”的图画的真好，不用怀疑，肯定是 excalidraw 画的。
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

0.06622 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by recha and the Google Privacy Policy and Terms of Service apply.

关注推特

').appendTo(document.body); } $(document).ready(function() { $("a.format_output").bind("click", function(e) { var tid = $(this).closest("div.entry").find("a.title").attr("vid"); if (tid) { clickCounter(tid); } }); });