You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

README_zh.md 12KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334
  1. <div align="center">
  2. <a href="https://demo.ragflow.io/">
  3. <img src="web/src/assets/logo-with-text.png" width="350" alt="ragflow logo">
  4. </a>
  5. </div>
  6. <p align="center">
  7. <a href="./README.md">English</a> |
  8. <a href="./README_zh.md">简体中文</a> |
  9. <a href="./README_ja.md">日本語</a> |
  10. <a href="./README_ko.md">한국어</a>
  11. </p>
  12. <p align="center">
  13. <a href="https://github.com/infiniflow/ragflow/releases/latest">
  14. <img src="https://img.shields.io/github/v/release/infiniflow/ragflow?color=blue&label=Latest%20Release" alt="Latest Release">
  15. </a>
  16. <a href="https://demo.ragflow.io" target="_blank">
  17. <img alt="Static Badge" src="https://img.shields.io/badge/Online-Demo-4e6b99"></a>
  18. <a href="https://hub.docker.com/r/infiniflow/ragflow" target="_blank">
  19. <img src="https://img.shields.io/badge/docker_pull-ragflow:v0.10.0-brightgreen" alt="docker pull infiniflow/ragflow:v0.10.0"></a>
  20. <a href="https://github.com/infiniflow/ragflow/blob/main/LICENSE">
  21. <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?labelColor=d4eaf7&color=2e6cc4" alt="license">
  22. </a>
  23. </p>
  24. <h4 align="center">
  25. <a href="https://ragflow.io/docs/dev/">Document</a> |
  26. <a href="https://github.com/infiniflow/ragflow/issues/162">Roadmap</a> |
  27. <a href="https://twitter.com/infiniflowai">Twitter</a> |
  28. <a href="https://discord.gg/4XxujFgUN7">Discord</a> |
  29. <a href="https://demo.ragflow.io">Demo</a>
  30. </h4>
  31. ## 💡 RAGFlow 是什么?
  32. [RAGFlow](https://ragflow.io/) 是一款基于深度文档理解构建的开源 RAG(Retrieval-Augmented Generation)引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程,结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
  33. ## 🎮 Demo 试用
  34. 请登录网址 [https://demo.ragflow.io](https://demo.ragflow.io) 试用 demo。
  35. <div align="center" style="margin-top:20px;margin-bottom:20px;">
  36. <img src="https://github.com/infiniflow/ragflow/assets/7248/2f6baa3e-1092-4f11-866d-36f6a9d075e5" width="1200"/>
  37. <img src="https://github.com/infiniflow/ragflow/assets/12318111/b083d173-dadc-4ea9-bdeb-180d7df514eb" width="1200"/>
  38. </div>
  39. ## 🔥 近期更新
  40. - 2024-08-22 支持用RAG技术实现从自然语言到SQL语句的转换。
  41. - 2024-08-02 支持 GraphRAG 启发于 [graphrag](https://github.com/microsoft/graphrag) 和思维导图。
  42. - 2024-07-23 支持解析音频文件。
  43. - 2024-07-21 支持更多的大模型供应商(LocalAI/OpenRouter/StepFun/Nvidia)。
  44. - 2024-07-18 在Graph中支持算子:Wikipedia、PubMed、Baidu和Duckduckgo。
  45. - 2024-07-08 支持 Agentic RAG: 基于 [Graph](./graph/README.md) 的工作流。
  46. - 2024-06-27 Q&A 解析方式支持 Markdown 文件和 Docx 文件。
  47. - 2024-06-27 支持提取出 Docx 文件中的图片。
  48. - 2024-06-27 支持提取出 Markdown 文件中的表格。
  49. - 2024-06-06 支持 [Self-RAG](https://huggingface.co/papers/2310.11511) ,在对话设置里面默认勾选。
  50. - 2024-05-30 集成 [BCE](https://github.com/netease-youdao/BCEmbedding) 和 [BGE](https://github.com/FlagOpen/FlagEmbedding) 重排序模型。
  51. - 2024-05-23 实现 [RAPTOR](https://arxiv.org/html/2401.18059v1) 提供更好的文本检索。
  52. - 2024-05-15 集成大模型 OpenAI GPT-4o。
  53. ## 🌟 主要功能
  54. ### 🍭 **"Quality in, quality out"**
  55. - 基于[深度文档理解](./deepdoc/README.md),能够从各类复杂格式的非结构化数据中提取真知灼见。
  56. - 真正在无限上下文(token)的场景下快速完成大海捞针测试。
  57. ### 🍱 **基于模板的文本切片**
  58. - 不仅仅是智能,更重要的是可控可解释。
  59. - 多种文本模板可供选择
  60. ### 🌱 **有理有据、最大程度降低幻觉(hallucination)**
  61. - 文本切片过程可视化,支持手动调整。
  62. - 有理有据:答案提供关键引用的快照并支持追根溯源。
  63. ### 🍔 **兼容各类异构数据源**
  64. - 支持丰富的文件类型,包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据、网页等。
  65. ### 🛀 **全程无忧、自动化的 RAG 工作流**
  66. - 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
  67. - 大语言模型 LLM 以及向量模型均支持配置。
  68. - 基于多路召回、融合重排序。
  69. - 提供易用的 API,可以轻松集成到各类企业系统。
  70. ## 🔎 系统架构
  71. <div align="center" style="margin-top:20px;margin-bottom:20px;">
  72. <img src="https://github.com/infiniflow/ragflow/assets/12318111/d6ac5664-c237-4200-a7c2-a4a00691b485" width="1000"/>
  73. </div>
  74. ## 🎬 快速开始
  75. ### 📝 前提条件
  76. - CPU >= 4 核
  77. - RAM >= 16 GB
  78. - Disk >= 50 GB
  79. - Docker >= 24.0.0 & Docker Compose >= v2.26.1
  80. > 如果你并没有在本机安装 Docker(Windows、Mac,或者 Linux), 可以参考文档 [Install Docker Engine](https://docs.docker.com/engine/install/) 自行安装。
  81. ### 🚀 启动服务器
  82. 1. 确保 `vm.max_map_count` 不小于 262144:
  83. > 如需确认 `vm.max_map_count` 的大小:
  84. >
  85. > ```bash
  86. > $ sysctl vm.max_map_count
  87. > ```
  88. >
  89. > 如果 `vm.max_map_count` 的值小于 262144,可以进行重置:
  90. >
  91. > ```bash
  92. > # 这里我们设为 262144:
  93. > $ sudo sysctl -w vm.max_map_count=262144
  94. > ```
  95. >
  96. > 你的改动会在下次系统重启时被重置。如果希望做永久改动,还需要在 **/etc/sysctl.conf** 文件里把 `vm.max_map_count` 的值再相应更新一遍:
  97. >
  98. > ```bash
  99. > vm.max_map_count=262144
  100. > ```
  101. 2. 克隆仓库:
  102. ```bash
  103. $ git clone https://github.com/infiniflow/ragflow.git
  104. ```
  105. 3. 进入 **docker** 文件夹,利用提前编译好的 Docker 镜像启动服务器:
  106. ```bash
  107. $ cd ragflow/docker
  108. $ chmod +x ./entrypoint.sh
  109. $ docker compose -f docker-compose-CN.yml up -d
  110. ```
  111. > 请注意,运行上述命令会自动下载 RAGFlow 的开发版本 docker 镜像。如果你想下载并运行特定版本的 docker 镜像,请在 docker/.env 文件中找到 RAGFLOW_VERSION 变量,将其改为对应版本。例如 RAGFLOW_VERSION=v0.10.0,然后运行上述命令。
  112. > 核心镜像文件大约 9 GB,可能需要一定时间拉取。请耐心等待。
  113. 4. 服务器启动成功后再次确认服务器状态:
  114. ```bash
  115. $ docker logs -f ragflow-server
  116. ```
  117. _出现以下界面提示说明服务器启动成功:_
  118. ```bash
  119. ____ ______ __
  120. / __ \ ____ _ ____ _ / ____// /____ _ __
  121. / /_/ // __ `// __ `// /_ / // __ \| | /| / /
  122. / _, _// /_/ // /_/ // __/ / // /_/ /| |/ |/ /
  123. /_/ |_| \__,_/ \__, //_/ /_/ \____/ |__/|__/
  124. /____/
  125. * Running on all addresses (0.0.0.0)
  126. * Running on http://127.0.0.1:9380
  127. * Running on http://x.x.x.x:9380
  128. INFO:werkzeug:Press CTRL+C to quit
  129. ```
  130. > 如果您跳过这一步系统确认步骤就登录 RAGFlow,你的浏览器有可能会提示 `network anomaly` 或 `网络异常`,因为 RAGFlow 可能并未完全启动成功。
  131. 5. 在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。
  132. > 上面这个例子中,您只需输入 http://IP_OF_YOUR_MACHINE 即可:未改动过配置则无需输入端口(默认的 HTTP 服务端口 80)。
  133. 6. 在 [service_conf.yaml](./docker/service_conf.yaml) 文件的 `user_default_llm` 栏配置 LLM factory,并在 `API_KEY` 栏填写和你选择的大模型相对应的 API key。
  134. > 详见 [llm_api_key_setup](https://ragflow.io/docs/dev/llm_api_key_setup)。
  135. _好戏开始,接着奏乐接着舞!_
  136. ## 🔧 系统配置
  137. 系统配置涉及以下三份文件:
  138. - [.env](./docker/.env):存放一些基本的系统环境变量,比如 `SVR_HTTP_PORT`、`MYSQL_PASSWORD`、`MINIO_PASSWORD` 等。
  139. - [service_conf.yaml](./docker/service_conf.yaml):配置各类后台服务。
  140. - [docker-compose-CN.yml](./docker/docker-compose-CN.yml): 系统依赖该文件完成启动。
  141. 请务必确保 [.env](./docker/.env) 文件中的变量设置与 [service_conf.yaml](./docker/service_conf.yaml) 文件中的配置保持一致!
  142. > [./docker/README](./docker/README.md) 文件提供了环境变量设置和服务配置的详细信息。请**一定要**确保 [./docker/README](./docker/README.md) 文件当中列出来的环境变量的值与 [service_conf.yaml](./docker/service_conf.yaml) 文件当中的系统配置保持一致。
  143. 如需更新默认的 HTTP 服务端口(80), 可以在 [docker-compose-CN.yml](./docker/docker-compose-CN.yml) 文件中将配置 `80:80` 改为 `<YOUR_SERVING_PORT>:80`。
  144. > 所有系统配置都需要通过系统重启生效:
  145. >
  146. > ```bash
  147. > $ docker compose -f docker-compose-CN.yml up -d
  148. > ```
  149. ## 🛠️ 源码编译、安装 Docker 镜像
  150. 如需从源码安装 Docker 镜像:
  151. ```bash
  152. $ git clone https://github.com/infiniflow/ragflow.git
  153. $ cd ragflow/
  154. $ docker build -t infiniflow/ragflow:v0.10.0 .
  155. $ cd ragflow/docker
  156. $ chmod +x ./entrypoint.sh
  157. $ docker compose up -d
  158. ```
  159. ## 🛠️ 源码启动服务
  160. 如需从源码启动服务,请参考以下步骤:
  161. 1. 克隆仓库
  162. ```bash
  163. $ git clone https://github.com/infiniflow/ragflow.git
  164. $ cd ragflow/
  165. ```
  166. 2. 创建虚拟环境(确保已安装 Anaconda 或 Miniconda)
  167. ```bash
  168. $ conda create -n ragflow python=3.11.0
  169. $ conda activate ragflow
  170. $ pip install -r requirements.txt
  171. ```
  172. 如果 cuda > 12.0,需额外执行以下命令:
  173. ```bash
  174. $ pip uninstall -y onnxruntime-gpu
  175. $ pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
  176. ```
  177. 3. 拷贝入口脚本并配置环境变量
  178. ```bash
  179. $ cp docker/entrypoint.sh .
  180. $ vi entrypoint.sh
  181. ```
  182. 使用以下命令获取python路径及ragflow项目路径:
  183. ```bash
  184. $ which python
  185. $ pwd
  186. ```
  187. 将上述 `which python` 的输出作为 `PY` 的值,将 `pwd` 的输出作为 `PYTHONPATH` 的值。
  188. `LD_LIBRARY_PATH` 如果环境已经配置好,可以注释掉。
  189. ```bash
  190. # 此处配置需要按照实际情况调整,两个 export 为新增配置
  191. PY=${PY}
  192. export PYTHONPATH=${PYTHONPATH}
  193. # 可选:添加 Hugging Face 镜像
  194. export HF_ENDPOINT=https://hf-mirror.com
  195. ```
  196. 4. 启动基础服务
  197. ```bash
  198. $ cd docker
  199. $ docker compose -f docker-compose-base.yml up -d
  200. ```
  201. 5. 检查配置文件
  202. 确保**docker/.env**中的配置与**conf/service_conf.yaml**中配置一致, **service_conf.yaml**中相关服务的IP地址与端口应该改成本机IP地址及容器映射出来的端口。
  203. 6. 启动服务
  204. ```bash
  205. $ chmod +x ./entrypoint.sh
  206. $ bash ./entrypoint.sh
  207. ```
  208. 7. 启动WebUI服务
  209. ```bash
  210. $ cd web
  211. $ npm install --registry=https://registry.npmmirror.com --force
  212. $ vim .umirc.ts
  213. # 修改proxy.target为http://127.0.0.1:9380
  214. $ npm run dev
  215. ```
  216. 8. 部署WebUI服务
  217. ```bash
  218. $ cd web
  219. $ npm install --registry=https://registry.npmmirror.com --force
  220. $ umi build
  221. $ mkdir -p /ragflow/web
  222. $ cp -r dist /ragflow/web
  223. $ apt install nginx -y
  224. $ cp ../docker/nginx/proxy.conf /etc/nginx
  225. $ cp ../docker/nginx/nginx.conf /etc/nginx
  226. $ cp ../docker/nginx/ragflow.conf /etc/nginx/conf.d
  227. $ systemctl start nginx
  228. ```
  229. ## 📚 技术文档
  230. - [Quickstart](https://ragflow.io/docs/dev/)
  231. - [User guide](https://ragflow.io/docs/dev/category/user-guides)
  232. - [References](https://ragflow.io/docs/dev/category/references)
  233. - [FAQ](https://ragflow.io/docs/dev/faq)
  234. ## 📜 路线图
  235. 详见 [RAGFlow Roadmap 2024](https://github.com/infiniflow/ragflow/issues/162) 。
  236. ## 🏄 开源社区
  237. - [Discord](https://discord.gg/4XxujFgUN7)
  238. - [Twitter](https://twitter.com/infiniflowai)
  239. - [GitHub Discussions](https://github.com/orgs/infiniflow/discussions)
  240. ## 🙌 贡献指南
  241. RAGFlow 只有通过开源协作才能蓬勃发展。秉持这一精神,我们欢迎来自社区的各种贡献。如果您有意参与其中,请查阅我们的 [贡献者指南](./docs/references/CONTRIBUTING.md) 。
  242. ## 🤝 商务合作
  243. - [预约咨询](https://aao615odquw.feishu.cn/share/base/form/shrcnjw7QleretCLqh1nuPo1xxh)
  244. ## 👥 加入社区
  245. 扫二维码添加 RAGFlow 小助手,进 RAGFlow 交流群。
  246. <p align="center">
  247. <img src="https://github.com/infiniflow/ragflow/assets/7248/bccf284f-46f2-4445-9809-8f1030fb7585" width=50% height=50%>
  248. </p>