You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
пре 1 година
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307
  1. <div align="center">
  2. <a href="https://demo.ragflow.io/">
  3. <img src="web/src/assets/logo-with-text.png" width="350" alt="ragflow logo">
  4. </a>
  5. </div>
  6. <p align="center">
  7. <a href="./README.md">English</a> |
  8. <a href="./README_zh.md">简体中文</a> |
  9. <a href="./README_ja.md">日本語</a> |
  10. <a href="./README_ko.md">한국어</a>
  11. </p>
  12. <p align="center">
  13. <a href="https://github.com/infiniflow/ragflow/releases/latest">
  14. <img src="https://img.shields.io/github/v/release/infiniflow/ragflow?color=blue&label=Latest%20Release" alt="Latest Release">
  15. </a>
  16. <a href="https://demo.ragflow.io" target="_blank">
  17. <img alt="Static Badge" src="https://img.shields.io/badge/Online-Demo-4e6b99"></a>
  18. <a href="https://hub.docker.com/r/infiniflow/ragflow" target="_blank">
  19. <img src="https://img.shields.io/badge/docker_pull-ragflow:v0.12.0-brightgreen" alt="docker pull infiniflow/ragflow:v0.12.0"></a>
  20. <a href="https://github.com/infiniflow/ragflow/blob/main/LICENSE">
  21. <img height="21" src="https://img.shields.io/badge/License-Apache--2.0-ffffff?labelColor=d4eaf7&color=2e6cc4" alt="license">
  22. </a>
  23. </p>
  24. <h4 align="center">
  25. <a href="https://ragflow.io/docs/dev/">Document</a> |
  26. <a href="https://github.com/infiniflow/ragflow/issues/162">Roadmap</a> |
  27. <a href="https://twitter.com/infiniflowai">Twitter</a> |
  28. <a href="https://discord.gg/4XxujFgUN7">Discord</a> |
  29. <a href="https://demo.ragflow.io">Demo</a>
  30. </h4>
  31. ## 💡 RAGFlow 是什么?
  32. [RAGFlow](https://ragflow.io/) 是一款基于深度文档理解构建的开源 RAG(Retrieval-Augmented Generation)引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程,结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
  33. ## 🎮 Demo 试用
  34. 请登录网址 [https://demo.ragflow.io](https://demo.ragflow.io) 试用 demo。
  35. <div align="center" style="margin-top:20px;margin-bottom:20px;">
  36. <img src="https://github.com/infiniflow/ragflow/assets/7248/2f6baa3e-1092-4f11-866d-36f6a9d075e5" width="1200"/>
  37. <img src="https://github.com/infiniflow/ragflow/assets/12318111/b083d173-dadc-4ea9-bdeb-180d7df514eb" width="1200"/>
  38. </div>
  39. ## 🔥 近期更新
  40. - 2024-09-29 优化多轮对话.
  41. - 2024-09-13 增加知识库问答搜索模式。
  42. - 2024-09-09 在 Agent 中加入医疗问诊模板。
  43. - 2024-08-22 支持用 RAG 技术实现从自然语言到 SQL 语句的转换。
  44. - 2024-08-02 支持 GraphRAG 启发于 [graphrag](https://github.com/microsoft/graphrag) 和思维导图。
  45. - 2024-07-23 支持解析音频文件。
  46. - 2024-07-08 支持 Agentic RAG: 基于 [Graph](./agent/README.md) 的工作流。
  47. - 2024-06-27 Q&A 解析方式支持 Markdown 文件和 Docx 文件,支持提取出 Docx 文件中的图片和 Markdown 文件中的表格。
  48. - 2024-05-23 实现 [RAPTOR](https://arxiv.org/html/2401.18059v1) 提供更好的文本检索。
  49. ## 🌟 主要功能
  50. ### 🍭 **"Quality in, quality out"**
  51. - 基于[深度文档理解](./deepdoc/README.md),能够从各类复杂格式的非结构化数据中提取真知灼见。
  52. - 真正在无限上下文(token)的场景下快速完成大海捞针测试。
  53. ### 🍱 **基于模板的文本切片**
  54. - 不仅仅是智能,更重要的是可控可解释。
  55. - 多种文本模板可供选择
  56. ### 🌱 **有理有据、最大程度降低幻觉(hallucination)**
  57. - 文本切片过程可视化,支持手动调整。
  58. - 有理有据:答案提供关键引用的快照并支持追根溯源。
  59. ### 🍔 **兼容各类异构数据源**
  60. - 支持丰富的文件类型,包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据、网页等。
  61. ### 🛀 **全程无忧、自动化的 RAG 工作流**
  62. - 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
  63. - 大语言模型 LLM 以及向量模型均支持配置。
  64. - 基于多路召回、融合重排序。
  65. - 提供易用的 API,可以轻松集成到各类企业系统。
  66. ## 🔎 系统架构
  67. <div align="center" style="margin-top:20px;margin-bottom:20px;">
  68. <img src="https://github.com/infiniflow/ragflow/assets/12318111/d6ac5664-c237-4200-a7c2-a4a00691b485" width="1000"/>
  69. </div>
  70. ## 🎬 快速开始
  71. ### 📝 前提条件
  72. - CPU >= 4 核
  73. - RAM >= 16 GB
  74. - Disk >= 50 GB
  75. - Docker >= 24.0.0 & Docker Compose >= v2.26.1
  76. > 如果你并没有在本机安装 Docker(Windows、Mac,或者 Linux), 可以参考文档 [Install Docker Engine](https://docs.docker.com/engine/install/) 自行安装。
  77. ### 🚀 启动服务器
  78. 1. 确保 `vm.max_map_count` 不小于 262144:
  79. > 如需确认 `vm.max_map_count` 的大小:
  80. >
  81. > ```bash
  82. > $ sysctl vm.max_map_count
  83. > ```
  84. >
  85. > 如果 `vm.max_map_count` 的值小于 262144,可以进行重置:
  86. >
  87. > ```bash
  88. > # 这里我们设为 262144:
  89. > $ sudo sysctl -w vm.max_map_count=262144
  90. > ```
  91. >
  92. > 你的改动会在下次系统重启时被重置。如果希望做永久改动,还需要在 **/etc/sysctl.conf** 文件里把 `vm.max_map_count` 的值再相应更新一遍:
  93. >
  94. > ```bash
  95. > vm.max_map_count=262144
  96. > ```
  97. 2. 克隆仓库:
  98. ```bash
  99. $ git clone https://github.com/infiniflow/ragflow.git
  100. ```
  101. 3. 进入 **docker** 文件夹,利用提前编译好的 Docker 镜像启动服务器:
  102. ```bash
  103. $ cd ragflow/docker
  104. $ chmod +x ./entrypoint.sh
  105. $ docker compose -f docker-compose.yml up -d
  106. ```
  107. > 请注意,运行上述命令会自动下载 RAGFlow 的开发版本 docker 镜像。如果你想下载并运行特定版本的 docker 镜像,请在 docker/.env 文件中找到 RAGFLOW_IMAGE 变量,将其改为对应版本。例如 `RAGFLOW_IMAGE=infiniflow/ragflow:v0.12.0`,然后运行上述命令。
  108. > 核心镜像下载大小为 9 GB,可能需要一定时间拉取。请耐心等待。
  109. 4. 服务器启动成功后再次确认服务器状态:
  110. ```bash
  111. $ docker logs -f ragflow-server
  112. ```
  113. _出现以下界面提示说明服务器启动成功:_
  114. ```bash
  115. ____ ___ ______ ______ __
  116. / __ \ / | / ____// ____// /____ _ __
  117. / /_/ // /| | / / __ / /_ / // __ \| | /| / /
  118. / _, _// ___ |/ /_/ // __/ / // /_/ /| |/ |/ /
  119. /_/ |_|/_/ |_|\____//_/ /_/ \____/ |__/|__/
  120. * Running on all addresses (0.0.0.0)
  121. * Running on http://127.0.0.1:9380
  122. * Running on http://x.x.x.x:9380
  123. INFO:werkzeug:Press CTRL+C to quit
  124. ```
  125. > 如果您跳过这一步系统确认步骤就登录 RAGFlow,你的浏览器有可能会提示 `network abnormal` 或 `网络异常`,因为 RAGFlow 可能并未完全启动成功。
  126. 5. 在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。
  127. > 上面这个例子中,您只需输入 http://IP_OF_YOUR_MACHINE 即可:未改动过配置则无需输入端口(默认的 HTTP 服务端口 80)。
  128. 6. 在 [service_conf.yaml](./docker/service_conf.yaml) 文件的 `user_default_llm` 栏配置 LLM factory,并在 `API_KEY` 栏填写和你选择的大模型相对应的 API key。
  129. > 详见 [llm_api_key_setup](https://ragflow.io/docs/dev/llm_api_key_setup)。
  130. _好戏开始,接着奏乐接着舞!_
  131. ## 🔧 系统配置
  132. 系统配置涉及以下三份文件:
  133. - [.env](./docker/.env):存放一些基本的系统环境变量,比如 `SVR_HTTP_PORT`、`MYSQL_PASSWORD`、`MINIO_PASSWORD` 等。
  134. - [service_conf.yaml](./docker/service_conf.yaml):配置各类后台服务。
  135. - [docker-compose.yml](./docker/docker-compose.yml): 系统依赖该文件完成启动。
  136. 请务必确保 [.env](./docker/.env) 文件中的变量设置与 [service_conf.yaml](./docker/service_conf.yaml) 文件中的配置保持一致!
  137. 如果不能访问镜像站点hub.docker.com或者模型站点huggingface.co,请按照[.env](./docker/.env)注释修改`RAGFLOW_IMAGE`和`HF_ENDPOINT`。
  138. > [./docker/README](./docker/README.md) 文件提供了环境变量设置和服务配置的详细信息。请**一定要**确保 [./docker/README](./docker/README.md) 文件当中列出来的环境变量的值与 [service_conf.yaml](./docker/service_conf.yaml) 文件当中的系统配置保持一致。
  139. 如需更新默认的 HTTP 服务端口(80), 可以在 [docker-compose.yml](./docker/docker-compose.yml) 文件中将配置 `80:80` 改为 `<YOUR_SERVING_PORT>:80`。
  140. > 所有系统配置都需要通过系统重启生效:
  141. >
  142. > ```bash
  143. > $ docker compose -f docker-compose.yml up -d
  144. > ```
  145. ## 🪛 源码编译 Docker 镜像(不含 embedding 模型)
  146. 本 Docker 镜像大小约 1 GB 左右并且依赖外部的大模型和 embedding 服务。
  147. ```bash
  148. git clone https://github.com/infiniflow/ragflow.git
  149. cd ragflow/
  150. pip3 install huggingface-hub
  151. python3 download_deps.py
  152. docker build -f Dockerfile.slim -t infiniflow/ragflow:dev-slim .
  153. ```
  154. ## 🪚 源码编译 Docker 镜像(包含 embedding 模型)
  155. 本 Docker 大小约 9 GB 左右。由于已包含 embedding 模型,所以只需依赖外部的大模型服务即可。
  156. ```bash
  157. git clone https://github.com/infiniflow/ragflow.git
  158. cd ragflow/
  159. pip3 install huggingface-hub
  160. python3 download_deps.py
  161. docker build -f Dockerfile -t infiniflow/ragflow:dev .
  162. ```
  163. ## 🔨 以源代码启动服务
  164. 1. 安装 Poetry。如已经安装,可跳过本步骤:
  165. ```bash
  166. curl -sSL https://install.python-poetry.org | python3 -
  167. ```
  168. 2. 下载源代码并安装 Python 依赖:
  169. ```bash
  170. git clone https://github.com/infiniflow/ragflow.git
  171. cd ragflow/
  172. export POETRY_VIRTUALENVS_CREATE=true POETRY_VIRTUALENVS_IN_PROJECT=true
  173. ~/.local/bin/poetry install --sync --no-root # install RAGFlow dependent python modules
  174. ```
  175. 3. 通过 Docker Compose 启动依赖的服务(MinIO, Elasticsearch, Redis, and MySQL):
  176. ```bash
  177. docker compose -f docker/docker-compose-base.yml up -d
  178. ```
  179. 在 `/etc/hosts` 中添加以下代码,将 **docker/service_conf.yaml** 文件中的所有 host 地址都解析为 `127.0.0.1`:
  180. ```
  181. 127.0.0.1 es01 mysql minio redis
  182. ```
  183. 在文件 **docker/service_conf.yaml** 中,对照 **docker/.env** 的配置将 mysql 端口更新为 `5455`,es 端口更新为 `1200`。
  184. 4. 如果无法访问 HuggingFace,可以把环境变量 `HF_ENDPOINT` 设成相应的镜像站点:
  185. ```bash
  186. export HF_ENDPOINT=https://hf-mirror.com
  187. ```
  188. 5. 启动后端服务:
  189. ```bash
  190. source .venv/bin/activate
  191. export PYTHONPATH=$(pwd)
  192. bash docker/launch_backend_service.sh
  193. ```
  194. 6. 安装前端依赖:
  195. ```bash
  196. cd web
  197. npm install --force
  198. ```
  199. 7. 配置前端,将 **.umirc.ts** 的 `proxy.target` 更新为 `http://127.0.0.1:9380`:
  200. 8. 启动前端服务:
  201. ```bash
  202. npm run dev
  203. ```
  204. _以下界面说明系统已经成功启动:_
  205. ![](https://github.com/user-attachments/assets/0daf462c-a24d-4496-a66f-92533534e187)
  206. ## 📚 技术文档
  207. - [Quickstart](https://ragflow.io/docs/dev/)
  208. - [User guide](https://ragflow.io/docs/dev/category/user-guides)
  209. - [References](https://ragflow.io/docs/dev/category/references)
  210. - [FAQ](https://ragflow.io/docs/dev/faq)
  211. ## 📜 路线图
  212. 详见 [RAGFlow Roadmap 2024](https://github.com/infiniflow/ragflow/issues/162) 。
  213. ## 🏄 开源社区
  214. - [Discord](https://discord.gg/4XxujFgUN7)
  215. - [Twitter](https://twitter.com/infiniflowai)
  216. - [GitHub Discussions](https://github.com/orgs/infiniflow/discussions)
  217. ## 🙌 贡献指南
  218. RAGFlow 只有通过开源协作才能蓬勃发展。秉持这一精神,我们欢迎来自社区的各种贡献。如果您有意参与其中,请查阅我们的 [贡献者指南](./CONTRIBUTING.md) 。
  219. ## 🤝 商务合作
  220. - [预约咨询](https://aao615odquw.feishu.cn/share/base/form/shrcnjw7QleretCLqh1nuPo1xxh)
  221. ## 👥 加入社区
  222. 扫二维码添加 RAGFlow 小助手,进 RAGFlow 交流群。
  223. <p align="center">
  224. <img src="https://github.com/infiniflow/ragflow/assets/7248/bccf284f-46f2-4445-9809-8f1030fb7585" width=50% height=50%>
  225. </p>