ソースを参照

fix:external dataset weight rerank bug (#24533)

Co-authored-by: huangzhuo <huangzhuo1@xiaomi.com>
tags/1.8.0
huangzhuo1949 2ヶ月前
コミット
98473e9d4f
コミッターのメールアドレスに関連付けられたアカウントが存在しません
1個のファイルの変更8行の追加1行の削除
  1. 8
    1
      api/core/rag/rerank/weight_rerank.py

+ 8
- 1
api/core/rag/rerank/weight_rerank.py ファイルの表示

@@ -39,9 +39,16 @@ class WeightRerankRunner(BaseRerankRunner):
unique_documents = []
doc_ids = set()
for document in documents:
if document.metadata is not None and document.metadata["doc_id"] not in doc_ids:
if (
document.provider == "dify"
and document.metadata is not None
and document.metadata["doc_id"] not in doc_ids
):
doc_ids.add(document.metadata["doc_id"])
unique_documents.append(document)
else:
if document not in unique_documents:
unique_documents.append(document)

documents = unique_documents


読み込み中…
キャンセル
保存