Преглед изворни кода

nvidia rerank top n missed (#8185)

tags/0.8.0
Jyong пре 1 година
родитељ
комит
2d690801d1
No account linked to committer's email address
1 измењених фајлова са 4 додато и 2 уклоњено
  1. 4
    2
      api/core/model_runtime/model_providers/nvidia/rerank/rerank.py

+ 4
- 2
api/core/model_runtime/model_providers/nvidia/rerank/rerank.py Прегледај датотеку

@@ -54,7 +54,6 @@ class NvidiaRerankModel(RerankModel):
"query": {"text": query},
"passages": [{"text": doc} for doc in docs],
}

session = requests.Session()
response = session.post(invoke_url, headers=headers, json=payload)
response.raise_for_status()
@@ -71,7 +70,10 @@ class NvidiaRerankModel(RerankModel):
)

rerank_documents.append(rerank_document)

if rerank_documents:
rerank_documents = sorted(rerank_documents, key=lambda x: x.score, reverse=True)
if top_n:
rerank_documents = rerank_documents[:top_n]
return RerankResult(model=model, docs=rerank_documents)
except requests.HTTPError as e:
raise InvokeServerUnavailableError(str(e))

Loading…
Откажи
Сачувај