Parcourir la source

Fix xinference rerank issue. (#4499)

### What problem does this PR solve?
#4495
### Type of change

- [x] Bug Fix (non-breaking change which fixes an issue)
tags/v0.16.0
Kevin Hu il y a 9 mois
Parent
révision
3805621564
Aucun compte lié à l'adresse e-mail de l'auteur
1 fichiers modifiés avec 5 ajouts et 1 suppressions
  1. 5
    1
      rag/llm/rerank_model.py

+ 5
- 1
rag/llm/rerank_model.py Voir le fichier

def similarity(self, query: str, texts: list): def similarity(self, query: str, texts: list):
if len(texts) == 0: if len(texts) == 0:
return np.array([]), 0 return np.array([]), 0
pairs = [(query, truncate(t, 4096)) for t in texts]
token_count = 0
for _, t in pairs:
token_count += num_tokens_from_string(t)
data = { data = {
"model": self.model_name, "model": self.model_name,
"query": query, "query": query,
rank = np.zeros(len(texts), dtype=float) rank = np.zeros(len(texts), dtype=float)
for d in res["results"]: for d in res["results"]:
rank[d["index"]] = d["relevance_score"] rank[d["index"]] = d["relevance_score"]
return rank, res["meta"]["tokens"]["input_tokens"] + res["meta"]["tokens"]["output_tokens"]
return rank, token_count




class LocalAIRerank(Base): class LocalAIRerank(Base):

Chargement…
Annuler
Enregistrer