Procházet zdrojové kódy

fix bge rerank normalize issue (#988)

### What problem does this PR solve?


### Type of change

- [x] Bug Fix (non-breaking change which fixes an issue)
tags/v0.7.0
KevinHuSh před 1 rokem
rodič
revize
77363a0875
Žádný účet není propojen s e-mailovou adresou tvůrce revize
1 změnil soubory, kde provedl 3 přidání a 0 odebrání
  1. 3
    0
      rag/llm/rerank_model.py

+ 3
- 0
rag/llm/rerank_model.py Zobrazit soubor

from api.utils.file_utils import get_home_cache_dir from api.utils.file_utils import get_home_cache_dir
from rag.utils import num_tokens_from_string, truncate from rag.utils import num_tokens_from_string, truncate


def sigmoid(x):
return 1 / (1 + np.exp(-x))


class Base(ABC): class Base(ABC):
def __init__(self, key, model_name): def __init__(self, key, model_name):
res = [] res = []
for i in range(0, len(pairs), batch_size): for i in range(0, len(pairs), batch_size):
scores = self._model.compute_score(pairs[i:i + batch_size], max_length=2048) scores = self._model.compute_score(pairs[i:i + batch_size], max_length=2048)
scores = sigmoid(np.array(scores))
res.extend(scores) res.extend(scores)
return np.array(res), token_count return np.array(res), token_count



Načítá se…
Zrušit
Uložit