Parcourir la source

make language judgement robuster (#3287)

### What problem does this PR solve?



### Type of change

- [x] Performance Improvement
tags/v0.14.0
Kevin Hu il y a 11 mois
Parent
révision
d88f0d43ea
Aucun compte lié à l'adresse e-mail de l'auteur
1 fichiers modifiés avec 2 ajouts et 1 suppressions
  1. 2
    1
      rag/nlp/query.py

+ 2
- 1
rag/nlp/query.py Voir le fichier

@@ -63,9 +63,9 @@ class EsQueryer:
rag_tokenizer.tradi2simp(
rag_tokenizer.strQ2B(
txt.lower()))).strip()
txt = EsQueryer.rmWWW(txt)

if not self.isChinese(txt):
txt = EsQueryer.rmWWW(txt)
tks = rag_tokenizer.tokenize(txt).split(" ")
tks_w = self.tw.weights(tks)
tks_w = [(re.sub(r"[ \\\"'^]", "", tk), w) for tk, w in tks_w]
@@ -89,6 +89,7 @@ class EsQueryer:
return False
return True

txt = EsQueryer.rmWWW(txt)
qs, keywords = [], []
for tt in self.tw.split(txt)[:256]: # .split(" "):
if not tt:

Chargement…
Annuler
Enregistrer