Quellcode durchsuchen

make language judgement robuster (#3287)

### What problem does this PR solve?



### Type of change

- [x] Performance Improvement
tags/v0.14.0
Kevin Hu vor 11 Monaten
Ursprung
Commit
d88f0d43ea
Es ist kein Account mit der E-Mail-Adresse des Committers verbunden
1 geänderte Dateien mit 2 neuen und 1 gelöschten Zeilen
  1. 2
    1
      rag/nlp/query.py

+ 2
- 1
rag/nlp/query.py Datei anzeigen

@@ -63,9 +63,9 @@ class EsQueryer:
rag_tokenizer.tradi2simp(
rag_tokenizer.strQ2B(
txt.lower()))).strip()
txt = EsQueryer.rmWWW(txt)

if not self.isChinese(txt):
txt = EsQueryer.rmWWW(txt)
tks = rag_tokenizer.tokenize(txt).split(" ")
tks_w = self.tw.weights(tks)
tks_w = [(re.sub(r"[ \\\"'^]", "", tk), w) for tk, w in tks_w]
@@ -89,6 +89,7 @@ class EsQueryer:
return False
return True

txt = EsQueryer.rmWWW(txt)
qs, keywords = [], []
for tt in self.tw.split(txt)[:256]: # .split(" "):
if not tt:

Laden…
Abbrechen
Speichern