Procházet zdrojové kódy

make language judgement robuster (#3287)

### What problem does this PR solve?



### Type of change

- [x] Performance Improvement
tags/v0.14.0
Kevin Hu před 11 měsíci
rodič
revize
d88f0d43ea
Žádný účet není propojen s e-mailovou adresou tvůrce revize
1 změnil soubory, kde provedl 2 přidání a 1 odebrání
  1. 2
    1
      rag/nlp/query.py

+ 2
- 1
rag/nlp/query.py Zobrazit soubor

@@ -63,9 +63,9 @@ class EsQueryer:
rag_tokenizer.tradi2simp(
rag_tokenizer.strQ2B(
txt.lower()))).strip()
txt = EsQueryer.rmWWW(txt)

if not self.isChinese(txt):
txt = EsQueryer.rmWWW(txt)
tks = rag_tokenizer.tokenize(txt).split(" ")
tks_w = self.tw.weights(tks)
tks_w = [(re.sub(r"[ \\\"'^]", "", tk), w) for tk, w in tks_w]
@@ -89,6 +89,7 @@ class EsQueryer:
return False
return True

txt = EsQueryer.rmWWW(txt)
qs, keywords = [], []
for tt in self.tw.split(txt)[:256]: # .split(" "):
if not tt:

Načítá se…
Zrušit
Uložit