Преглед на файлове

make language judgement robuster (#3287)

### What problem does this PR solve?



### Type of change

- [x] Performance Improvement
tags/v0.14.0
Kevin Hu преди 11 месеца
родител
ревизия
d88f0d43ea
No account linked to committer's email address
променени са 1 файла, в които са добавени 2 реда и са изтрити 1 реда
  1. 2
    1
      rag/nlp/query.py

+ 2
- 1
rag/nlp/query.py Целия файл

@@ -63,9 +63,9 @@ class EsQueryer:
rag_tokenizer.tradi2simp(
rag_tokenizer.strQ2B(
txt.lower()))).strip()
txt = EsQueryer.rmWWW(txt)

if not self.isChinese(txt):
txt = EsQueryer.rmWWW(txt)
tks = rag_tokenizer.tokenize(txt).split(" ")
tks_w = self.tw.weights(tks)
tks_w = [(re.sub(r"[ \\\"'^]", "", tk), w) for tk, w in tks_w]
@@ -89,6 +89,7 @@ class EsQueryer:
return False
return True

txt = EsQueryer.rmWWW(txt)
qs, keywords = [], []
for tt in self.tw.split(txt)[:256]: # .split(" "):
if not tt:

Loading…
Отказ
Запис