Преглед на файлове
enable 3 char words to finegrind tokenize (#2210)
### What problem does this PR solve?
### Type of change
- [x] Performance Improvement
tags/v0.11.0
Kevin Hu
преди 1 година
родител
ревизия
6d232f1bdb
No account linked to committer's email address
променени са
1 файла, в които са
добавени 1 реда и са
изтрити 1 реда
-
rag/nlp/query.py
|
|
|
@@ -83,7 +83,7 @@ class EsQueryer: |
|
|
|
), tks |
|
|
|
|
|
|
|
def need_fine_grained_tokenize(tk): |
|
|
|
if len(tk) < 4: |
|
|
|
if len(tk) < 3: |
|
|
|
return False |
|
|
|
if re.match(r"[0-9a-z\.\+#_\*-]+$", tk): |
|
|
|
return False |