소스 검색

enable 3 char words to finegrind tokenize (#2210)

### What problem does this PR solve?


### Type of change


- [x] Performance Improvement
tags/v0.11.0
Kevin Hu 1 년 전
부모
커밋
6d232f1bdb
No account linked to committer's email address
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1
    1
      rag/nlp/query.py

+ 1
- 1
rag/nlp/query.py 파일 보기

@@ -83,7 +83,7 @@ class EsQueryer:
), tks

def need_fine_grained_tokenize(tk):
if len(tk) < 4:
if len(tk) < 3:
return False
if re.match(r"[0-9a-z\.\+#_\*-]+$", tk):
return False

Loading…
취소
저장