Przeglądaj źródła

Fix: encode detect error. (#6006)

### What problem does this PR solve?

#5967

### Type of change

- [x] Bug Fix (non-breaking change which fixes an issue)
tags/v0.17.2
Kevin Hu 7 miesięcy temu
rodzic
commit
e05cdc2f9c
No account linked to committer's email address
1 zmienionych plików z 2 dodań i 1 usunięć
  1. 2
    1
      rag/nlp/__init__.py

+ 2
- 1
rag/nlp/__init__.py Wyświetl plik

@@ -53,7 +53,8 @@ all_codecs = [
def find_codec(blob):
detected = chardet.detect(blob[:1024])
if detected['confidence'] > 0.5:
return detected['encoding']
if detected['encoding'] == "ascii":
return "utf-8"

for c in all_codecs:
try:

Ładowanie…
Anuluj
Zapisz