ソースを参照

Fix: fix special delimiter parsing issue (#5448)

### What problem does this PR solve?

Fix special delimiter parsing issue #5382 

### Type of change

- [x] Bug Fix (non-breaking change which fixes an issue)
tags/v0.17.0
Yongteng Lei 8ヶ月前
コミット
83d0949498
コミッターのメールアドレスに関連付けられたアカウントが存在しません
1個のファイルの変更3行の追加1行の削除
  1. 3
    1
      deepdoc/parser/txt_parser.py

+ 3
- 1
deepdoc/parser/txt_parser.py ファイルの表示

s = t s = t
if s < len(delimiter): if s < len(delimiter):
dels.extend(list(delimiter[s:])) dels.extend(list(delimiter[s:]))
dels = [re.escape(d) for d in delimiter if d]
dels = [re.escape(d) for d in dels if d]
dels = [d for d in dels if d] dels = [d for d in dels if d]
dels = "|".join(dels) dels = "|".join(dels)
secs = re.split(r"(%s)" % dels, txt) secs = re.split(r"(%s)" % dels, txt)
for sec in secs: for sec in secs:
if re.match(f"^{dels}$", sec):
continue
add_chunk(sec) add_chunk(sec)


return [[c, ""] for c in cks] return [[c, ""] for c in cks]

読み込み中…
キャンセル
保存