Kaynağa Gözat

fix web import url is too long (#6402)

tags/0.6.15
Jyong 1 yıl önce
ebeveyn
işleme
f55876bcc5
No account linked to committer's email address
1 değiştirilmiş dosya ile 5 ekleme ve 1 silme
  1. 5
    1
      api/services/dataset_service.py

+ 5
- 1
api/services/dataset_service.py Dosyayı Görüntüle

@@ -845,13 +845,17 @@ class DocumentService:
'only_main_content': website_info.get('only_main_content', False),
'mode': 'crawl',
}
if url.length > 255:
document_name = url[:200] + '...'
else:
document_name = url
document = DocumentService.build_document(
dataset, dataset_process_rule.id,
document_data["data_source"]["type"],
document_data["doc_form"],
document_data["doc_language"],
data_source_info, created_from, position,
account, url, batch
account, document_name, batch
)
db.session.add(document)
db.session.flush()

Loading…
İptal
Kaydet