Pārlūkot izejas kodu

fix: wrong token number when using qa_model and answer is updated. (#21574)

tags/1.5.1
NeatGuyCoding pirms 4 mēnešiem
vecāks
revīzija
33f0457a23
Revīzijas autora e-pasta adrese nav piesaistīta nevienam kontam
1 mainītis faili ar 1 papildinājumiem un 0 dzēšanām
  1. 1
    0
      api/services/dataset_service.py

+ 1
- 0
api/services/dataset_service.py Parādīt failu

@@ -2207,6 +2207,7 @@ class SegmentService:

# calc embedding use tokens
if document.doc_form == "qa_model":
segment.answer = args.answer
tokens = embedding_model.get_text_embedding_num_tokens(texts=[content + segment.answer])[0]
else:
tokens = embedding_model.get_text_embedding_num_tokens(texts=[content])[0]

Notiek ielāde…
Atcelt
Saglabāt