Pārlūkot izejas kodu

fix: stop completion response not save to db (#351)

tags/0.3.3
John Wang pirms 2 gadiem
vecāks
revīzija
a11f36ca60
Revīzijas autora e-pasta adrese nav piesaistīta nevienam kontam
1 mainītis faili ar 5 papildinājumiem un 1 dzēšanām
  1. 5
    1
      api/core/callback_handler/llm_callback_handler.py

+ 5
- 1
api/core/callback_handler/llm_callback_handler.py Parādīt failu

@@ -75,7 +75,11 @@ class LLMCallbackHandler(BaseCallbackHandler):
self.conversation_message_task.save_message(self.llm_message)

def on_llm_new_token(self, token: str, **kwargs: Any) -> None:
self.conversation_message_task.append_message_text(token)
try:
self.conversation_message_task.append_message_text(token)
except ConversationTaskStoppedException as ex:
self.on_llm_error(error=ex)

self.llm_message.completion += token

def on_llm_error(

Notiek ielāde…
Atcelt
Saglabāt