Просмотр исходного кода

fix: inner invoke llm token too long (#20391)

tags/1.4.2
Novice 5 месяцев назад
Родитель
Сommit
9bbd646f40
Аккаунт пользователя с таким Email не найден
1 измененных файлов: 2 добавлений и 1 удалений
  1. 2
    1
      api/core/plugin/backwards_invocation/model.py

+ 2
- 1
api/core/plugin/backwards_invocation/model.py Просмотреть файл

@@ -58,6 +58,7 @@ class PluginModelBackwardsInvocation(BaseBackwardsInvocation):
LLMNode.deduct_llm_quota(
tenant_id=tenant.id, model_instance=model_instance, usage=chunk.delta.usage
)
chunk.prompt_messages = []
yield chunk

return handle()
@@ -68,7 +69,7 @@ class PluginModelBackwardsInvocation(BaseBackwardsInvocation):
def handle_non_streaming(response: LLMResult) -> Generator[LLMResultChunk, None, None]:
yield LLMResultChunk(
model=response.model,
prompt_messages=response.prompt_messages,
prompt_messages=[],
system_fingerprint=response.system_fingerprint,
delta=LLMResultChunkDelta(
index=0,

Загрузка…
Отмена
Сохранить