Bläddra i källkod

fix qwen-vl blocking mode (#13052)

tags/0.15.3
heyszt 9 månader sedan
förälder
incheckning
6c31ee36cd
Inget konto är kopplat till bidragsgivarens mejladress
1 ändrade filer med 5 tillägg och 1 borttagningar
  1. 5
    1
      api/core/model_runtime/model_providers/tongyi/llm/llm.py

+ 5
- 1
api/core/model_runtime/model_providers/tongyi/llm/llm.py Visa fil

@@ -219,8 +219,12 @@ class TongyiLargeLanguageModel(LargeLanguageModel):
if response.status_code not in {200, HTTPStatus.OK}:
raise ServiceUnavailableError(response.message)
# transform assistant message to prompt message
resp_content = response.output.choices[0].message.content
# special for qwen-vl
if isinstance(resp_content, list):
resp_content = resp_content[0]["text"]
assistant_prompt_message = AssistantPromptMessage(
content=response.output.choices[0].message.content,
content=resp_content,
)

# transform usage

Laddar…
Avbryt
Spara