Переглянути джерело

feat: increase read timeout of OpenAI Compatible API, Ollama, Nvidia LLM (#3538)

tags/0.6.4
takatost 1 рік тому
джерело
коміт
9b8861e3e1
Аккаунт користувача з таким Email не знайдено

+ 2
- 2
api/core/model_runtime/model_providers/nvidia/llm/llm.py Переглянути файл

endpoint_url, endpoint_url,
headers=headers, headers=headers,
json=data, json=data,
timeout=(10, 60)
timeout=(10, 300)
) )


if response.status_code != 200: if response.status_code != 200:
endpoint_url, endpoint_url,
headers=headers, headers=headers,
json=data, json=data,
timeout=(10, 60),
timeout=(10, 300),
stream=stream stream=stream
) )



+ 1
- 1
api/core/model_runtime/model_providers/ollama/llm/llm.py Переглянути файл

endpoint_url, endpoint_url,
headers=headers, headers=headers,
json=data, json=data,
timeout=(10, 60),
timeout=(10, 300),
stream=stream stream=stream
) )



+ 2
- 2
api/core/model_runtime/model_providers/openai_api_compatible/llm/llm.py Переглянути файл

endpoint_url, endpoint_url,
headers=headers, headers=headers,
json=data, json=data,
timeout=(10, 60)
timeout=(10, 300)
) )


if response.status_code != 200: if response.status_code != 200:
endpoint_url, endpoint_url,
headers=headers, headers=headers,
json=data, json=data,
timeout=(10, 60),
timeout=(10, 300),
stream=stream stream=stream
) )



Завантаження…
Відмінити
Зберегти