Stephen Hu 2 个月前
父节点
当前提交
7713e14d6a
没有帐户链接到提交者的电子邮件
共有 1 个文件被更改,包括 14 次插入3 次删除
  1. 14
    3
      rag/llm/chat_model.py

+ 14
- 3
rag/llm/chat_model.py 查看文件

@@ -1099,9 +1099,20 @@ class GeminiChat(Base):

if system:
self.model._system_instruction = content_types.to_content(system)
response = self.model.generate_content(hist, generation_config=gen_conf)
ans = response.text
return ans, response.usage_metadata.total_token_count
retry_count = 0
max_retries = 3
while retry_count < max_retries:
try:
response = self.model.generate_content(hist, generation_config=gen_conf)
ans = response.text
return ans, response.usage_metadata.total_token_count
except Exception as e:
retry_count += 1
if retry_count >= max_retries:
raise e
else:
import time
time.sleep(50)

def chat_streamly(self, system, history, gen_conf={}, **kwargs):
from google.generativeai.types import content_types

正在加载...
取消
保存