ソースを参照

Refactor: Improve the try catch logic for XinferenceEmbed (#9128)

### What problem does this PR solve?

Improve the try catch logic for XinferenceEmbed

### Type of change


- [x] Refactoring
tags/v0.20.0
Stephen Hu 3ヶ月前
コミット
20b4d88098
コミッターのメールアドレスに関連付けられたアカウントが存在しません
1個のファイルの変更4行の追加2行の削除
  1. 4
    2
      rag/llm/embedding_model.py

+ 4
- 2
rag/llm/embedding_model.py ファイルの表示

@@ -378,8 +378,9 @@ class XinferenceEmbed(Base):
ress = []
total_tokens = 0
for i in range(0, len(texts), batch_size):
res = self.client.embeddings.create(input=texts[i : i + batch_size], model=self.model_name)
res = None
try:
res = self.client.embeddings.create(input=texts[i : i + batch_size], model=self.model_name)
ress.extend([d.embedding for d in res.data])
total_tokens += self.total_token_count(res)
except Exception as _e:
@@ -387,8 +388,9 @@ class XinferenceEmbed(Base):
return np.array(ress), total_tokens

def encode_queries(self, text):
res = self.client.embeddings.create(input=[text], model=self.model_name)
res = None
try:
res = self.client.embeddings.create(input=[text], model=self.model_name)
return np.array(res.data[0].embedding), self.total_token_count(res)
except Exception as _e:
log_exception(_e, res)

読み込み中…
キャンセル
保存