Переглянути джерело

Fix: the error of Ollama embeddings interface returning "500 Internal Server Error" (#6350)

### What problem does this PR solve?

Fix the error where the Ollama embeddings interface returns a “500
Internal Server Error” when using models such as xiaobu-embedding-v2 for
embedding.

### Type of change

- [x] Bug Fix (non-breaking change which fixes an issue)
tags/v0.18.0
zhou 7 місяці тому
джерело
коміт
85480f6292
Аккаунт користувача з таким Email не знайдено
1 змінених файлів з 5 додано та 3 видалено
  1. 5
    3
      rag/llm/embedding_model.py

+ 5
- 3
rag/llm/embedding_model.py Переглянути файл

@@ -260,14 +260,16 @@ class OllamaEmbed(Base):
tks_num = 0
for txt in texts:
res = self.client.embeddings(prompt=txt,
model=self.model_name)
model=self.model_name,
options={"use_mmap": True})
arr.append(res["embedding"])
tks_num += 128
return np.array(arr), tks_num

def encode_queries(self, text):
res = self.client.embeddings(prompt=text,
model=self.model_name)
model=self.model_name,
options={"use_mmap": True})
return np.array(res["embedding"]), 128


@@ -834,4 +836,4 @@ class GPUStackEmbed(OpenAIEmbed):

print(key,base_url)
self.client = OpenAI(api_key=key, base_url=base_url)
self.model_name = model_name
self.model_name = model_name

Завантаження…
Відмінити
Зберегти