ソースを参照

fix: use Gemini response metadata for token counting (#11226)

tags/0.13.0
Shota Totsuka 11ヶ月前
コミット
594666eb61
コミッターのメールアドレスに関連付けられたアカウントが存在しません
1個のファイルの変更6行の追加2行の削除
  1. 6
    2
      api/core/model_runtime/model_providers/google/llm/llm.py

+ 6
- 2
api/core/model_runtime/model_providers/google/llm/llm.py ファイルの表示

@@ -254,8 +254,12 @@ class GoogleLargeLanguageModel(LargeLanguageModel):
assistant_prompt_message = AssistantPromptMessage(content=response.text)

# calculate num tokens
prompt_tokens = self.get_num_tokens(model, credentials, prompt_messages)
completion_tokens = self.get_num_tokens(model, credentials, [assistant_prompt_message])
if response.usage_metadata:
prompt_tokens = response.usage_metadata.prompt_token_count
completion_tokens = response.usage_metadata.candidates_token_count
else:
prompt_tokens = self.get_num_tokens(model, credentials, prompt_messages)
completion_tokens = self.get_num_tokens(model, credentials, [assistant_prompt_message])

# transform usage
usage = self._calc_response_usage(model, credentials, prompt_tokens, completion_tokens)

読み込み中…
キャンセル
保存