Parcourir la source

Refa: Update LLM stream response type to Generator (#9420)

### What problem does this PR solve?

Change return type of _generate_streamly from str to Generator[str,
None, None] to properly type hint streaming responses.

### Type of change

- [x] Refactoring
tags/v0.20.2
Liu An il y a 2 mois
Parent
révision
d7b4e84cda
Aucun compte lié à l'adresse e-mail de l'auteur
1 fichiers modifiés avec 2 ajouts et 2 suppressions
  1. 2
    2
      agent/component/llm.py

+ 2
- 2
agent/component/llm.py Voir le fichier

@@ -17,7 +17,7 @@ import json
import logging
import os
import re
from typing import Any
from typing import Any, Generator

import json_repair
from copy import deepcopy
@@ -154,7 +154,7 @@ class LLM(ComponentBase):
return self.chat_mdl.chat(msg[0]["content"], msg[1:], self._param.gen_conf(), **kwargs)
return self.chat_mdl.chat(msg[0]["content"], msg[1:], self._param.gen_conf(), images=self.imgs, **kwargs)

def _generate_streamly(self, msg:list[dict], **kwargs) -> str:
def _generate_streamly(self, msg:list[dict], **kwargs) -> Generator[str, None, None]:
ans = ""
last_idx = 0
endswith_think = False

Chargement…
Annuler
Enregistrer