Quellcode durchsuchen

Refa: Update LLM stream response type to Generator (#9420)

### What problem does this PR solve?

Change return type of _generate_streamly from str to Generator[str,
None, None] to properly type hint streaming responses.

### Type of change

- [x] Refactoring
tags/v0.20.2
Liu An vor 2 Monaten
Ursprung
Commit
d7b4e84cda
Es ist kein Account mit der E-Mail-Adresse des Committers verbunden
1 geänderte Dateien mit 2 neuen und 2 gelöschten Zeilen
  1. 2
    2
      agent/component/llm.py

+ 2
- 2
agent/component/llm.py Datei anzeigen

@@ -17,7 +17,7 @@ import json
import logging
import os
import re
from typing import Any
from typing import Any, Generator

import json_repair
from copy import deepcopy
@@ -154,7 +154,7 @@ class LLM(ComponentBase):
return self.chat_mdl.chat(msg[0]["content"], msg[1:], self._param.gen_conf(), **kwargs)
return self.chat_mdl.chat(msg[0]["content"], msg[1:], self._param.gen_conf(), images=self.imgs, **kwargs)

def _generate_streamly(self, msg:list[dict], **kwargs) -> str:
def _generate_streamly(self, msg:list[dict], **kwargs) -> Generator[str, None, None]:
ans = ""
last_idx = 0
endswith_think = False

Laden…
Abbrechen
Speichern