This commit is contained in:
parent
7230cbc767
commit
0e849085c5
1 changed files with 4 additions and 6 deletions
|
@ -93,14 +93,12 @@ pipx install 'litellm[proxy]'
|
|||
|
||||
```bash
|
||||
model_list:
|
||||
- model_name: llama3
|
||||
- model_name: saiga-llama3
|
||||
litellm_params:
|
||||
model: ollama/llama3
|
||||
- model_name: qwen2
|
||||
model: ollama/saiga-llama3
|
||||
- model_name: название_модели
|
||||
litellm_params:
|
||||
model: ollama/qwen2
|
||||
|
||||
# ну далее по шаблону, если есть другие модели
|
||||
model: ollama/название_модели
|
||||
```
|
||||
### Сервис systemd {#litellm_systemd}
|
||||
Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
|
||||
|
|
Loading…
Reference in a new issue