This commit is contained in:
parent
7230cbc767
commit
0e849085c5
1 changed files with 4 additions and 6 deletions
|
@ -93,14 +93,12 @@ pipx install 'litellm[proxy]'
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
model_list:
|
model_list:
|
||||||
- model_name: llama3
|
- model_name: saiga-llama3
|
||||||
litellm_params:
|
litellm_params:
|
||||||
model: ollama/llama3
|
model: ollama/saiga-llama3
|
||||||
- model_name: qwen2
|
- model_name: название_модели
|
||||||
litellm_params:
|
litellm_params:
|
||||||
model: ollama/qwen2
|
model: ollama/название_модели
|
||||||
|
|
||||||
# ну далее по шаблону, если есть другие модели
|
|
||||||
```
|
```
|
||||||
### Сервис systemd {#litellm_systemd}
|
### Сервис systemd {#litellm_systemd}
|
||||||
Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
|
Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
|
||||||
|
|
Loading…
Reference in a new issue