Использование нескольких моделей в llitellm
All checks were successful
/ site (push) Successful in 2s
All checks were successful
/ site (push) Successful in 2s
This commit is contained in:
parent
d74f68bdf0
commit
b2e1184571
1 changed files with 17 additions and 4 deletions
|
@ -66,8 +66,22 @@ pipx install 'litellm[proxy]'
|
|||
```
|
||||
Нам нужна именно **`litellm[proxy]`**, а не просто **`litellm`**!
|
||||
|
||||
Теперь нужно собственно, запустить модель, с которой впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant), я буду использовать **`qwen2`**. \
|
||||
Для этого я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
|
||||
Теперь нужно собственно, запустить модели, с которыми впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant). \
|
||||
Однако, перед тем, как мы перейдём к запуску наших моделей, нам нужно создать файлик **`config.yaml`**, который мы впоследствии "скормим" **litellm**
|
||||
|
||||
```bash
|
||||
model_list:
|
||||
- model_name: ollama/llama3
|
||||
litellm_params:
|
||||
model: ollama/llama3
|
||||
- model_name: ollama/qwen2
|
||||
litellm_params:
|
||||
model: ollama/qwen2
|
||||
|
||||
# ну далее по шаблону, если есть другие модели
|
||||
```
|
||||
|
||||
Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
|
||||
```bash
|
||||
/home/ваш_пользователь/.config/systemd/user/litellm.service
|
||||
```
|
||||
|
@ -77,7 +91,7 @@ pipx install 'litellm[proxy]'
|
|||
Description=LiteLLM for Ollama
|
||||
|
||||
[Service]
|
||||
ExecStart=/home/ваш_пользователь/.local/bin/litellm --model ollama/qwen2
|
||||
ExecStart=/home/ваш_пользователь/.local/bin/litellm --config путь_до/config.yaml
|
||||
Restart=on-failure
|
||||
RestartSec=5s
|
||||
|
||||
|
@ -107,6 +121,5 @@ Image generation provider
|
|||
Speech-to-text
|
||||
потому что модель такое не умеет
|
||||
```
|
||||
Я не знаю, как запустить несколько моделей параллельно, поэтому мне приходится редактировать и перезапускать мой **systemd** сервис, чтобы менять модель. Если вы знаете как это сделать - [напишите мне](/contacts).
|
||||
|
||||
Статья написана без использования ИИ. Хотя, наверное, это и так видно 🙃
|
Loading…
Reference in a new issue