Использование нескольких моделей в llitellm
All checks were successful
/ site (push) Successful in 2s

This commit is contained in:
Артём 2024-07-21 12:41:47 +03:00
parent d74f68bdf0
commit b2e1184571
No known key found for this signature in database
GPG key ID: EEFBB39006B28920

View file

@ -66,8 +66,22 @@ pipx install 'litellm[proxy]'
```
Нам нужна именно **`litellm[proxy]`**, а не просто **`litellm`**!
Теперь нужно собственно, запустить модель, с которой впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant), я буду использовать **`qwen2`**. \
Для этого я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
Теперь нужно собственно, запустить модели, с которыми впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant). \
Однако, перед тем, как мы перейдём к запуску наших моделей, нам нужно создать файлик **`config.yaml`**, который мы впоследствии "скормим" **litellm**
```bash
model_list:
- model_name: ollama/llama3
litellm_params:
model: ollama/llama3
- model_name: ollama/qwen2
litellm_params:
model: ollama/qwen2
# ну далее по шаблону, если есть другие модели
```
Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
```bash
/home/ваш_пользователь/.config/systemd/user/litellm.service
```
@ -77,7 +91,7 @@ pipx install 'litellm[proxy]'
Description=LiteLLM for Ollama
[Service]
ExecStart=/home/ваш_пользователь/.local/bin/litellm --model ollama/qwen2
ExecStart=/home/ваш_пользователь/.local/bin/litellm --config путь_до/config.yaml
Restart=on-failure
RestartSec=5s
@ -107,6 +121,5 @@ Image generation provider
Speech-to-text
потому что модель такое не умеет
```
Я не знаю, как запустить несколько моделей параллельно, поэтому мне приходится редактировать и перезапускать мой **systemd** сервис, чтобы менять модель. Если вы знаете как это сделать - [напишите мне](/contacts).
Статья написана без использования ИИ. Хотя, наверное, это и так видно 🙃