Использование нескольких моделей в llitellm

content/posts/nextcloud_x_litellm_x_ollama.md

@@ -66,8 +66,22 @@ pipx install 'litellm[proxy]'
 ```
 Нам нужна именно **`litellm[proxy]`**, а не просто **`litellm`**!
 
-Теперь нужно собственно, запустить модель, с которой впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant), я буду использовать **`qwen2`**. \
+Теперь нужно собственно, запустить модели, с которыми впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant). \
-Для этого я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
+Однако, перед тем, как мы перейдём к запуску наших моделей, нам нужно создать файлик **`config.yaml`**, который мы впоследствии "скормим" **litellm**
+
+```bash
+model_list:
+  - model_name: ollama/llama3
+    litellm_params:
+      model: ollama/llama3
+  - model_name: ollama/qwen2
+    litellm_params:
+      model: ollama/qwen2
+
+# ну далее по шаблону, если есть другие модели
+```
+
+Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в
 ```bash
 /home/ваш_пользователь/.config/systemd/user/litellm.service
 ```
@@ -77,7 +91,7 @@ pipx install 'litellm[proxy]'
 Description=LiteLLM for Ollama
 
 [Service]
-ExecStart=/home/ваш_пользователь/.local/bin/litellm --model ollama/qwen2
+ExecStart=/home/ваш_пользователь/.local/bin/litellm --config путь_до/config.yaml
 Restart=on-failure
 RestartSec=5s
 
@@ -107,6 +121,5 @@ Image generation provider
 Speech-to-text
 потому что модель такое не умеет
 ```
-Я не знаю, как запустить несколько моделей параллельно, поэтому мне приходится редактировать и перезапускать мой **systemd** сервис, чтобы менять модель. Если вы знаете как это сделать - [напишите мне](/contacts).
 
 Статья написана без использования ИИ. Хотя, наверное, это и так видно 🙃