diff --git a/content/posts/nextcloud_x_litellm_x_ollama.md b/content/posts/nextcloud_x_litellm_x_ollama.md index 69bc325..7ca0015 100644 --- a/content/posts/nextcloud_x_litellm_x_ollama.md +++ b/content/posts/nextcloud_x_litellm_x_ollama.md @@ -66,8 +66,22 @@ pipx install 'litellm[proxy]' ``` Нам нужна именно **`litellm[proxy]`**, а не просто **`litellm`**! -Теперь нужно собственно, запустить модель, с которой впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant), я буду использовать **`qwen2`**. \ -Для этого я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в +Теперь нужно собственно, запустить модели, с которыми впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant). \ +Однако, перед тем, как мы перейдём к запуску наших моделей, нам нужно создать файлик **`config.yaml`**, который мы впоследствии "скормим" **litellm** + +```bash +model_list: + - model_name: ollama/llama3 + litellm_params: + model: ollama/llama3 + - model_name: ollama/qwen2 + litellm_params: + model: ollama/qwen2 + +# ну далее по шаблону, если есть другие модели +``` + +Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в ```bash /home/ваш_пользователь/.config/systemd/user/litellm.service ``` @@ -77,7 +91,7 @@ pipx install 'litellm[proxy]' Description=LiteLLM for Ollama [Service] -ExecStart=/home/ваш_пользователь/.local/bin/litellm --model ollama/qwen2 +ExecStart=/home/ваш_пользователь/.local/bin/litellm --config путь_до/config.yaml Restart=on-failure RestartSec=5s @@ -107,6 +121,5 @@ Image generation provider Speech-to-text потому что модель такое не умеет ``` -Я не знаю, как запустить несколько моделей параллельно, поэтому мне приходится редактировать и перезапускать мой **systemd** сервис, чтобы менять модель. Если вы знаете как это сделать - [напишите мне](/contacts). Статья написана без использования ИИ. Хотя, наверное, это и так видно 🙃 \ No newline at end of file