From b2e1184571d6c5ac7ac95e262f38e2d5a5e31f5a Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=90=D1=80=D1=82=D1=91=D0=BC?= Date: Sun, 21 Jul 2024 12:41:47 +0300 Subject: [PATCH] =?UTF-8?q?=D0=98=D1=81=D0=BF=D0=BE=D0=BB=D1=8C=D0=B7?= =?UTF-8?q?=D0=BE=D0=B2=D0=B0=D0=BD=D0=B8=D0=B5=20=D0=BD=D0=B5=D1=81=D0=BA?= =?UTF-8?q?=D0=BE=D0=BB=D1=8C=D0=BA=D0=B8=D1=85=20=D0=BC=D0=BE=D0=B4=D0=B5?= =?UTF-8?q?=D0=BB=D0=B5=D0=B9=20=D0=B2=20llitellm?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- content/posts/nextcloud_x_litellm_x_ollama.md | 21 +++++++++++++++---- 1 file changed, 17 insertions(+), 4 deletions(-) diff --git a/content/posts/nextcloud_x_litellm_x_ollama.md b/content/posts/nextcloud_x_litellm_x_ollama.md index 69bc325..7ca0015 100644 --- a/content/posts/nextcloud_x_litellm_x_ollama.md +++ b/content/posts/nextcloud_x_litellm_x_ollama.md @@ -66,8 +66,22 @@ pipx install 'litellm[proxy]' ``` Нам нужна именно **`litellm[proxy]`**, а не просто **`litellm`**! -Теперь нужно собственно, запустить модель, с которой впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant), я буду использовать **`qwen2`**. \ -Для этого я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в +Теперь нужно собственно, запустить модели, с которыми впоследствии мы будем общаться через [Nextcloud Assistant](https://github.com/nextcloud/assistant). \ +Однако, перед тем, как мы перейдём к запуску наших моделей, нам нужно создать файлик **`config.yaml`**, который мы впоследствии "скормим" **litellm** + +```bash +model_list: + - model_name: ollama/llama3 + litellm_params: + model: ollama/llama3 + - model_name: ollama/qwen2 + litellm_params: + model: ollama/qwen2 + +# ну далее по шаблону, если есть другие модели +``` + +Затем я сделал **systemd** сервис, чтобы не запускать это дело ручками, он должен располагаться в ```bash /home/ваш_пользователь/.config/systemd/user/litellm.service ``` @@ -77,7 +91,7 @@ pipx install 'litellm[proxy]' Description=LiteLLM for Ollama [Service] -ExecStart=/home/ваш_пользователь/.local/bin/litellm --model ollama/qwen2 +ExecStart=/home/ваш_пользователь/.local/bin/litellm --config путь_до/config.yaml Restart=on-failure RestartSec=5s @@ -107,6 +121,5 @@ Image generation provider Speech-to-text потому что модель такое не умеет ``` -Я не знаю, как запустить несколько моделей параллельно, поэтому мне приходится редактировать и перезапускать мой **systemd** сервис, чтобы менять модель. Если вы знаете как это сделать - [напишите мне](/contacts). Статья написана без использования ИИ. Хотя, наверное, это и так видно 🙃 \ No newline at end of file