From 0d77311d1712648191a206729a611813be87c85f Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?=D0=90=D1=80=D1=82=D1=91=D0=BC?= <sadml@sadium.cyou>
Date: Mon, 5 Aug 2024 23:10:46 +0300
Subject: [PATCH] =?UTF-8?q?=D0=9F=D0=B8=D1=81=D0=B0=D1=82=D1=8C=20=D1=8D?=
 =?UTF-8?q?=D1=82=D0=BE=20=D1=81=D0=BB=D0=BE=D0=B6=D0=BD=D0=BE=20(=D0=B3?=
 =?UTF-8?q?=D0=B0=D0=B9=D0=B4=20=D0=BD=D0=B0=20gguf)?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 content/posts/nextcloud_x_litellm_x_ollama.md | 28 +++++++++++++++++--
 1 file changed, 25 insertions(+), 3 deletions(-)

diff --git a/content/posts/nextcloud_x_litellm_x_ollama.md b/content/posts/nextcloud_x_litellm_x_ollama.md
index 6a8dea9..f80f256 100644
--- a/content/posts/nextcloud_x_litellm_x_ollama.md
+++ b/content/posts/nextcloud_x_litellm_x_ollama.md
@@ -15,7 +15,7 @@ hideComments: false
 ```bash
 yay -S ollama-rocm
 ```
-или
+или если нет **yay**
 ```bash
 sudo pacman -S ollama-rocm
 ```
@@ -50,14 +50,36 @@ ProtectHome=yes
 [Install]
 WantedBy=multi-user.target
 ```
-Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и **`qwen2`**
+
+Обн. от `05.08.24` - добавлена инструкция импорта моделей `.gguf` 
+
+Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и модель, которую можно импортировать из файла `.gguf`, я буду использовать **`saiga-llama3`[[🔗](https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf)]**.
 
 ```bash
 ollama pull llama3
 ```
+
+Для того, чтобы импортировать модель, нам необходимо:
+- Загрузить модель 🙃
+- Создать файл, который можно скормить **ollama**
+
 ```bash
-ollama pull qwen2
+echo FROM папка_с_моделью/файл_модели.gguf >> файл_название_модели
 ```
+В моём случае можно сразу название модели, потому что работаю сразу из папки с моделью
+```bash
+echo FROM saiga_llama3.gguf >> saiga-llama3
+```
+Осталось импортировать
+```bash
+ollama -f файл_название_модели название_модели
+```
+```bash
+ollama -f saiga-llama3 saiga-llama3
+```
+Модели импортированы
+
+---
 Далее идём ставить **[LiteLLM](https://github.com/BerriAI/litellm)**. Это прослойка между Ollama и [Nextcloud LocalAI](https://github.com/nextcloud/integration_openai), которая использует запросы в формате OpenAI API.
 
 ```bash