diff --git a/content/posts/nextcloud_x_litellm_x_ollama.md b/content/posts/nextcloud_x_litellm_x_ollama.md index 6a8dea9..f80f256 100644 --- a/content/posts/nextcloud_x_litellm_x_ollama.md +++ b/content/posts/nextcloud_x_litellm_x_ollama.md @@ -15,7 +15,7 @@ hideComments: false ```bash yay -S ollama-rocm ``` -или +или если нет **yay** ```bash sudo pacman -S ollama-rocm ``` @@ -50,14 +50,36 @@ ProtectHome=yes [Install] WantedBy=multi-user.target ``` -Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и **`qwen2`** + +Обн. от `05.08.24` - добавлена инструкция импорта моделей `.gguf` + +Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и модель, которую можно импортировать из файла `.gguf`, я буду использовать **`saiga-llama3`[[🔗](https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf)]**. ```bash ollama pull llama3 ``` + +Для того, чтобы импортировать модель, нам необходимо: +- Загрузить модель 🙃 +- Создать файл, который можно скормить **ollama** + ```bash -ollama pull qwen2 +echo FROM папка_с_моделью/файл_модели.gguf >> файл_название_модели ``` +В моём случае можно сразу название модели, потому что работаю сразу из папки с моделью +```bash +echo FROM saiga_llama3.gguf >> saiga-llama3 +``` +Осталось импортировать +```bash +ollama -f файл_название_модели название_модели +``` +```bash +ollama -f saiga-llama3 saiga-llama3 +``` +Модели импортированы + +--- Далее идём ставить **[LiteLLM](https://github.com/BerriAI/litellm)**. Это прослойка между Ollama и [Nextcloud LocalAI](https://github.com/nextcloud/integration_openai), которая использует запросы в формате OpenAI API. ```bash