Писать это сложно (гайд на gguf)
All checks were successful
/ site (push) Successful in 1s

This commit is contained in:
Артём 2024-08-05 23:10:46 +03:00
parent 5e21c997e4
commit 0d77311d17
No known key found for this signature in database
GPG key ID: EEFBB39006B28920

View file

@ -15,7 +15,7 @@ hideComments: false
```bash
yay -S ollama-rocm
```
или
или если нет **yay**
```bash
sudo pacman -S ollama-rocm
```
@ -50,14 +50,36 @@ ProtectHome=yes
[Install]
WantedBy=multi-user.target
```
Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и **`qwen2`**
Обн. от `05.08.24` - добавлена инструкция импорта моделей `.gguf`
Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и модель, которую можно импортировать из файла `.gguf`, я буду использовать **`saiga-llama3`[[🔗](https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf)]**.
```bash
ollama pull llama3
```
Для того, чтобы импортировать модель, нам необходимо:
- Загрузить модель 🙃
- Создать файл, который можно скормить **ollama**
```bash
ollama pull qwen2
echo FROM папка_соделью/файл_модели.gguf >> файл_названиеодели
```
В моём случае можно сразу название модели, потому что работаю сразу из папки с моделью
```bash
echo FROM saiga_llama3.gguf >> saiga-llama3
```
Осталось импортировать
```bash
ollama -f файл_названиеодели названиеодели
```
```bash
ollama -f saiga-llama3 saiga-llama3
```
Модели импортированы
---
Далее идём ставить **[LiteLLM](https://github.com/BerriAI/litellm)**. Это прослойка между Ollama и [Nextcloud LocalAI](https://github.com/nextcloud/integration_openai), которая использует запросы в формате OpenAI API.
```bash