This commit is contained in:
parent
5e21c997e4
commit
0d77311d17
1 changed files with 25 additions and 3 deletions
|
@ -15,7 +15,7 @@ hideComments: false
|
||||||
```bash
|
```bash
|
||||||
yay -S ollama-rocm
|
yay -S ollama-rocm
|
||||||
```
|
```
|
||||||
или
|
или если нет **yay**
|
||||||
```bash
|
```bash
|
||||||
sudo pacman -S ollama-rocm
|
sudo pacman -S ollama-rocm
|
||||||
```
|
```
|
||||||
|
@ -50,14 +50,36 @@ ProtectHome=yes
|
||||||
[Install]
|
[Install]
|
||||||
WantedBy=multi-user.target
|
WantedBy=multi-user.target
|
||||||
```
|
```
|
||||||
Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и **`qwen2`**
|
|
||||||
|
Обн. от `05.08.24` - добавлена инструкция импорта моделей `.gguf`
|
||||||
|
|
||||||
|
Далее устанавливаем желаемую модель, в моём случае это **`llama3`** и модель, которую можно импортировать из файла `.gguf`, я буду использовать **`saiga-llama3`[[🔗](https://huggingface.co/IlyaGusev/saiga_llama3_8b_gguf)]**.
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
ollama pull llama3
|
ollama pull llama3
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Для того, чтобы импортировать модель, нам необходимо:
|
||||||
|
- Загрузить модель 🙃
|
||||||
|
- Создать файл, который можно скормить **ollama**
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
ollama pull qwen2
|
echo FROM папка_с_моделью/файл_модели.gguf >> файл_название_модели
|
||||||
```
|
```
|
||||||
|
В моём случае можно сразу название модели, потому что работаю сразу из папки с моделью
|
||||||
|
```bash
|
||||||
|
echo FROM saiga_llama3.gguf >> saiga-llama3
|
||||||
|
```
|
||||||
|
Осталось импортировать
|
||||||
|
```bash
|
||||||
|
ollama -f файл_название_модели название_модели
|
||||||
|
```
|
||||||
|
```bash
|
||||||
|
ollama -f saiga-llama3 saiga-llama3
|
||||||
|
```
|
||||||
|
Модели импортированы
|
||||||
|
|
||||||
|
---
|
||||||
Далее идём ставить **[LiteLLM](https://github.com/BerriAI/litellm)**. Это прослойка между Ollama и [Nextcloud LocalAI](https://github.com/nextcloud/integration_openai), которая использует запросы в формате OpenAI API.
|
Далее идём ставить **[LiteLLM](https://github.com/BerriAI/litellm)**. Это прослойка между Ollama и [Nextcloud LocalAI](https://github.com/nextcloud/integration_openai), которая использует запросы в формате OpenAI API.
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
|
|
Loading…
Reference in a new issue