Ollama: установка и настройка на ПК — как запустить Llama/другие модели локально

Что такое Ollama и зачем она тебе?

Ollama - это способ запускать LLM-модели (Llama, Mistral, Gemma, CodeLlama и др.) прямо на своём компьютере. Без внешних API, без подписок на токены и без “сервис временно недоступен”.

Идеально, если ты:

👨‍💻 хочешь тестить AI-фичи локально (прототипы, интеграции, dev-tools)

🔐 не хочешь отправлять данные «куда-то»

🌍 иногда работаешь без нормального интернета

💸 устал платить за каждый чих в облаке

Ментальная модель простая: Ollama ≈ “git для моделей”. Ты делаешь pull - и модель скачивается и готова к запуску.

⚙️ Установка Ollama (Windows / macOS / Linux)

🍏 macOS / 🐧 Linux

На Linux открываешь терминал и ставишь одной командой. На macOS этот скрипт не подойдёт: там качаешь приложение с сайта ollama.com и переносишь в Applications.

curl -fsSL https://ollama.com/install.sh | sh

Проверка версии:

ollama --version

Windows

Скачай установщик Ollama с официального сайта и установи как обычную программу. Затем проверь в PowerShell:

ollama --version

⚠️ Если команда не находится, проверь, добавилась ли Ollama в PATH или перезапусти терминал/ПК.

📦 Скачиваем модели: Llama и “друзья”

Скачивание - это прям кайф: один pull и готово.

ollama pull llama3

Другие популярные варианты:

ollama pull mistral
ollama pull gemma
ollama pull codellama

🧑‍💻 Для кода: codellama давно не обновлялась, поэтому перед pull посмотри свежие кодовые модели в библиотеке Ollama

🧠 Универсально: llama3, mistral

⚡ Полегче: выбирай меньшие размеры (часто “7B” версии)

▶️ Запуск модели и чат

ollama run llama3

И всё - ты внутри локального чата. Да, это “как ChatGPT”, только твой. Работает офлайн, не просит подписку, не кидает капчу, не уходит “на техработы”.

🧪 Локальный API для разработчика (вот тут начинается магия)

Ollama поднимает локальный сервер (обычно) на: http://localhost:11434

Пример запроса генерации:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Напиши функцию сортировки на Python и объясни шаги"
}'

Что это даёт:

🔌 подключаешь к своему backend

🧩 делаешь чат внутри приложения

🤖 пилишь телеграм-бота на локальной модели

🛠️ автоматизируешь рутину: резюме текстов, подсказки, генерация шаблонов

Свои пресеты и Modelfile

Если хочется, чтобы модель отвечала более “строго” или “креативно”, можно сделать кастомную сборку. Например, снижая temperature.

Пример Modelfile:

FROM llama3
PARAMETER temperature 0.2

Создание кастомной модели:

ollama create mymodel -f Modelfile

Запуск:

ollama run mymodel

💡 Идея: сделай “mymodel-docs” для документации, “mymodel-code” для кода, “mymodel-support” для саппорта. Это как разные “персонажи”, но без мульти-аккаунтов.

💻 Требования к ПК: чтобы не “лагало и плакало”

• Минимум: 8 ГБ RAM + SSD (будет жить, но без лишнего героизма)

• Комфорт: 16-32 ГБ RAM (нормальный дев-режим)

• GPU: приятно иметь, но не обязательно (зависит от модели и размеров)

⚠️ Если у тебя 8-16 ГБ RAM - начинай с моделей поменьше. Большие модели любят съедать память так, будто это бесплатный шведский стол.

📌 Где прокачаться дальше?

Окей, модель ты поднял. Но чтобы реально расти как разработчик (и не быть человеком, который просто красиво вводит промпты 😅), нужна практика.

В приложении Кодик можно учить программирование через задания и практику: меньше “воды” - больше реального кода и полезных упражнений.

А ещё у нас есть Telegram-сообщество, где выходят полезные посты для разработчиков - удобно повторять и держать мозг в тонусе прямо в телефоне.

AI - это усилитель. Но базовые навыки (код, алгоритмы, архитектура) - это то, что делает тебя разработчиком, а не “оператором умной клавиатуры”.