Guida all'installazione · Base · 10 min

Installare Ollama e avviare il primo modello locale

Ollama è la strada più breve per avere un large language model in locale. Gestisce download, quantizzazione e offload su GPU, ed espone un'API compatibile OpenAI su localhost:11434. Questa guida ti porta da una macchina pulita a un setup funzionante in circa dieci minuti. Se qualche termine ti suona nuovo, il glossario lo spiega in parole semplici.

Cosa ti serve prima di iniziare

Ollama gira su macOS, Linux e Windows. La quantità di RAM disponibile è il fattore principale che determina quali modelli puoi caricare realisticamente. Un riferimento rapido: un modello 8B quantizzato a 4 bit richiede circa 5 GB di memoria, un 14B circa 9 GB, un 32B circa 20 GB, un 70B circa 42 GB. I Mac con Apple Silicon beneficiano della memoria unificata; su un PC con GPU dedicata il modello deve stare nella VRAM per andare a piena velocità, altrimenti Ollama sconfina nella RAM di sistema con un costo notevole in prestazioni.

Passo 1. Installa Ollama

Su macOS e Windows, scarica l'installer da ollama.com/download. La versione macOS gira come app nella barra dei menu, quella Windows aggiunge un'icona nella system tray. Entrambe rendono disponibile il comando ollama nel path.

Su Linux, lo script ufficiale fa la cosa giusta sulla maggior parte delle distribuzioni:

curl -fsSL https://ollama.com/install.sh | sh

Lo script registra un servizio systemd chiamato ollama.service e avvia il daemon. Verifica che tutto sia a posto:

ollama --version
systemctl status ollama   # Linux only

Passo 2. Scarica un primo modello

Per la prima prova scegli un modello piccolo, così vedi Ollama in funzione prima di impegnare la banda su qualcosa di più grande. Llama 3.1 8B o Qwen 3.5 7B sono scelte ragionevoli; girano bene con 16 GB di memoria e il download si chiude in pochi minuti su una connessione normale.

ollama pull llama3.1:8b

Ollama salva i modelli in ~/.ollama/models su macOS e Linux e in %USERPROFILE%\\.ollama\\models su Windows. Se il volume home è piccolo, imposta la variabile d'ambiente OLLAMA_MODELS prima di avviare il servizio, puntandola a un disco più capiente.

Passo 3. Chatta con il modello dal terminale

ollama run llama3.1:8b

Ottieni un prompt interattivo. Prova una domanda e guarda i token arrivare in streaming. Per uscire digita /bye. Per elencare i modelli locali usa ollama list. Per rimuoverne uno, ollama rm llama3.1:8b.

Passo 4. Usa l'API compatibile OpenAI

Ollama espone un'API HTTP su http://localhost:11434. L'endpoint compatibile OpenAI si trova su /v1, quindi la maggior parte dei client scritti per gli SDK Python o JavaScript di OpenAI funziona cambiando due righe. Imposta la base URL e una API key segnaposto:

# Python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",
)

response = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "Explain MoE in two sentences."}],
)
print(response.choices[0].message.content)

Lo stesso trucco funziona in qualsiasi strumento che permette di cambiare la base URL dell'API: estensioni AI per VS Code, LangChain, LlamaIndex, OpenWebUI e la maggior parte dei client di chat desktop.

Passo 5. Regola i parametri per il tuo hardware

Due variabili d'ambiente contano fin dal primo giorno. OLLAMA_NUM_PARALLEL definisce quante richieste concorrenti Ollama serve; il valore predefinito va bene per uso personale, ma alzalo su server condivisi tra sviluppatori. OLLAMA_KEEP_ALIVE controlla per quanto tempo Ollama tiene il modello in memoria dopo l'ultima richiesta; i cinque minuti predefiniti sono tempo sprecato se usi lo stesso modello tutto il giorno.

# Linux
sudo systemctl edit ollama
# add the following under [Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_KEEP_ALIVE=24h"
sudo systemctl restart ollama

Passo 6. Scegli un modello adatto al tuo lavoro

Quando l'impianto funziona, il modello giusto dipende da cosa ci fai. Per scrittura e chat quotidiane, Llama 3.1 8B o Qwen 3.5 14B sono scelte sensate. Per il codice prova Qwen 2.5 Coder, DeepSeek Coder o Codestral. Per documenti lunghi e retrieval guarda Llama 4 Scout, se hai l'hardware. La directory dei modelli spiega in cosa è davvero brava ogni famiglia.

Risoluzione dei problemi più comuni

Il modello si carica ma le risposte sono lentissime

Quasi sempre significa che il modello è sconfinato dalla VRAM alla RAM di sistema. Scegli una quantizzazione più leggera (il tag :q4_K_M è un buon compromesso) oppure un modello più piccolo. Su Apple Silicon, verifica che Ollama stia usando il backend Metal; le versioni recenti lo fanno in automatico.

Ollama non trova la GPU

Su Linux con schede NVIDIA installa un driver aggiornato e il CUDA toolkit prima di installare Ollama. Su Windows i driver NVIDIA recenti includono già il supporto CUDA. Il supporto AMD ROCm c'è ma è meno rodato; il progetto tiene traccia della compatibilità sul suo GitHub.

L'API risponde 404 su /v1/chat/completions

Probabilmente hai una versione vecchia di Ollama. Il layer compatibile OpenAI è arrivato nel 2024 ed è stabile da allora. Aggiorna con brew upgrade ollama su macOS, con l'installer su Windows o con lo script di installazione su Linux.

Prossimi passi

Con Ollama in funzione hai due strade naturali. Aggiungi Open WebUI per un'interfaccia di chat utilizzabile anche da altre persone sulla tua rete, oppure collega Ollama a un flusso di lavoro di programmazione con Continue.dev in VS Code. Per il massimo delle prestazioni su una singola macchina, la guida a llama.cpp spiega come compilare dai sorgenti con una quantizzazione su misura.