Ollama gestisce il ciclo di vita dei modelli LLM in locale con un meccanismo di memory scheduling che decide autonomamente quando caricare un modello in VRAM, quanto mantenerlo attivo e quando rilasciare la memoria. Capire questo meccanismo è fondamentale per ottimizzare le performance dei modelli che esegui sulla tua macchina ed evitare latenze inattese al primo prompt.

📚 In questa serie — Ollama 101:

1. Ollama 101 - Cos’è e come usarlo
2. Ollama 101 - Usarlo tramite CLI
3. Ollama 101 - Usarlo tramite REST API
4. Ollama 101 - Mastering CLI ← sei qui!

Ollama create

Il comando più potente è quello che ci permette di creare un modello personalizzato partendo un Modelfile. Questo è l’equivalente di docker build, che prende il Dockerfile e costruisce l’immagine di riferimento.

📚 In questa serie — Ollama 101:

1. Ollama 101 - Cos’è e come usarlo
2. Ollama 101 - Usarlo tramite CLI
3. Ollama 101 - Usarlo tramite REST API ← sei qui!
4. Ollama 101 - Mastering CLI

Recap

Nei primi due articoli abbiamo visto cos’è Ollama e come usarlo tramite CLI. Dobbiamo però spingerci sempre un po’ più in là: il vero potenziale di Ollama infatti si esprime quando viene integrato nelle applicazioni attraverso la sua API REST.

📚 In questa serie — Ollama 101:

1. Ollama 101 - Cos’è e come usarlo
2. Ollama 101 - Usarlo tramite CLI ← sei qui!
3. Ollama 101 - Usarlo tramite REST API
4. Ollama 101 - Mastering CLI

Recap

Nel primo articolo abbiamo visto cos’è Ollama e come installarlo. Abbiamo anche eseguito il nostro primo modello con ollama run. Tuttavia, Ollama offre molti altri comandi che permettono di gestire i modelli in modo granulare e professionale.

📚 In questa serie — Ollama 101:

1. Ollama 101 - Cos’è e come usarlo ← sei qui!
2. Ollama 101 - Usarlo tramite CLI
3. Ollama 101 - Usarlo tramite REST API
4. Ollama 101 - Mastering CLI

Cos’è Ollama?

Ollama è uno strumento open-source che permette di eseguire modelli di linguaggio di grandi dimensioni (LLM) direttamente in locale sulla propria macchina. In parole semplici, è come avere un simil-ChatGPT (o alternative sul tuo computer), senza bisogno di connessione internet o di inviare i tuoi dati a server esterni.

Hai già provato AI Playground di PyCharm? Scopri come usarlo con i modelli locali di Ollama per uno sviluppo assistito da LLM!