Configurer un LLM local avec Ollama

🤖 C'est quoi Ollama et un LLM local ?

Ollama est un logiciel gratuit et open source qui permet de télécharger et faire tourner des modèles de langage (LLM) directement sur votre machine — un PC, un Mac, un serveur ou un Raspberry Pi. Il fournit une API locale, c'est-à-dire une adresse web (par exemple http://192.168.0.30:11434) à laquelle vos outils peuvent se connecter, exactement comme s'ils appelaient ChatGPT ou un autre service en ligne.

Un LLM local (ou « custom LLM ») est un modèle d'intelligence artificielle qui s'exécute chez vous, sur votre matériel, plutôt que dans le cloud d'un fournisseur. Vous gardez le contrôle total : les données ne quittent pas votre réseau.

🔒 Pourquoi utiliser un LLM local ?

📥 Étape 1 : Installer Ollama

Rendez-vous sur le site officiel ollama.com et téléchargez la version correspondant à votre système :

• Windows : installeur OllamaSetup.exe — installation en quelques clics.
• macOS : fichier Ollama-darwin.zip — glisser-déposer dans Applications.
• Linux : script d'installation officiel :

curl -fsSL https://ollama.com/install.sh | sh

▶️ Étape 2 : Démarrer le serveur Ollama

Lancez Ollama. Sur Windows et macOS, l'application démarre automatiquement au premier lancement. Sur Linux, le service est installé et démarré automatiquement.

Par défaut, le serveur écoute sur le port 11434 de la machine. Pour vérifier qu'il tourne, ouvrez un terminal sur la machine serveur et tapez :

curl http://localhost:11434/api/tags

La réponse est un fichier JSON contenant la liste des modèles installés (vide au premier démarrage).

🌐 Étape 3 : Exposer Ollama sur le réseau local

Pour autoriser les connexions depuis le réseau local, lancez le serveur avec la variable d'environnement OLLAMA_HOST=0.0.0.0 :

# Linux / macOS (terminal)
OLLAMA_HOST=0.0.0.0 ollama serve

# Windows (invité de commandes)
set OLLAMA_HOST=0.0.0.0
ollama serve

Pour un démarrage permanent sous Linux (systemd), modifiez le fichier du service :

sudo systemctl edit ollama.service

# Ajoutez dans la section [Service] :
[Service]
Environment="OLLAMA_HOST=0.0.0.0"

# Puis redémarrez le service :
sudo systemctl restart ollama

Ouvrir le port 11434 dans le pare-feu :

# Linux (ufw)
sudo ufw allow 11434

# Windows : Pare-feu Windows > Règles de trafic entrant > Nouvelle règle
# Port 11434, autoriser la connexion, profils Privé + Domaine

⬇️ Étape 4 : Télécharger un modèle

Ollama fonctionne avec des modèles qu'il faut télécharger une première fois. Dans un terminal sur la machine serveur :

# Un bon modèle polyvalent (~4,4 Go)
ollama pull mistral

# Un modèle léger et rapide, adapté au CPU (~1 Go)
ollama pull qwen3.5:0.8b

# Un modèle de raisonnement (~4,7 Go)
ollama pull deepseek-r1:7b

Le téléchargement ne se fait qu'une seule fois : ensuite le modèle reste disponible sur le serveur pour tous les outils du réseau.

✅ Étape 5 : Vérifier l'accès depuis une autre machine

Depuis un autre poste du réseau (pas la machine serveur), ouvrez un terminal et testez l'adresse avec l'IP du serveur — ici 192.168.0.30 en exemple :

curl http://192.168.0.30:11434/api/tags

Si la connexion fonctionne, vous obtenez la liste des modèles :

{"models":[{"name":"mistral:latest","size":..., ...}]}

Vous pouvez aussi tester une génération de texte :

curl -X POST http://192.168.0.30:11434/api/generate \
  -d '{"model":"mistral","prompt":"Bonjour, réponds en une phrase.","stream":false}'

🔌 Étape 6 : Connecter un outil au LLM

La plupart des outils qui acceptent un « custom LLM » (assistants, agents, applications de chat, logiciels métier) proposent deux réglages : l'adresse du serveur (base_url) et le nom du modèle.

Selon l'outil, l'adresse peut se saisir sous la forme :

• http://192.168.0.30:11434 (base URL)
• http://192.168.0.30:11434/v1 (endpoint compatible OpenAI)

Remplacez 192.168.0.30 par l'IP réelle de votre serveur Ollama, et mistral:latest par le modèle que vous avez téléchargé à l'étape 4.

📊 Quels modèles choisir ?

Usage	Modèle	Taille	Commentaire
Léger / rapide	qwen3.5:0.8b	~1 Go	Répond vite, tourne même sur un petit PC ou un Raspberry Pi
Standard	mistral:latest	~4,4 Go	Bon équilibre qualité / performance, polyvalent
Standard	qwen2.5:7b	~4,7 Go	Bon pour la rédaction et les tâches métier
Raisonnement	deepseek-r1:7b	~4,7 Go	Réfléchit avant de répondre, utile pour l'analyse

Règle pratique : commencez par un petit modèle (qwen3.5:0.8b) pour valider votre configuration, puis passez à un modèle plus gros si le matériel le permet.

🛠️ Dépannage et questions fréquentes

---

✅ Ce qu'il faut retenir

---

← Revenir à la liste des tutoriels