Configurer un LLM local avec Ollama

Dernière mise à jour : 23/08/2026 — modèles mis à jour selon le benchmark SLM Compta Online, exemple de connexion à Hermes Agent ajouté.

🤖 C'est quoi Ollama et un LLM local ?

Ollama est un logiciel gratuit et open source qui permet de télécharger et faire tourner des modèles de langage (LLM) directement sur votre machine — un PC, un Mac, un serveur ou un Raspberry Pi. Il fournit une API locale, c'est-à-dire une adresse web (par exemple http://192.168.0.30:11434) à laquelle vos outils peuvent se connecter, exactement comme s'ils appelaient ChatGPT ou un autre service en ligne.

Un LLM local (ou « custom LLM ») est un modèle d'intelligence artificielle qui s'exécute chez vous, sur votre matériel, plutôt que dans le cloud d'un fournisseur. Vous gardez le contrôle total : les données ne quittent pas votre réseau.

🔒 Pourquoi utiliser un LLM local ?

📥 Étape 1 : Installer Ollama

Rendez-vous sur le site officiel ollama.com et téléchargez la version correspondant à votre système :

• Windows : installeur OllamaSetup.exe — installation en quelques clics.
• macOS : fichier Ollama-darwin.zip — glisser-déposer dans Applications.
• Linux : script d'installation officiel :

curl -fsSL https://ollama.com/install.sh | sh

▶️ Étape 2 : Démarrer le serveur Ollama

Lancez Ollama. Sur Windows et macOS, l'application démarre automatiquement au premier lancement. Sur Linux, le service est installé et démarré automatiquement.

Par défaut, le serveur écoute sur le port 11434 de la machine. Pour vérifier qu'il tourne, ouvrez un terminal sur la machine serveur et tapez :

curl http://localhost:11434/api/tags

La réponse est un fichier JSON contenant la liste des modèles installés (vide au premier démarrage).

🌐 Étape 3 : Exposer Ollama sur le réseau local

Pour autoriser les connexions depuis le réseau local, lancez le serveur avec la variable d'environnement OLLAMA_HOST=0.0.0.0 :

# Linux / macOS (terminal)
OLLAMA_HOST=0.0.0.0 ollama serve

# Windows (invité de commandes)
set OLLAMA_HOST=0.0.0.0
ollama serve

Pour un démarrage permanent sous Linux (systemd), modifiez le fichier du service :

sudo systemctl edit ollama.service

# Ajoutez dans la section [Service] :
[Service]
Environment="OLLAMA_HOST=0.0.0.0"

# Puis redémarrez le service :
sudo systemctl restart ollama

Ouvrir le port 11434 dans le pare-feu :

# Linux (ufw)
sudo ufw allow 11434

# Windows : Pare-feu Windows > Règles de trafic entrant > Nouvelle règle
# Port 11434, autoriser la connexion, profils Privé + Domaine

⬇️ Étape 4 : Télécharger un modèle

Ollama fonctionne avec des modèles qu'il faut télécharger une première fois. Dans un terminal sur la machine serveur :

# Le meilleur rapport qualité / matériel selon notre benchmark (8 Mds)
ollama pull ministral-3:8b

# Un modèle de 3 Mds, très bon sur machine légère
ollama pull ministral-3:3b

# Un modèle très rapide pour les tâches simples d'exécution
ollama pull qwen3:0.6b

Le téléchargement ne se fait qu'une seule fois : ensuite le modèle reste disponible sur le serveur pour tous les outils du réseau.

💡 Choix éclairé : les modèles ci-dessus sont issus du benchmark de 44 modèles locaux publié sur Compta Online (voir la section « Quels modèles choisir ? »).

✅ Étape 5 : Vérifier l'accès depuis une autre machine

Depuis un autre poste du réseau (pas la machine serveur), ouvrez un terminal et testez l'adresse avec l'IP du serveur — ici 192.168.0.30 en exemple :

curl http://192.168.0.30:11434/api/tags

Si la connexion fonctionne, vous obtenez la liste des modèles :

{"models":[{"name":"ministral-3:8b","size":..., ...}]}

Vous pouvez aussi tester une génération de texte :

curl -X POST http://192.168.0.30:11434/api/generate \
  -d '{"model":"ministral-3:8b","prompt":"Bonjour, réponds en une phrase.","stream":false}'

🔌 Étape 6 : Connecter un outil au LLM

La plupart des outils qui acceptent un « custom LLM » (assistants, agents, applications de chat, logiciels métier) proposent deux réglages : l'adresse du serveur (base_url) et le nom du modèle.

Selon l'outil, l'adresse peut se saisir sous la forme :

• http://192.168.0.30:11434 (base URL)
• http://192.168.0.30:11434/v1 (endpoint compatible OpenAI)

Remplacez 192.168.0.30 par l'IP réelle de votre serveur Ollama, et ministral-3:8b par le modèle que vous avez téléchargé à l'étape 4.

Exemple : connecter Hermes Agent à votre Ollama

Hermes Agent est un agent IA open source (développé par Nous Research) qui tourne sur votre machine et accepte un LLM local comme moteur. C'est un cas d'usage typique : l'agent reste chez vous, Ollama aussi, aucune donnée ne sort du réseau.

# 1. Définir le provider Ollama local
hermes config set model.provider custom:ollama-local

# 2. Indiquer l'adresse de votre serveur Ollama
hermes config set model.base_url http://192.168.0.30:11434

# 3. Choisir le modèle (doit exister sur le serveur)
hermes config set model.default ministral-3:8b

# 4. Vérifier la configuration
hermes config show | grep -i -A5 model

📊 Quels modèles choisir ?

Les recommandations ci-dessous s'appuient sur le benchmark de 44 modèles locaux (SLM) publié par Fabrice Heuvrard sur Compta Online : 170 questions métier (comptabilité, fiscalité, social, juridique, audit) exécutées en local via Ollama, avec sources documentaires fournies.

Règle pratique : commencez par ministral-3:8b pour valider votre configuration. Si votre machine est modeste, prenez ministral-3:3b.

🛠️ Dépannage et questions fréquentes

✅ Ce qu'il faut retenir

← Revenir à la liste des tutoriels