Déployer son ChatGPT privé avec AnythingLLM et Ollama ?

AnythingLLM, c’est une interface web open source qui permet de créer ton propre assistant IA privé, un peu comme un “ChatGPT maison”.

Il est possible d'intégrer des clés API Anthropic, ChatGPT ou autre mais ce n'est pas à la portée de tout le monde...

C'est pour cela que nous allons coupler AnythingLLM à Ollama et utiliser des modèles d'IA (LLM) Open Source !

Présentation

GitHub - Mintplex-Labs/anything-llm: Stop renting your intelligence. Own it with AnythingLLM. Everything you need for a powerful local-first agent experience

Stop renting your intelligence. Own it with AnythingLLM. Everything you need for a powerful local-first agent experience - Mintplex-Labs/anything-llm

GitHubMintplex-Labs

Voici le repository Github d'AnythingLLM. Maintenu par une communauté solide, il est très simple à déployer, et comme à mon habitude, je suis parti sur un déploiement avec Docker Compose.

L'interface web se présente comme cela, et nous est assez familière :

Déploiement

Voici le fichier docker-compose.yml à créer :

services:
  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - "3001:3001"
    volumes:
      - anythingllm-storage:/app/server/storage
    environment:
      - STORAGE_DIR=/app/server/storage
    depends_on:
      - ollama
    restart: unless-stopped

  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama-data:/root/.ollama
    restart: unless-stopped

volumes:
  anythingllm-storage:
  ollama-data:

On expose l'interface web d'AnythingLLM sur le port 3001
Les volumes managés anythingllm-storage et ollama-data y sont déclarés.

Une stack assez classique, peu de paramètres qui sortent de l'ordinaire.

Pour lancer la stack, rien de plus simple qu'exécuter la commande suivante

docker compose up -d

Configuration

Avant de se rendre sur l'interface web, nous allons télécharger un modèle Open Source sur le conteneur Ollama. Pour ce faire, exécutez la commande suivante :

docker compose exec -it ollama ollama pull qwen2.5:7b

Cette commande va télécharger le modèle qwen2.5 avec 7 milliards de paramètres sur le conteneur Ollama, et comme nous avons monté un volume, ce modèle sera bien persistent.

Vous pouvez consulter la liste complète des LLM ici :

library

Browse Ollama’s library of models.

Une fois le modèle téléchargé, vous pouvez vous rendre sur l'interface web http://localhost:3001 et sélectionner Ollama comme LLM provider :

Avec ces paramètres :

Et voilà ! Vous pouvez maintenant interagir avec le LLM sélectionné et l'utiliser en tant que Chatbot, le tout avec un modèle Open Source, sans rien payer !