Mistral.ai : installer localement un agent IA

Historiquement, le modèle Opensource le plus puissant était celui distribué par la société Meta, la maison mère de Facebook. Ce LLM est connu sous le nom de LLama et de CodeLLama pour le modèle entraîné pour produire du code.

De nouveaux LLM français très puissants ont vu le jour, il s'agit des LLM Mistral / Mixtral de la société Mistral.ai.

Mistral.AI met à disposition du public ses modèles entraînés et affinés sous la licence Apache 2.0. Ainsi Mistral.AI souhaite faciliter le développement de nouvelles techniques et applications qui peuvent bénéficier à un large éventail d'industries et de domaines.

A propos du modèle M8x7B

Le modèle de Mistral.AI M8x7B¹⁾ se compose de 8 agents experts de “seulement” 7 milliards de paramètres. Cette architecture désignée “architecture éparpillée ou réseau clairsemé d'experts” en anglais MoE²⁾ permet d'obtenir des résultats proches de Chat GPT3.5 s'appuyant pourtant sur plusieurs centaines de milliards de paramètres.

Concernant le processus de génération de la réponse, pour chaque mot (token), les deux experts les plus appropriés sont sélectionnés parmi les 8 disponibles. L'opération est répétée jusqu’à la génération complète de la réponse.

A l'exécution, on obtient un modèle aussi rapide et consommateur qu'un modèle de 14 milliards de paramètres, alors qu'il a les connaissances et capacités d'un modèle de 56 milliards (Mixtral 8x7B décembre 2023). C' est le premier réseau de mélange d'experts à atteindre une performance de pointe parmi les modèles open-source : il surpasse Claude-2.1, Gemini Pro, et GPT-3.5 Turbo sur des benchmarks d'évaluation humaine.

A propos du modèle Small 3.2

Lors de l'écriture de cette note, le modèle Mixtral 8x7B est classé modèle historique sur https://docs.mistral.ai/. Il est remplacé depuis le 30/03/2025 par Mistral Small 3.2

Prérequis

Les LLM fonctionnent à base de vecteurs, de la même manière qu'un univers 3D au sein d'un jeu vidéo : c'est la raison pour laquelle les GPU des cartes graphiques sont particulièrement efficaces pour les exécuter.

Prérequis matériel

GPU : NVIDIA GeForce RTX 4090
CPU : AMD Ryzen 7950X3D
RAM : 64Go
Operating System: Linux (Arch BTW)
Idle GPU Memory Usage : 0.341/23.98 Go

Espace disque : ~ 5 GO disponible pour Mistral 7B via ollama

Références

¹⁾

Mistral8x7Billion

²⁾

Mixture of Experts

wikinotes

Outils pour utilisateurs

Outils du site

Table des matières