Outils pour utilisateurs
Table des matières
Mistral.ai : installer localement un agent IA
Historiquement, le modèle Opensource le plus puissant était celui distribué par la société Meta, la maison mère de Facebook. Ce LLM est connu sous le nom de LLama et de CodeLLama pour le modèle entraîné pour produire du code.
De nouveaux LLM français très puissants ont vu le jour, il s'agit des LLM Mistral / Mixtral de la société Mistral.ai.
Mistral.AI met à disposition du public ses modèles entraînés et affinés sous la licence Apache 2.0. Ainsi Mistral.AI souhaite faciliter le développement de nouvelles techniques et applications qui peuvent bénéficier à un large éventail d'industries et de domaines.
A propos du modèle M8x7B
Le modèle de Mistral.AI M8x7B1) se compose de 8 agents experts de “seulement” 7 milliards de paramètres. Cette architecture désignée “architecture éparpillée ou réseau clairsemé d'experts” en anglais MoE2) permet d'obtenir des résultats proches de Chat GPT3.5 s'appuyant pourtant sur plusieurs centaines de milliards de paramètres.
Concernant le processus de génération de la réponse, pour chaque mot (token), les deux experts les plus appropriés sont sélectionnés parmi les 8 disponibles. L'opération est répétée jusqu’à la génération complète de la réponse.
A l'exécution, on obtient un modèle aussi rapide et consommateur qu'un modèle de 14 milliards de paramètres, alors qu'il a les connaissances et capacités d'un modèle de 56 milliards (Mixtral 8x7B décembre 2023). C' est le premier réseau de mélange d'experts à atteindre une performance de pointe parmi les modèles open-source : il surpasse Claude-2.1, Gemini Pro, et GPT-3.5 Turbo sur des benchmarks d'évaluation humaine.
A propos du modèle Small 3.2
Lors de l'écriture de cette note, le modèle Mixtral 8x7B est classé modèle historique sur https://docs.mistral.ai/. Il est remplacé depuis le 30/03/2025 par Mistral Small 3.2
Prérequis
Prérequis matériel
- GPU : NVIDIA GeForce RTX 4090
- CPU : AMD Ryzen 7950X3D
- RAM : 64Go
- Operating System: Linux (Arch BTW)
- Idle GPU Memory Usage : 0.341/23.98 Go
Espace disque : ~ 5 GO disponible pour Mistral 7B via ollama
Installation
Création d'une VM (optionnel)
Il est possible d'installer le tout dans un environnement virtualisé mais dans ce cas il faudra pouvoir activer l'utilisation directe du GPU par la VM (GPU passthrough). Pour une installation directe sur le système sauter cette étape.
Création d'un disque de 20 Go pour la VM
mkdir -p ~/KVM/mistral-7b qemu-img create -f qcow2 ~/KVM/mistral-7b/vda 20G chown --recursive yoann:libvirt-qemu ~/KVM/mistral-7b/ chmod --recursive ug+rw,o-rwx ~/KVM/mistral-7b/
Création de la VM via virt-install
virt-install --name="mistral-7b" \ --metadata title="Test Mistral M8x7B",description="Mistral 8x7B / Ollama / Debian 13" \ --vcpus=8 \ --memory=16384 \ --osinfo=debian13 \ --features kvm_hidden=on \ --machine q35 \ --disk path=/home/yoann/KVM/mistral-7b/vda,bus=virtio,format=qcow2 \ --cdrom=/home/yoann/KVM/sysinstall/debian-13.2.0-amd64-netinst.iso \ --graphics spice \ --video virtio \ --network network=default,model=virtio \ --console pty,target_type=virtio \ --hostdev pci_0000_01_00_0 \ --hostdev pci_0000_01_00_1 \ --wait -1
Installation des pilotes propriétaire CUDA
Installation Mistral M8x7b via ollama
Installer Ollama
Déployer le
Références
Outils de la page
