Différences

Ci-dessous, les différences entre deux révisions de la page.

--- work_in_progress:installer-mistral-ai [2025/12/13 12:45] – yoann
+++ work_in_progress:installer-mistral-ai [2025/12/19 11:32] (Version actuelle) – yoann
@@ Ligne 1: / Ligne 1: @@
-{{tag>sysadmin software install ia}}
+{{tag>application software install mistral ia llm}}
@@ Ligne 14: / Ligne 14: @@
 ===== A propos du modèle M8x7B =====
-Le modèle de Mistral.AI M8x7B((**M**istral**8x7B**illion)) se compose de 8 agents experts de "seulement" 7 milliards de paramètres. Cette architecture désignée "architecture éparpillée ou réseau clairsemé d'experts" permet d'obtenir des résultats proches de Chat GPT3.5 s'appuyant pourtant sur plusieurs centaines de milliards de paramètres.
+Le modèle de Mistral.AI M8x7B((**M**istral**8x7B**illion)) se compose de 8 agents experts de "seulement" 7 milliards de paramètres. Cette architecture désignée "architecture éparpillée ou réseau clairsemé d'experts" en anglais **MoE**((**M**ixture **o**f **E**xperts)) permet d'obtenir des résultats proches de Chat GPT3.5 s'appuyant pourtant sur plusieurs centaines de milliards de paramètres.
-Concernant le processus de génération de la réponse, pour chaque mot (token), les deux experts les plus appropriés sont sélectionnés parmi les 8. L'opération est répétée jusqu’à la génération complète de la réponse.
+Concernant le processus de génération de la réponse, pour chaque mot (token), les deux experts les plus appropriés sont sélectionnés parmi les 8 disponibles. L'opération est répétée jusqu’à la génération complète de la réponse.
-A l'exécution, on obtient un modèle aussi rapide et consommateur qu'un modèle de 14 milliards de paramètres, alors qu'il a les connaissances et capacités d'un modèle de 56 milliards (Mixtral 8x7B décembre 2023).
-Mixtral 8x7B est le premier réseau de mélange d'experts à atteindre une performance de pointe parmi les modèles open-source. Mixtral 8x7B Instruct surpasse Claude-2.1, Gemini Pro, et GPT-3.5 Turbo sur des benchmarks d'évaluation humaine. Parce qu'il n'utilise que deux experts à chaque pas de temps, Mixtral n'utilise que 13 milliards de paramètres actifs par jeton tout en surpassant le meilleur modèle précédent utilisant 70 milliards de paramètres par jeton (Llama 2 70B).
+A l'exécution, on obtient un modèle aussi rapide et consommateur qu'un modèle de 14 milliards de paramètres, alors qu'il a les connaissances et capacités d'un modèle de 56 milliards (Mixtral 8x7B décembre 2023). C' est le premier réseau de mélange d'experts à atteindre une performance de pointe parmi les modèles open-source : il surpasse Claude-2.1, Gemini Pro, et GPT-3.5 Turbo sur des benchmarks d'évaluation humaine.
 ===== A propos du modèle Small 3.2 =====
@@ Ligne 33: / Ligne 30: @@
 </note>
-A confirmer :
+===== Prérequis matériel ====
-  * 16 Go RAM
-  * Carte vidéo NVIDIA dédié ;
+  * **GPU** : NVIDIA GeForce RTX 4090
+  * **CPU** : AMD Ryzen 7950X3D
+  * **RAM** : 64Go
+  * **Operating System**: Linux (Arch BTW)
+  * **Idle GPU Memory Usage** : 0.341/23.98 Go
+Espace disque : ~ 5 GO disponible pour Mistral 7B via ollama
+===== Installation =====
+==== Création d'une VM (optionnel) ====
+Il est possible d'installer le tout dans un environnement virtualisé mais dans ce cas il faudra pouvoir [[sysadmin:linux:virtualisation:kvm:configurer-gpu-passthrough|activer l'utilisation directe du GPU par la VM (GPU passthrough)]]. Pour une installation directe sur le système :TODO: sauter cette étape.
+Création d'un disque de 20 Go pour la VM
+<code bash>
+mkdir -p ~/KVM/mistral-7b
+qemu-img create -f qcow2 ~/KVM/mistral-7b/vda 20G
+chown --recursive yoann:libvirt-qemu ~/KVM/mistral-7b/
+chmod --recursive ug+rw,o-rwx ~/KVM/mistral-7b/
+</code>
+Création de la VM via virt-install
+<file>
+virt-install --name="mistral-7b" \
+--metadata title="Test Mistral M8x7B",description="Mistral 8x7B / Ollama / Debian 13" \
+--vcpus=8 \
+--memory=16384 \
+--osinfo=debian13 \
+--features kvm_hidden=on \
+--machine q35 \
+--disk path=/home/yoann/KVM/mistral-7b/vda,bus=virtio,format=qcow2 \
+--cdrom=/home/yoann/KVM/sysinstall/debian-13.2.0-amd64-netinst.iso \
+--graphics spice \
+--video virtio \
+--network network=default,model=virtio \
+--console pty,target_type=virtio \
+--hostdev pci_0000_01_00_0 \
+--hostdev pci_0000_01_00_1 \
+--wait -1
+</file>
+Installation des pilotes propriétaire CUDA
+==== Installation Mistral M8x7b via ollama ====
+Installer Ollama
+Déployer le
 ===== Références =====
@@ Ligne 47: / Ligne 97: @@
   * https://www.geeek.org/mistral-ollama/
   * https://intelligence-artificielle.developpez.com/actu/352780/Le-modele-de-langage-open-source-Mixtral-8x7B-de-la-startup-francaise-Mistral-AI-ecrase-la-concurrence-d-apres-un-sujet-de-recherche/
+  * https://anakin.ai/blog/how-to-run-mixtral-8x7b-locally/
+  * https://infotechys.com/gpu-passthrough-on-kvm/

wikinotes

Outils pour utilisateurs

Outils du site

Différences

Outils de la page