Différences

Ci-dessous, les différences entre deux révisions de la page.

--- work_in_progress:installer-mistral-ai [2025/12/10 20:47] – créée yoann
+++ work_in_progress:installer-mistral-ai [2025/12/19 11:32] (Version actuelle) – yoann
@@ Ligne 1: / Ligne 1: @@
-{{tag>sysadmin software install ia}}
+{{tag>application software install mistral ia llm}}
-====== Mistral AI : installer localement un agent IA ======
+====== Mistral.ai : installer localement un agent IA ======
 :TODO:
+Historiquement, le modèle Opensource le plus puissant était celui distribué par la société Meta, la maison mère de Facebook. Ce LLM est connu sous le nom de **LLama** et de **CodeLLama** pour le modèle entraîné pour produire du code.
+De nouveaux LLM français très puissants ont vu le jour, il s'agit des LLM Mistral / Mixtral de la société Mistral.ai.
+Mistral.AI met à disposition du public ses modèles entraînés et affinés sous la licence Apache 2.0. Ainsi Mistral.AI souhaite faciliter le développement de nouvelles techniques et applications qui peuvent bénéficier à un large éventail d'industries et de domaines.
+===== A propos du modèle M8x7B =====
+Le modèle de Mistral.AI M8x7B((**M**istral**8x7B**illion)) se compose de 8 agents experts de "seulement" 7 milliards de paramètres. Cette architecture désignée "architecture éparpillée ou réseau clairsemé d'experts" en anglais **MoE**((**M**ixture **o**f **E**xperts)) permet d'obtenir des résultats proches de Chat GPT3.5 s'appuyant pourtant sur plusieurs centaines de milliards de paramètres.
+Concernant le processus de génération de la réponse, pour chaque mot (token), les deux experts les plus appropriés sont sélectionnés parmi les 8 disponibles. L'opération est répétée jusqu’à la génération complète de la réponse.
+A l'exécution, on obtient un modèle aussi rapide et consommateur qu'un modèle de 14 milliards de paramètres, alors qu'il a les connaissances et capacités d'un modèle de 56 milliards (Mixtral 8x7B décembre 2023). C' est le premier réseau de mélange d'experts à atteindre une performance de pointe parmi les modèles open-source : il surpasse Claude-2.1, Gemini Pro, et GPT-3.5 Turbo sur des benchmarks d'évaluation humaine.
+===== A propos du modèle Small 3.2 =====
+Lors de l'écriture de cette note, le modèle Mixtral 8x7B est classé modèle historique sur [[https://docs.mistral.ai/]]. Il est remplacé depuis le 30/03/2025 par Mistral Small 3.2
+===== Prérequis =====
+<note>
+Les LLM fonctionnent à base de vecteurs, de la même manière qu'un univers 3D au sein d'un jeu vidéo : c'est la raison pour laquelle les GPU des cartes graphiques sont particulièrement efficaces pour les exécuter.
+</note>
+===== Prérequis matériel ====
+  * **GPU** : NVIDIA GeForce RTX 4090
+  * **CPU** : AMD Ryzen 7950X3D
+  * **RAM** : 64Go
+  * **Operating System**: Linux (Arch BTW)
+  * **Idle GPU Memory Usage** : 0.341/23.98 Go
+Espace disque : ~ 5 GO disponible pour Mistral 7B via ollama
+===== Installation =====
+==== Création d'une VM (optionnel) ====
+Il est possible d'installer le tout dans un environnement virtualisé mais dans ce cas il faudra pouvoir [[sysadmin:linux:virtualisation:kvm:configurer-gpu-passthrough|activer l'utilisation directe du GPU par la VM (GPU passthrough)]]. Pour une installation directe sur le système :TODO: sauter cette étape.
+Création d'un disque de 20 Go pour la VM
+<code bash>
+mkdir -p ~/KVM/mistral-7b
+qemu-img create -f qcow2 ~/KVM/mistral-7b/vda 20G
+chown --recursive yoann:libvirt-qemu ~/KVM/mistral-7b/
+chmod --recursive ug+rw,o-rwx ~/KVM/mistral-7b/
+</code>
+Création de la VM via virt-install
+<file>
+virt-install --name="mistral-7b" \
+--metadata title="Test Mistral M8x7B",description="Mistral 8x7B / Ollama / Debian 13" \
+--vcpus=8 \
+--memory=16384 \
+--osinfo=debian13 \
+--features kvm_hidden=on \
+--machine q35 \
+--disk path=/home/yoann/KVM/mistral-7b/vda,bus=virtio,format=qcow2 \
+--cdrom=/home/yoann/KVM/sysinstall/debian-13.2.0-amd64-netinst.iso \
+--graphics spice \
+--video virtio \
+--network network=default,model=virtio \
+--console pty,target_type=virtio \
+--hostdev pci_0000_01_00_0 \
+--hostdev pci_0000_01_00_1 \
+--wait -1
+</file>
+Installation des pilotes propriétaire CUDA
+==== Installation Mistral M8x7b via ollama ====
+Installer Ollama
+Déployer le
 ===== Références =====
+  * https://docs.mistral.ai/models/mixtral-8x7b-0-1
   * https://www.techout.fr/installer-mistral-ai-sur-son-ordinateur-guide-complet/
   * https://onedollarvps.com/fr/blogs/how-to-run-devstral-small-2505-locally.html
   * https://www.datacamp.com/fr/tutorial/devstral-quickstart-guide
+  * https://ffreea.substack.com/p/comment-installer-mistral-ai-en-10
+  * https://www.geeek.org/mistral-ollama/
+  * https://intelligence-artificielle.developpez.com/actu/352780/Le-modele-de-langage-open-source-Mixtral-8x7B-de-la-startup-francaise-Mistral-AI-ecrase-la-concurrence-d-apres-un-sujet-de-recherche/
+  * https://anakin.ai/blog/how-to-run-mixtral-8x7b-locally/
+  * https://infotechys.com/gpu-passthrough-on-kvm/

wikinotes

Outils pour utilisateurs

Outils du site

Différences

Outils de la page