Vitalik partage une solution LLM privée locale, en mettant l'accent sur la confidentialité et la sécurité prioritaires

Message de ChainCatcher : Vitalik Buterin a publié un billet dans lequel il partage sa proposition de déploiement d’un LLM localisé et privatisé à date du 4 avril 2026. L’objectif central est de partir du postulat que la confidentialité, la sécurité et la maîtrise autonome priment, tout en réduisant au maximum les occasions pour lesquelles des modèles distants et des services externes touchent aux données personnelles, et en abaissant les risques de fuite de données, de jailbreak du modèle et d’exploitation de contenus malveillants grâce à l’inférence locale, au stockage local des fichiers et à l’isolation par bac à sable, entre autres.

Côté matériel, il a testé des solutions comme des ordinateurs portables équipés d’un GPU NVIDIA 5090, des dispositifs à mémoire unifiée AMD Ryzen AI Max Pro de 128 GB, ainsi que des systèmes comme DGX Spark, et a mené des inférences locales avec les modèles Qwen3.5 35B et 122B.

En particulier, sur le portable 5090, le débit atteint environ 90 tokens/s avec le modèle 35B, la solution AMD affiche environ 51 tokens/s, et DGX Spark environ 60 tokens/s. Vitalik indique qu’il préfère davantage construire son environnement d’IA local à partir d’ordinateurs portables haute performance, tout en utilisant des outils comme llama-server, llama-swap et NixOS pour mettre en place l’ensemble du flux de travail.