Tag: #quantification

2 articles

Évaluer les modèles quantisés : perplexité, divergence KL & vraies évals de tâches

Comment savoir si IQ3_M est encore assez bon ? Mesurer la perte de qualité d'une quantisation – avec llama-perplexity, la divergence KL par rapport au modèle de base et une petite éval de tâches maison.

26. Juli 2026 • Alain Ritter

#tutorial #quantification #llama.cpp #evaluation #ia #llm

Quantiser Qwen3-32B à la main – un modèle 32B sur 16 Go de VRAM

Comment j'ai quantisé Qwen3-32B avec llama.cpp et une matrice d'importance pour le faire tourner sur un GPU de 16 Go : conversion GGUF, imatrix, niveaux de quantisation comparés, budget VRAM et offload de couches.

26. Juli 2026 • Alain Ritter

#tutorial #quantification #llama.cpp #qwen #ia #llm