Laboratoire de Pruning
Supprimez les poids peu importants et mesurez la sparsité, les masques et l’impact de la compression.
Le pruning supprime les poids peu importants pour rendre les modèles plus petits et plus rapides. Il crée de la sparsité : beaucoup de poids deviennent zéro et peuvent être ignorés à l’inférence.
Ce labo se concentre sur le pruning de poids. Vous pouvez tester le pruning non structuré (poids individuels) ou des variantes structurées (lignes/colonnes).
Seuil: supprime les poids avec |w| en dessous d’un seuil.
Top-K global: conserve les K plus grands poids globalement.
Sparsité cible: trouve automatiquement un seuil pour atteindre une sparsité donnée.
Top-K par ligne/colonne: conserve les top poids par ligne ou colonne pour approximer la sparsité structurée.
Aléatoire / Itératif: baseline et pruning planifié pour montrer une compression progressive.
- Générez une matrice et modifiez éventuellement les valeurs.
- Choisissez la stratégie de pruning et ses paramètres.
- Comparez la matrice prunée et le masque avec l’originale.
Générateur de matrice
Paramètres de pruning
Résumé
Matrice originale (cliquer pour éditer)
Cliquez pour éditer. Entrée pour enregistrer ; vide devient zéro.
Matrice prunée
Masque (1 = garder, 0 = pruner)
Export JSON
Notes
- Le pruning non structuré donne une forte sparsité mais un accès mémoire irrégulier.
- Le pruning structuré est plus facile à accélérer, mais peut supprimer des caractéristiques entières.
- Le pruning itératif simule des plannings d’entraînement pour une compression stable.