Laboratorio de Pruning
Elimina pesos de baja importancia y mide esparsidad, máscaras e impacto de compresión.
El pruning elimina pesos poco importantes para hacer modelos más pequeños y rápidos. Introduce esparsidad: muchos pesos se vuelven cero y pueden omitirse en inferencia.
Este laboratorio se centra en pruning de pesos. Puedes probar pruning no estructurado (pesos individuales) o variantes estructuradas (filas o columnas).
Umbral: elimina pesos con |w| por debajo de un corte.
Top-K global: conserva los K mayores pesos globalmente.
Esparsidad objetivo: encuentra un umbral para alcanzar una esparsidad dada.
Top-K por fila/columna: conserva los pesos top por fila o columna para aproximar esparsidad estructurada.
Aleatorio / Iterativo: baseline y pruning programado para mostrar compresión gradual.
- Genera una matriz y opcionalmente edita valores.
- Elige una estrategia de pruning y sus parámetros.
- Compara la matriz podada y la máscara con el original.
Generador de matriz
Ajustes de pruning
Resumen
Matriz original (clic para editar)
Haz clic en una celda para editar. Enter para guardar; vacío se convierte en cero.
Matriz podada
Máscara (1 = mantener, 0 = podar)
Exportación JSON
Notas
- El pruning no estructurado ofrece alta esparsidad pero accesos irregulares.
- El pruning estructurado es más fácil de acelerar en hardware, pero puede eliminar características completas.
- El pruning iterativo simula calendarios de entrenamiento para una compresión estable.