Capítulo 09
Diseñar un experimento
Una lista de comprobación para estudios con muchos parsers: pregunta, targets, presupuestos, repeticiones, métricas y qué publicar.
Este último capítulo junta todos los anteriores. Es la lista de comprobación que uso antes de empezar un experimento con muchos targets, escrita para no tener que recordarla cada vez.
Empieza por la pregunta
Escribe la pregunta en una frase antes de elegir nada. «¿Llega la herramienta A a más código del parser que la herramienta B en formatos de imagen?» lleva a un diseño distinto del de «¿Cuántos lectores de ZIP aceptan archivos con entradas solapadas?». La pregunta te dice qué targets, qué entradas y qué mediciones necesitas.
Elige y fija los targets
- Crea la selección en el banco. Decide si cuentas paquetes o familias, y si incluyes las APIs de la biblioteca estándar.
- Guarda el manifiesto y anota el ID de la selección y el commit de Parsarium.
- Ejecuta primero los controles de toda la selección. Lleva unos minutos y confirma que todos los targets funcionan en tu máquina antes de que empiecen las ejecuciones largas.
Fija las condiciones
- Semillas. El mismo conjunto de semillas para todas las herramientas. Los controles son una opción razonable por defecto.
- Presupuesto. Tiempo real por target, o número de ejecuciones. Indica cuál.
- Repeticiones. Varias ejecuciones por configuración. Cinco es el mínimo; diez es mejor si te lo puedes permitir.
- Hardware. Modelo de CPU, núcleos usados, memoria y si las campañas compartieron máquina.
Elige las métricas
| Métrica | Sirve para | Cómo comparar |
|---|---|---|
| Cobertura | Hasta dónde llega una herramienta dentro del parser | Dentro de un target, entre herramientas o a lo largo del tiempo |
| Bugs distintos | Qué encuentra una herramienta | Después de deduplicar por ubicación y familia |
| Tiempo hasta el primer crash | Lo rápido que encuentra una herramienta un bug conocido | Mediana de las repeticiones |
| Aceptación | Cómo tratan los parsers un conjunto de entradas | Entre todos los targets de un formato |
Para la cobertura, un método justo es volver a pasar el corpus final de cada herramienta por el mismo target instrumentado y medirlo igual para todas, en lugar de comparar las cifras que cada herramienta da sobre sí misma.
Analiza
Presenta medianas con su dispersión, no ejecuciones sueltas. Usa un test estadístico como Mann-Whitney U para comparar herramientas en cada target, y un tamaño del efecto junto al p-valor. Presenta primero los resultados por target y después los agregados; una media entre lenguajes puede ocultar una herramienta que funciona bien en C y mal en todo lo demás.
Publica
Comparte el manifiesto, los scripts que ejecutaste y los directorios de ejecución, o al menos cada summary.json, campaign.json y afl-summary.json. Cita el commit de Parsarium y el ID de la selección. Con eso, otra persona puede reconstruir exactamente tu conjunto de targets y repetir las partes que le interesen.
Ideas clave
- Escribe la pregunta en una frase antes de elegir targets, entradas o métricas.
- Fija la selección y el commit, y ejecuta los controles antes de las ejecuciones largas.
- Fija las semillas, el presupuesto, las repeticiones y el hardware, y documenta los cuatro.
- Compara primero por target, con medianas, dispersión y un test estadístico. Agrega después.
- Publica el manifiesto, los scripts y los resúmenes de las ejecuciones.
Comprueba lo que sabes
Responde a las cinco para ver tu resultado
La herramienta A tiene más cobertura media que la B en 30 targets, con una ejecución de cada. ¿Basta para decir que A es mejor?
- Sí, 30 targets son muchos.
- Sí, si la diferencia es grande.
- No. Necesitas repeticiones por target y un test estadístico, y la media puede ocultar targets en los que pierde.
Una ejecución por target mezcla el efecto de la herramienta con el azar, y una media entre lenguajes puede ocultar una herramienta que solo funciona bien en C.
¿Para qué sirve aquí un test U de Mann-Whitney?
- Para medir la cobertura
- Para comparar los resultados de dos herramientas en un target sin suponer una distribución normal
- Para elegir el número de repeticiones
Los resultados de fuzzing rara vez siguen una distribución normal. Mann-Whitney U compara dos muestras de ejecuciones; acompáñalo de un tamaño del efecto.
¿Cómo mides la cobertura de forma justa entre herramientas?
- Vuelves a pasar el corpus final de cada herramienta por el mismo target instrumentado
- Usas la cifra que imprime cada herramienta al terminar
- Cuentas los archivos de cada cola
Cada herramienta mide la cobertura a su manera. Una medición común hace que las cifras sean comparables.
¿Por qué ejecutar los controles de toda la selección antes de las campañas?
- Para calentar la CPU
- Para confirmar que todos los targets funcionan en tu máquina antes de horas de fuzzing
- Porque el banco lo exige
Una imagen rota o una compilación que falta se encuentran en minutos y sin coste; después de un día de campañas, salen caras.
¿Qué es lo mínimo que debes compartir para que otros puedan reconstruir tu configuración?
- El artículo
- La versión del fuzzer
- El manifiesto de la selección con su ID, el commit de Parsarium y los resúmenes de las ejecuciones
Con eso, cualquiera puede reconstruir el conjunto de targets y repetir las partes que le interesen.
Ejercicios
Ejercicio 9.1Calentamiento
Para cada una de estas ideas de estudio, escribe la pregunta en una frase y elige una selección en el banco: formatos, lenguajes, límite por celda y si usar un target por familia.
- ¿La generación consciente de la estructura llega a más código que la mutación de bytes en formatos binarios?
- ¿Cuántos lectores de ZIP aceptan un archivo cuyo directorio central y cuyas cabeceras locales no coinciden?
- ¿Los parsers de Python manejan las entradas mal formadas de forma más segura que los de C?
Pista
Pregúntate qué estás contando en cada caso: código, comportamientos o lenguajes.
Solución
- PNG, ZIP, MP4, WAV y MP3; un target por familia; tres por celda. Estás comparando herramientas, así que los motores importan más que los wrappers.
- Solo ZIP, todos los lenguajes, todos los targets, incluidas las APIs estándar. Estás contando comportamiento real, así que cuenta cada paquete; presenta también las familias.
- Todos los formatos, solo Python y C, todos los targets, y después repite con uno por familia. El lenguaje es la variable, así que deja todo lo demás igual y muestra los dos recuentos.
Ejercicio 9.2Práctica
Lee este párrafo de evaluación y apunta todo lo que debería preguntar un revisor.
«Evaluamos nuestro fuzzer en 40 parsers de Parsarium durante 24 horas. Encontró 12 crashes y logró un 18 % más de cobertura que AFL++ de media, lo que demuestra su superioridad».
Pista
Repasa la lista de este capítulo: selección, semillas, presupuesto, repeticiones, métricas, estadística y artefactos.
Solución
- ¿Qué 40 parsers? No hay ID de selección ni commit.
- ¿24 horas en total o por target? ¿Cuántos en paralelo y en qué hardware?
- ¿Cuántas repeticiones? ¿El 18 % es una mediana o una sola ejecución, y es significativo?
- ¿Cómo se midió la cobertura: con las cifras de cada herramienta o con una medición común? ¿Se mezclaron targets con puente y compilados?
- ¿Los 12 crashes son antes o después de deduplicar? ¿Cuántos bugs distintos, en cuántas familias? ¿Se reprodujeron y se comunicaron?
- ¿Las dos herramientas usaron las mismas semillas?
- La «superioridad» de media puede ocultar targets en los que AFL++ fue mejor; faltan los resultados por target.
Ejercicio 9.3Reto
Diseña un estudio pequeño de principio a fin: dos formatos, un target por familia, campañas de cinco minutos y tres repeticiones. Crea la selección en el banco, descarga el manifiesto y la plantilla del informe, ejecuta los controles y después las campañas. Rellena las líneas de configuración del informe y añade una tabla con la mediana de corpus_count por target.
Pista
Reutiliza el script del ejercicio 7.3 y después calcula las medianas por proyecto con statistics.median.
Solución
Una respuesta completa tiene cinco archivos: el manifiesto, el script de ejecución, el CSV del script de recogida, el informe relleno y una nota breve sobre lo que no salió como estaba previsto. Es un experimento pequeño pero completo, y la misma estructura sirve para cientos de targets.