Capítulo 05
Feedback de cobertura
Cómo decide AFL++ que una entrada es interesante, cómo obtiene Parsarium esa señal en ocho lenguajes y cómo leer las cifras.
Un fuzzer guiado por cobertura muta entradas y se queda con las que hacen que el programa haga algo nuevo. Ese «algo nuevo» se mide con el feedback de cobertura: qué partes del código alcanzó una entrada. Sin él, el fuzzer va a ciegas. Con él, el fuzzer construye un corpus paso a paso, y cada entrada llega un poco más lejos dentro del parser.
Cómo ve AFL++ la cobertura
AFL++ mantiene un mapa en memoria compartida, de 64 KiB por defecto. Mientras se ejecuta el target, cada transición entre dos puntos del código, una arista, incrementa una posición del mapa. Después de cada ejecución, AFL++ revisa el mapa. Si una entrada tocó una posición que ninguna entrada anterior había tocado, o la tocó un número de veces muy distinto, se guarda en la cola y se sigue mutando.
En C, C++ y Rust, el compilador inserta esta instrumentación en el parser. Es la configuración más rápida y más precisa.
Puentes para otros lenguajes
Go, Java, JavaScript, Python y PHP no se compilan a código nativo de la misma manera, así que Parsarium usa un puente. El harness registra qué partes del código fuente del parser se ejecutaron, con la herramienta de cobertura del propio lenguaje, y un pequeño proxy escribe esas características en el mapa de AFL++.
| Lenguaje | Característica | Origen |
|---|---|---|
| C, C++ | Aristas compiladas | Instrumentación del compilador de AFL++ |
| Rust | Aristas compiladas | afl.rs |
| Go | Bloques de sentencias | Cobertura de Go del paquete del parser |
| Java | Líneas de código | JaCoCo |
| JavaScript | Rangos de código | Cobertura de V8 |
| Python | Líneas de código | Trazado de líneas |
| PHP | Líneas de código | Xdebug |
Los paquetes del parser no se modifican, y la cobertura se limita al código fuente del propio parser, de modo que la señal habla del parser y no del intérprete ni del harness. Los puentes son más lentos que la instrumentación compilada, y conviene tenerlo en cuenta al fijar los presupuestos de tiempo.
Parsarium comprueba que los puentes responden de verdad a la entrada. Para algunos targets de cada lenguaje con puente, ejecuta dos entradas distintas y registra cuántas características del parser alcanzó cada una. Para el lector de PLY en Java jply, por ejemplo, las dos entradas alcanzaron 235 y 146 características. Esa diferencia es lo que usa el fuzzer para distinguirlas.
Cómo leer las cifras
Un recuento de cobertura solo significa algo al lado de otro recuento del mismo target. Úsalo para comparar dos entradas, dos corpus o la misma campaña a lo largo del tiempo. No compares recuentos entre lenguajes: una línea de Java, un bloque de Go y una arista de C son unidades distintas. Cuando presentes resultados de muchos targets, indica el tipo de feedback de cada uno. El banco lo añade por ti a la tabla del informe.
Ideas clave
- AFL++ registra aristas en un mapa compartido y se queda con las entradas que alcanzan posiciones nuevas o recuentos muy distintos.
- Los targets en C, C++ y Rust se instrumentan al compilar. Los targets en Go, Java, JavaScript, Python y PHP usan un puente que informa de la cobertura del código fuente del parser.
- La cobertura del puente se limita al código fuente del propio parser, así que la señal habla del parser.
- Los recuentos de cobertura solo se pueden comparar dentro de un mismo target. Indica el tipo de feedback de cada target.
Comprueba lo que sabes
Responde a las cinco para ver tu resultado
¿Qué entradas guarda AFL++ en su cola?
- Todas las entradas que genera
- Las entradas que alcanzan una posición nueva del mapa, o que tocan una posición un número de veces muy distinto
- Solo las entradas que provocan un fallo
La cobertura nueva, incluido un nuevo rango de recuento para una arista que ya había visto, es lo que hace que merezca la pena guardar una entrada y seguir mutándola.
Un target en Go informa de 900 características y uno en C de 600 aristas con el mismo archivo. ¿Qué parser está mejor cubierto?
- El target en Go
- El target en C
- No se puede saber: las unidades son distintas.
Un bloque de sentencias de Go y una arista compilada de C miden cosas distintas. Compara recuentos solo dentro del mismo target.
¿Por qué los puentes miden solo el código fuente del parser y no el intérprete?
- Para que el feedback describa el parser, no el runtime ni el harness
- Porque los intérpretes no se pueden medir
- Para que el mapa sea más pequeño
Si contara el código del propio intérprete, el fuzzer perseguiría caminos nuevos en el runtime en lugar de en el parser que estás probando.
El mapa de AFL++ tiene 64 KiB de posiciones. ¿Qué puede pasar cuando dos aristas distintas caen en la misma posición?
- El target falla.
- El fuzzer puede no darse cuenta de que una de ellas es cobertura nueva.
- Nada; las colisiones son imposibles.
Las colisiones son posibles en cualquier mapa de tamaño fijo. Hacen el feedback algo menos preciso, pero no estropean la campaña.
Das a un target con puente y a uno compilado el mismo presupuesto de una hora. ¿Qué debería decir tu informe?
- Nada más; el tiempo es el tiempo.
- Solo la cobertura final
- El tipo de feedback de cada target y cuántas ejecuciones hizo cada uno
Los targets con puente suelen hacer menos ejecuciones por segundo. Indicar las ejecuciones y el tipo de feedback permite a los lectores interpretar la comparación.
Ejercicios
Ejercicio 5.1Calentamiento
Prepara una ejecución de AFL++ para un target compilado y otra para un target con puente, y compara sus planes.
$ parsarium afl build png c stb $ parsarium afl prepare png c stb runs/stb-afl $ parsarium afl build png python pillow $ parsarium afl prepare png python pillow runs/pillow-afl $ parsarium afl run runs/pillow-afl --check
Abre los dos archivos plan.json y busca el tipo de feedback. Después ejecuta cada uno durante cinco minutos con --seconds 300 y compara execs_per_sec en afl-out/default/fuzzer_stats.
Pista
fuzzer_stats es un archivo de texto plano con líneas key : value.
Solución
El plan de Pillow indica el puente de Python; el de stb_image usa aristas compiladas. Cuenta con que stb_image haga muchas más ejecuciones por segundo, a menudo un orden de magnitud o más, porque el puente traza líneas de Python y las pasa por un proxy. Por eso los presupuestos de los targets con puente hay que fijarlos con cuidado.
Ejercicio 5.2Práctica
Parsarium comprueba que los puentes responden a la entrada ejecutando dos entradas distintas y registrando las características del parser que alcanzó cada una. Lee data/afl-feedback-differential.json y, para cada proyecto, calcula la diferencia como proporción de las características de la primera entrada.
python3 - <<'EOF'
import json, os
for r in json.load(open(os.path.join(os.environ["PARSARIUM"], "data/afl-feedback-differential.json")))["results"]:
share = r["parser_feature_difference"] / r["first_parser_features"]
print(f"{r['project']:30} {r['first_parser_features']:4} {r['second_parser_features']:4} {share:6.1%}")
EOF
¿Qué puente muestra la mayor diferencia relativa y cuál la menor? ¿Qué significa una diferencia pequeña?
Pista
La diferencia cuenta las características que alcanzó una entrada y no la otra, en cualquiera de los dos sentidos.
Solución
En el momento de escribir esto, el lector de SVG en PHP muestra la mayor proporción (difieren 40 de 72 características) y la biblioteca de PDF en JavaScript pdf-lib la menor (4 de 656). Una diferencia pequeña no significa que el puente esté roto: estas dos entradas PDF simplemente siguen casi el mismo camino por un parser grande. Sí significa que un fuzzer necesitará entradas que se diferencien de formas más interesantes para avanzar ahí.
Ejercicio 5.3Reto
Ejecuta la campaña de Pillow dos veces, diez minutos cada una, y representa cómo crece el corpus a lo largo del tiempo en las dos ejecuciones. AFL++ escribe una serie temporal en afl-out/default/plot_data.
Pista
La primera línea de plot_data es una cabecera que empieza por #. Lee de ahí los nombres de las columnas en lugar de fijar las posiciones a mano.
Solución
python3 - runs/pillow-a runs/pillow-b <<'EOF'
import sys, csv
import matplotlib.pyplot as plt
for run in sys.argv[1:]:
with open(f"{run}/afl-out/default/plot_data") as f:
header = [h.strip() for h in f.readline().lstrip("# ").split(",")]
rows = [dict(zip(header, (v.strip() for v in line))) for line in csv.reader(f)]
plt.plot([int(r["relative_time"]) for r in rows], [int(r["corpus_count"]) for r in rows], label=run)
plt.xlabel("seconds"); plt.ylabel("corpus size"); plt.legend(); plt.savefig("corpus.png")
EOFLas dos curvas no serán idénticas. La mayor parte del crecimiento ocurre al principio y después se aplana; las ejecuciones se diferencian en cuándo se producen los saltos. Esa dispersión es la razón por la que los capítulos siguientes insisten en las repeticiones.