Capítulo 04
Elegir targets
Celdas, rankings de adopción, familias de parsers y APIs estándar: cómo elegir un conjunto de targets que encaje con tu pregunta.
Los targets que eliges determinan los resultados que obtienes. Un fuzzer que funciona bien con decodificadores de imágenes en C puede comportarse de forma muy distinta con lectores de archivos comprimidos en Java. Este capítulo explica cómo se construye el catálogo, para que puedas elegir un conjunto que responda a tu pregunta y describirlo con claridad.
Celdas y la meta de trabajo
El catálogo se construye celda a celda, donde una celda es un formato en un lenguaje. Para cada celda, Parsarium busca en los repositorios de paquetes el nombre del formato junto con términos como parser, decoder o reader, revisa los resultados y verifica los candidatos con un control. Cada celda se queda con los paquetes verificados más adoptados, hasta un límite que fija el protocolo de selección. Una celda puede quedarse por debajo del límite cuando la búsqueda no encuentra más candidatos con suficientes pruebas de adopción. Cada búsqueda, su fecha y su número de resultados se guardan junto a la celda, igual que las pistas que siguen abiertas.
Rankings de adopción
Dentro de una celda, los paquetes se ordenan según una única métrica de adopción: las descargas del repositorio cuando este publica cifras comparables y, si no, una alternativa documentada como las estrellas de GitHub. El ranking indica qué paquetes usa más la gente. No es una medida de calidad, y solo tiene sentido dentro de la celda, porque las descargas de npm y las estrellas de GitHub no son la misma unidad.
Los rankings son útiles para elegir un conjunto más pequeño. Si tomas los cinco primeros de cada celda, te quedas con las bibliotecas que tienen más probabilidades de estar en software real.
Paquetes y familias
Muchos paquetes son wrappers. En PHP, la mayoría de los paquetes de imágenes llaman por debajo a GD o a ImageMagick. En JavaScript, muchos paquetes de PDF se apoyan en pdf.js. Cada entrada del catálogo registra su familia de parsers: el código que realmente lee el formato.
Contar paquetes o familias depende de lo que quieras medir:
- Si estudias ecosistemas (por ejemplo, cómo parsean imágenes los desarrolladores de PHP), cuenta cada paquete, porque cada uno es una dependencia distinta con su propia API y su propio código de wrapper.
- Si estudias motores de parsing (cuántas implementaciones distintas fallan con una entrada), cuenta familias. Si no, un solo bug en GD aparece una vez por cada wrapper.
- Si comparas fuzzers, usar un target por familia evita que la comparación se incline hacia el motor que casualmente tenga muchos wrappers.
APIs de la biblioteca estándar
Algunos lenguajes incluyen parsers en su biblioteca estándar: image/png y net/http en Go, zipfile y http.client en Python, java.util.zip en Java. Se verifican igual que los paquetes y tienen sus propios harnesses, pero aparecen por separado y no forman parte del ranking de adopción. Cuando existen, suelen ser el parser más usado de su lenguaje, así que la mayoría de los estudios querrán incluirlos.
Tipo de feedback
Los targets también se diferencian en cómo ve AFL++ su cobertura. Los targets en C, C++ y Rust se compilan con instrumentación. Los demás usan un puente que informa de la cobertura del código fuente del parser. Si tu experimento depende de un feedback nativo y rápido, filtra por este criterio. El siguiente capítulo lo trata en detalle.
Dejarlo por escrito
El banco convierte estas decisiones en una selección. Le asigna un ID derivado de su lista de targets, un manifiesto con versiones y controles, y una tabla para tu informe. Con el ID y el commit de Parsarium, cualquiera puede reconstruir el mismo conjunto.
Ideas clave
- El catálogo se construye celda a celda y se queda con los paquetes verificados más adoptados, hasta el límite del protocolo de selección.
- Los rankings de adopción solo comparan paquetes dentro de una celda, porque cada celda puede usar una métrica distinta.
- Muchos paquetes comparten una familia de parsers. Cuenta paquetes para estudiar ecosistemas; cuenta familias para estudiar motores o comparar herramientas.
- Las APIs de la biblioteca estándar se verifican igual que los paquetes, pero aparecen por separado y no entran en el ranking.
- Un ID de selección más el commit de Parsarium bastan para que otra persona reconstruya exactamente tu conjunto de targets.
Comprueba lo que sabes
Responde a las cinco para ver tu resultado
¿Puedes comparar el puesto 1 de la celda PNG de Python con el puesto 1 de la celda PNG de Rust?
- Sí, los dos son los más populares.
- Sí, si los dos usan descargas.
- No. Los puestos solo tienen sentido dentro de una celda.
Cada celda usa una métrica documentada, a menudo de un registro distinto. Las descargas en PyPI y en crates.io no son la misma unidad.
Quieres comparar dos fuzzers con formatos de imagen. ¿Qué selección encaja mejor?
- Un target por familia de parser
- Todos los paquetes de todas las celdas de imagen
- Solo el paquete mejor clasificado de cada celda
Un target por familia evita que la comparación se incline hacia motores que casualmente tienen muchos wrappers, como GD en PHP.
Ocho paquetes PNG de PHP fallan con la misma entrada dentro de la misma función de GD. ¿Cuántos informes de bug deberías escribir?
- Ocho, uno por paquete
- Uno, a GD
- Ninguno, los bugs de PHP quedan fuera del alcance
El bug está en el motor compartido. Un solo informe al motor lo arregla para todos los wrappers.
¿Cómo se tratan las APIs de la biblioteca estándar en el catálogo?
- Se clasifican junto con los paquetes de terceros.
- Se verifican de la misma manera, pero aparecen por separado y sin ranking.
- No se incluyen.
image/png de Go o zipfile de Python pasan la misma comprobación de control y tienen harnesses, pero quedan fuera del ranking de adopción.
¿Qué permite a otra persona reconstruir exactamente el conjunto de targets que usaste?
- El número de targets
- Una captura de pantalla del banco
- El ID de selección y el commit de Parsarium
El ID se deriva de la lista ordenada de targets, y el commit fija cada versión, harness y control. El manifiesto registra ambos.
Ejercicios
Ejercicio 4.1Calentamiento
Abre las celdas de PDF y compara paquetes con familias.
$ parsarium catalog pdf javascript $ parsarium catalog pdf go
Después abre el banco con PDF seleccionado y activa Un target por familia de parser. ¿Cuántos targets quedan? ¿Qué lenguajes pierden más? Apunta los dos IDs de selección.
Pista
Busca nombres de familia repetidos en la última columna de cada ranking, como mozilla/pdf.js.
Solución
JavaScript es el que más pierde: la mayoría de sus paquetes de PDF se apoyan en pdf.js, así que se reducen a un solo target. Go también encoge, porque varios de sus paquetes descienden del mismo lector de PDF. Los dos IDs son distintos porque las listas de targets son distintas; apunta los dos si publicas resultados de ambas.
Ejercicio 4.2Práctica
Construye una selección para comparar fuzzers con formatos de imagen: PNG y ASCII PNM, un target por familia, como mucho tres por celda. Después activa Solo feedback nativo. ¿Cómo cambia la selección y qué perderías si dejaras ese filtro activado?
Pista
El feedback nativo viene de C, C++, Rust y unos pocos targets nativos en otros lenguajes.
Solución
Con el filtro activado, la selección se reduce a targets compilados, sobre todo en C, C++ y Rust. Ganas un feedback rápido y preciso en todos los targets, lo que conviene a las herramientas que dependen de instrumentación nativa. Pierdes los lenguajes gestionados y, con ellos, parsers que usan muchas aplicaciones reales. Un informe justo dice qué opción elegiste y por qué.
Ejercicio 4.3Reto
Algunas celdas son mucho más pequeñas que otras, y PHP × ASCII PLY es de las más pequeñas. Abre sus datos y averigua por qué.
cat "$PARSARIUM/data/php/ascii_ply/cell.json" cat "$PARSARIUM/data/php/ascii_ply/leads.json"
Pista
Lee el campo uncertainty de cell.json; resume la búsqueda y lo que se encontró.
Solución
Las búsquedas en Packagist, GitHub y Sourcegraph devolvieron cientos de resultados, pero muy pocos eran código PHP que realmente parsea PLY: la mayoría eran escritores, nombres sin relación o JavaScript incrustado en páginas PHP. Algunos de los paquetes que sí encontró comparten un motor. La celda es pequeña porque el espacio de búsqueda está documentado y agotado, no porque nadie buscara. Esto es lo que el protocolo llama un límite de búsqueda registrado.