parsarium

Capítulo 04

Elegir targets

Celdas, rankings de adopción, familias de parsers y APIs estándar: cómo elegir un conjunto de targets que encaje con tu pregunta.

7 min de lectura5 preguntas3 ejercicios

Los targets que eliges determinan los resultados que obtienes. Un fuzzer que funciona bien con decodificadores de imágenes en C puede comportarse de forma muy distinta con lectores de archivos comprimidos en Java. Este capítulo explica cómo se construye el catálogo, para que puedas elegir un conjunto que responda a tu pregunta y describirlo con claridad.

Celdas y la meta de trabajo

El catálogo se construye celda a celda, donde una celda es un formato en un lenguaje. Para cada celda, Parsarium busca en los repositorios de paquetes el nombre del formato junto con términos como parser, decoder o reader, revisa los resultados y verifica los candidatos con un control. Cada celda se queda con los paquetes verificados más adoptados, hasta un límite que fija el protocolo de selección. Una celda puede quedarse por debajo del límite cuando la búsqueda no encuentra más candidatos con suficientes pruebas de adopción. Cada búsqueda, su fecha y su número de resultados se guardan junto a la celda, igual que las pistas que siguen abiertas.

Rankings de adopción

Dentro de una celda, los paquetes se ordenan según una única métrica de adopción: las descargas del repositorio cuando este publica cifras comparables y, si no, una alternativa documentada como las estrellas de GitHub. El ranking indica qué paquetes usa más la gente. No es una medida de calidad, y solo tiene sentido dentro de la celda, porque las descargas de npm y las estrellas de GitHub no son la misma unidad.

Los rankings son útiles para elegir un conjunto más pequeño. Si tomas los cinco primeros de cada celda, te quedas con las bibliotecas que tienen más probabilidades de estar en software real.

Paquetes y familias

Muchos paquetes son wrappers. En PHP, la mayoría de los paquetes de imágenes llaman por debajo a GD o a ImageMagick. En JavaScript, muchos paquetes de PDF se apoyan en pdf.js. Cada entrada del catálogo registra su familia de parsers: el código que realmente lee el formato.

Contar paquetes o familias depende de lo que quieras medir:

  • Si estudias ecosistemas (por ejemplo, cómo parsean imágenes los desarrolladores de PHP), cuenta cada paquete, porque cada uno es una dependencia distinta con su propia API y su propio código de wrapper.
  • Si estudias motores de parsing (cuántas implementaciones distintas fallan con una entrada), cuenta familias. Si no, un solo bug en GD aparece una vez por cada wrapper.
  • Si comparas fuzzers, usar un target por familia evita que la comparación se incline hacia el motor que casualmente tenga muchos wrappers.

APIs de la biblioteca estándar

Algunos lenguajes incluyen parsers en su biblioteca estándar: image/png y net/http en Go, zipfile y http.client en Python, java.util.zip en Java. Se verifican igual que los paquetes y tienen sus propios harnesses, pero aparecen por separado y no forman parte del ranking de adopción. Cuando existen, suelen ser el parser más usado de su lenguaje, así que la mayoría de los estudios querrán incluirlos.

Tipo de feedback

Los targets también se diferencian en cómo ve AFL++ su cobertura. Los targets en C, C++ y Rust se compilan con instrumentación. Los demás usan un puente que informa de la cobertura del código fuente del parser. Si tu experimento depende de un feedback nativo y rápido, filtra por este criterio. El siguiente capítulo lo trata en detalle.

Dejarlo por escrito

El banco convierte estas decisiones en una selección. Le asigna un ID derivado de su lista de targets, un manifiesto con versiones y controles, y una tabla para tu informe. Con el ID y el commit de Parsarium, cualquiera puede reconstruir el mismo conjunto.

Ideas clave

  • El catálogo se construye celda a celda y se queda con los paquetes verificados más adoptados, hasta el límite del protocolo de selección.
  • Los rankings de adopción solo comparan paquetes dentro de una celda, porque cada celda puede usar una métrica distinta.
  • Muchos paquetes comparten una familia de parsers. Cuenta paquetes para estudiar ecosistemas; cuenta familias para estudiar motores o comparar herramientas.
  • Las APIs de la biblioteca estándar se verifican igual que los paquetes, pero aparecen por separado y no entran en el ranking.
  • Un ID de selección más el commit de Parsarium bastan para que otra persona reconstruya exactamente tu conjunto de targets.

Comprueba lo que sabes

Responde a las cinco para ver tu resultado

¿Puedes comparar el puesto 1 de la celda PNG de Python con el puesto 1 de la celda PNG de Rust?

  1. Sí, los dos son los más populares.
  2. Sí, si los dos usan descargas.
  3. No. Los puestos solo tienen sentido dentro de una celda.

Cada celda usa una métrica documentada, a menudo de un registro distinto. Las descargas en PyPI y en crates.io no son la misma unidad.

Quieres comparar dos fuzzers con formatos de imagen. ¿Qué selección encaja mejor?

  1. Un target por familia de parser
  2. Todos los paquetes de todas las celdas de imagen
  3. Solo el paquete mejor clasificado de cada celda

Un target por familia evita que la comparación se incline hacia motores que casualmente tienen muchos wrappers, como GD en PHP.

Ocho paquetes PNG de PHP fallan con la misma entrada dentro de la misma función de GD. ¿Cuántos informes de bug deberías escribir?

  1. Ocho, uno por paquete
  2. Uno, a GD
  3. Ninguno, los bugs de PHP quedan fuera del alcance

El bug está en el motor compartido. Un solo informe al motor lo arregla para todos los wrappers.

¿Cómo se tratan las APIs de la biblioteca estándar en el catálogo?

  1. Se clasifican junto con los paquetes de terceros.
  2. Se verifican de la misma manera, pero aparecen por separado y sin ranking.
  3. No se incluyen.

image/png de Go o zipfile de Python pasan la misma comprobación de control y tienen harnesses, pero quedan fuera del ranking de adopción.

¿Qué permite a otra persona reconstruir exactamente el conjunto de targets que usaste?

  1. El número de targets
  2. Una captura de pantalla del banco
  3. El ID de selección y el commit de Parsarium

El ID se deriva de la lista ordenada de targets, y el commit fija cada versión, harness y control. El manifiesto registra ambos.

Ejercicios

Ejercicio 4.1Calentamiento

Abre las celdas de PDF y compara paquetes con familias.

$ parsarium catalog pdf javascript
$ parsarium catalog pdf go

Después abre el banco con PDF seleccionado y activa Un target por familia de parser. ¿Cuántos targets quedan? ¿Qué lenguajes pierden más? Apunta los dos IDs de selección.

Pista

Busca nombres de familia repetidos en la última columna de cada ranking, como mozilla/pdf.js.

Solución

JavaScript es el que más pierde: la mayoría de sus paquetes de PDF se apoyan en pdf.js, así que se reducen a un solo target. Go también encoge, porque varios de sus paquetes descienden del mismo lector de PDF. Los dos IDs son distintos porque las listas de targets son distintas; apunta los dos si publicas resultados de ambas.

Ejercicio 4.2Práctica

Construye una selección para comparar fuzzers con formatos de imagen: PNG y ASCII PNM, un target por familia, como mucho tres por celda. Después activa Solo feedback nativo. ¿Cómo cambia la selección y qué perderías si dejaras ese filtro activado?

Pista

El feedback nativo viene de C, C++, Rust y unos pocos targets nativos en otros lenguajes.

Solución

Con el filtro activado, la selección se reduce a targets compilados, sobre todo en C, C++ y Rust. Ganas un feedback rápido y preciso en todos los targets, lo que conviene a las herramientas que dependen de instrumentación nativa. Pierdes los lenguajes gestionados y, con ellos, parsers que usan muchas aplicaciones reales. Un informe justo dice qué opción elegiste y por qué.

Ejercicio 4.3Reto

Algunas celdas son mucho más pequeñas que otras, y PHP × ASCII PLY es de las más pequeñas. Abre sus datos y averigua por qué.

cat "$PARSARIUM/data/php/ascii_ply/cell.json"
cat "$PARSARIUM/data/php/ascii_ply/leads.json"
Pista

Lee el campo uncertainty de cell.json; resume la búsqueda y lo que se encontró.

Solución

Las búsquedas en Packagist, GitHub y Sourcegraph devolvieron cientos de resultados, pero muy pocos eran código PHP que realmente parsea PLY: la mayoría eran escritores, nombres sin relación o JavaScript incrustado en páginas PHP. Algunos de los paquetes que sí encontró comparten un motor. La celda es pequeña porque el espacio de búsqueda está documentado y agotado, no porque nadie buscara. Esto es lo que el protocolo llama un límite de búsqueda registrado.