PromptFeed

· 8 min

Ejecuté 461 prompts de las colecciones populares. Esto es lo que salió.

Las listas de prompts se copian, se marcan con estrella y no se vuelven a ejecutar. Así que lancé todos contra el modelo y miré los resultados uno por uno. Una cuarta parte de lo que encontré no se arregla escribiendo mejores prompts.

Hay un género de repositorio que funciona muy bien en GitHub: la colección de prompts. Unos cientos de prompts, una captura al lado de cada uno, decenas de miles de estrellas. Partí de dos, ambas con licencia en regla y ambas excelentes, con la intención de traducir, ordenar y volver a publicar.

Antes de publicar nada los ejecuté todos. Ese es el método entero, y no tiene ningún mérito: lanzar cada prompt contra gpt-image-2, guardar la imagen que vuelve, y mirarla. Costó unos ochenta dólares.

Lo que sigue es lo que apareció. Nada de esto es una crítica a las colecciones de origen, escritas para otro público y honestas al respecto. Es lo que no ve nadie porque nadie los ejecuta.

1. Veinticinco imágenes salieron en un idioma que nadie pidió

El catálogo es para público angloparlante e hispanohablante. Veinticinco de las imágenes generadas tenían texto en chino, japonés o coreano: titulares, botones, etiquetas de precio, rótulos de tienda.

La explicación obvia es que los prompts estaban en chino. Era cierto en algunos, y traducirlos fue fácil. No arregló el problema, y perseguirlo hasta el fondo llevó cuatro intentos, cada uno de los cuales parecía el último.

  1. El cuerpo del prompt tenía caracteres CJK. Se detecta buscando los caracteres. Diez prompts.
  2. El prompt decía, en inglés, que rotulara en chino: «written in Simplified Chinese». Ni un solo carácter CJK en el fichero, así que la primera pasada le pasó por encima. Veinticinco más.
  3. Los ejemplos de las variables. Este es el que importaba: cuarenta y cinco fichas tenían valores de ejemplo en chino o japonés, y el pipeline cogía el primer ejemplo al generar la vista previa. El prompt estaba en inglés limpio y la imagen salía en japonés, porque se lo habíamos pedido nosotros.
  4. Y el sesgo del propio modelo. Con el prompt en inglés y sin un carácter CJK en ninguna parte, una botella de té verde sigue saliendo con la etiqueta en japonés.

2. Instruir al modelo no es una garantía

Después de traducirlo todo añadí una instrucción explícita: todo el texto en inglés, nada de CJK en ninguna parte del encuadre, ni como detalle de fondo, ni aunque la escena esté ambientada en Asia. Y regeneré las veinticinco.

Volvieron veinticinco imágenes. Varias seguían con texto en japonés.

Una segunda pasada recuperó veintidós. Pero eso es suerte, no un método. Cuando la escena es una botella de té verde o un cartel de anime, el modelo tira hacia el alfabeto que le corresponde, y una frase en el prompt no lo detiene de forma fiable.

Así que la garantía tuvo que moverse de sitio. Cada imagen pasa ahora por un segundo modelo que lee el texto de dentro y cuenta lo que ve. Si encuentra letras en un alfabeto que el prompt no pidió, o el logotipo de una empresa real que nadie declaró, la ficha no se publica. Ahora mismo hay tres retenidas: existen, están pagadas, y no están en el sitio.

Ese control llevaba días funcionando antes de que lo conectara a nada. Detectaba el chino correctamente y escribía el resultado en un fichero que no leía nadie. El detector no era la parte difícil; conectarlo al paso de publicar, sí.

3. Un detector de marcas no ve una franquicia

Dos fichas resultaron reproducir a los doce Caballeros Dorados de Saint Seiya, con sus nombres impresos bajo cada retrato. Una de ellas estaba en la portada.

El control que debería haberlo cazado busca marcas de empresa —Nike, Apple, Coca-Cola— y una franquicia no es una empresa. El prompt decía «los 12 Caballeros Dorados de [FRANQUICIA]», que se lee como una parametrización elegante hasta que ves lo que sale de ahí. Las dos están fuera del catálogo.

Un barrido encontró quince fichas más que citan propiedad intelectual ajena. La mayoría son referencias de estilo —«al estilo de una película de animación 3D»— que es práctica común y otra cosa distinta. La línea que acabé trazando: nombrar un aspecto vale, nombrar a los personajes y reproducirlos no.

4. Las personas de las imágenes no eran las que esperaba

Cuando un prompt describe a alguien sin decir cómo es, decide el modelo. Medí todas las imágenes del catálogo —cuántas personas, con qué prominencia, qué origen aparente— en vez de suponerlo.

Sin determinar o no visible
28%
Blanco / europeo
25%
Asiático oriental
21%
Latino / hispano
20%
Negro / africano
3%
Oriente Medio
2%

Eso es después de corregirlo. Antes, una de cada cuatro o cinco caras de un catálogo dirigido a Europa y Latinoamérica era de Asia oriental, y la causa no era el origen de los prompts. Eran otra vez nuestros propios ejemplos de variable: cuando un prompt decía [MODEL_DESCRIPTION] y el primer ejemplo era una mujer asiática, de eso se llenaba el catálogo.

La corrección no es cambiar una etnia por otra, que solo mueve el sesgo de sitio. Se rota un perfil de aspecto entre los casos para que el catálogo en conjunto varíe. La representación negra y africana sigue en el tres por ciento, que una rotación a partes iguales no arregla y yo no he resuelto.

5. La mitad de los antes/después no comparaban nada

Treinta y nueve prompts decían partir de una foto que sube el usuario. Generé un antes/después para cada uno, alimentado con una imagen de nuestro propio catálogo, y los puse tras un deslizador.

Después miré las parejas. En más de la mitad, las dos mitades no tenían nada que ver: un tarro de cosmética a la izquierda, una caja de regalo con forma de pingüino a la derecha. No era un fallo de emparejamiento: esos prompts dicen «diseña una lámina de empaque», no «transforma esta imagen», así que el modelo ignora la entrada y hace algo nuevo.

Un algoritmo puede comprobar que una imagen no lleva marca ajena, ni CJK, y que tiene el formato correcto. Lo que no puede comprobar es que el después tenga algo que ver con el antes. Veintiuno de los treinta y nueve resultaron ser transformaciones de verdad. Esos son los que llevan deslizador ahora.

Para qué sirve esto

Nada de lo de arriba es una técnica ingeniosa. Es lo que pasa cuando haces lo aburrido —ejecutar el prompt, mirar la imagen— y sacó a la luz problemas que ninguna cantidad de leer el prompt habría encontrado. Cuatro de los cinco solo se veían en el resultado.

El catálogo está en promptfeed.app, gratis y sin cuenta, y los prompts están en GitHub con licencia MIT. Si encuentras uno que ya no funciona, ese es el informe de error más útil que existe.