En resumen.
SYNC escribe un borrador y, por defecto, una persona decide si se envía. Eso se puede relajar cuenta por cuenta. Comparamos lo que el software escribió primero con lo que al final se envió. De 266 borradores que una persona aprobó, 249 salieron con un texto distinto. 17 salieron tal como se habían escrito.
La mayoría de los cambios son grandes, y la mayoría alargan el mensaje. Eso no parece una aprobación a ciegas.
Las limitaciones son considerables. Las cifras describen un grupo pequeño de revisores, y las revisiones se reparten entre ellos de forma desigual. Parte del cambio puede ser la reparación que el propio software hace de un borrador. Y nada de esto demuestra que los cambios mejoraran un mensaje, porque no medimos ningún resultado.
Cuántos borradores se cambiaron.
Los 249 tenían algún cambio en el cuerpo del mensaje. Ningún cambio se limitaba a espacios o saltos de línea.
Los borradores se aprobaron entre el 21 de agosto y el 29 de septiembre de 2026. Las revisiones las hizo un grupo pequeño de personas.[1]
Partimos de 290 borradores aprobados y dejamos fuera 24. Esos 24 venían de una segunda vía de redacción en la que el primer borrador guardado es distinto del que se revisó, así que compararlos no mediría nada.
Qué tamaño tienen los cambios.
Los cambios no son pequeñas correcciones. Los medimos de dos maneras: cuánto cambió la longitud y cuánto se parece todavía el texto enviado al borrador.
| Qué medimos | Resultado |
|---|---|
| Más largo | 214 de 249 |
| Más corto | 34 de 249 |
| Misma longitud | 1 de 249 |
| Cambio de longitud, mediana | 24 % más largo |
| Cambio de longitud, mitad central de los borradores | entre un 8 % y un 55 % más largo |
La similitud es una puntuación de 0 a 1. Compara los dos textos en grupos solapados de tres caracteres. Una puntuación de 1 significa que los textos son iguales, y una cercana a 0, que no comparten casi nada.
Si se suman los dos grupos más bajos, 189 de los 249 borradores cambiados puntúan por debajo de 0,70. Son tres de cada cuatro. Solo 18 se tocaron ligeramente. La suma y las descripciones junto a las puntuaciones son nuestras. La puntuación en sí solo dice cuánto texto comparten.
Aún no podemos decir de qué tipo son estos cambios. Desde el 29 de septiembre, el software registra una comparación en cada aprobación y clasifica las diferencias en cuatro tipos: hechos, a quién va dirigido el mensaje, estructura y tono, y el cierre. Hay once registros de este tipo, todos de un solo día y de un grupo muy pequeño. Cada uno de los once lleva los cuatro tipos, así que la clasificación todavía no distingue nada.
Qué sugiere esto y qué no.
La investigación sobre automatización da un motivo para mirar esta cifra. Quienes trabajan con un sistema que suele acertar tienden a seguirlo. Una revisión de esa investigación dice que el efecto aparece en principiantes y en expertos, y que «no se puede evitar con formación ni con instrucciones».[2] Un paso de aprobación en el que casi todo pasa sin cambios encajaría con ese cuadro.
El nuestro no se parece a eso hoy. 17 de 266 borradores pasaron sin cambios. Los revisores cambian el texto, y añaden más a menudo de lo que recortan.
- 01No demuestra que los cambios mejoraran el mensaje. En este artículo no medimos respuestas ni reuniones, y no publicamos esas tasas.
- 02No demuestra que el borrador estuviera mal. Una persona puede reescribir un borrador correcto con su propio estilo.
- 03No demuestra que un borrador sin cambios se aprobara sin leerlo. Una persona puede leer un borrador con atención y no encontrar nada que cambiar.
- 04No describe a los comerciales en general. Describe a un grupo pequeño de revisores.
Qué cambiamos en el producto.
Añadimos la comparación en el momento de aprobar que se describe arriba. Desde el 29 de septiembre, el software guarda, al aprobar, qué cambió entre el borrador y el texto enviado. Cuando haya registros suficientes, podremos decir qué tipos de cambio son frecuentes.
Todavía no hemos cambiado lo que se guarda antes de la revisión. De ahí salen las limitaciones de abajo.
Lo que juega en contra.
Parte del cambio puede ser del propio software. Después del primer borrador, el software puede reparar un borrador que incumple una de sus reglas, y solo entonces lo ve una persona. Guardamos el primer borrador y el texto enviado. No guardamos el texto que leyó el revisor. En un borrador aprobado no podemos separar la reparación de la edición de la persona, así que la parte de la persona puede ser menor que 249 de 266, en una cantidad que no conocemos.
Las cifras son pequeñas y desiguales. Revisó un grupo pequeño de personas, durante menos de seis semanas, y las revisiones se reparten entre ellas de forma desigual. El resultado describe cómo trabajan unas pocas personas.
Una proporción alta de ediciones también se puede leer como una debilidad de los borradores. Si hay que reescribir el 94 % de los borradores, el software ahorra menos trabajo del que parece. Nuestros datos no permiten decidir entre esa lectura y la nuestra.
Editar tampoco es lo mismo que comprobar. Un estudio de 41 políticas que exigen que una persona supervise un algoritmo de la administración pública concluye, según las pruebas que revisa, que las personas no son capaces de ejercer la supervisión que se les pide, y que esas políticas pueden dar «una falsa sensación de seguridad».[4] Un revisor puede mejorar la redacción de un mensaje y aun así pasar por alto un dato erróneo. Un experimento encontró que los diseños que obligan a una persona a pensar reducen la dependencia excesiva, y que la gente da a esos diseños la peor nota.[3] Los dos estudios tratan de ámbitos distintos de las ventas.
La proporción también puede bajar. El 19 de septiembre, el mismo recuento era de 113 de 126. Cambia con cada aprobación, y quien empieza a fiarse de los borradores puede editar menos. Todavía no seguimos esa evolución en el tiempo.
Contamos los borradores que una persona revisó y aprobó, en el registro de cada borrador y de lo que pasó con él. El periodo va del 21 de agosto al 29 de septiembre de 2026 y abarca un grupo pequeño de revisores. Comparamos el cuerpo y el asunto del primer borrador con el cuerpo y el asunto del mensaje enviado.
Quedan fuera: 24 borradores de la segunda vía de redacción, porque su primer borrador guardado es un borrador distinto. Los borradores que aún esperan revisión, porque sus cambios hasta ahora son reparaciones del propio software. Damos todos los espacios de trabajo juntos y nunca uno solo por separado. La cifra 189 y las proporciones redondeadas son sumas nuestras a partir de los recuentos de arriba.
Las cifras valen para el momento en que se tomaron. Volvemos a medir el día de la publicación.
- [1]iSyncSO. Borradores aprobados tras la revisión de una persona, del 21 de agosto al 29 de septiembre de 2026. Medido el 29 de septiembre de 2026.medición propiaun grupo pequeño de revisores
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.solo el resumen
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).solo el resumenleído en arXiv; un experimento con 199 personas, no sobre ventas
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.solo el resumensobre algoritmos de la administración pública