7 maneras alucinantes en que tu cerebro se equivoca con las estadísticas
Introducción: Por qué su intuición sobre los datos probablemente le esté mintiendo
Nuestros cerebros son máquinas extraordinarias de reconocimiento de patrones. Durante milenios, este instinto de generalizar rápidamente a partir de información limitada ayudó a nuestros antepasados a sobrevivir: identificar fruta madura, evitar depredadores y desenvolverse en entornos sociales complejos. Esta capacidad de encontrar patrones y sacar conclusiones precipitadas está intrínsecamente arraigada en nuestro pensamiento. Sin embargo, los mismos instintos que nos fueron útiles en la sabana a menudo nos llevan por completo al mal camino en el mundo moderno de los datos, la probabilidad y la estadística.
Al enfrentarnos a los números, nuestra intuición suele fallar de maneras sorprendentes y contraintuitivas. Vemos tendencias significativas en la pura aleatoriedad, juzgamos mal las probabilidades en escenarios simples y permitimos que nuestras creencias preconcebidas influyan en los datos simples de una hoja de cálculo. Este artículo explora siete ejemplos clásicos de cómo nuestra intuición estadística se equivoca constantemente, revelando los sesgos cognitivos que pueden confundir incluso a los más expertos en datos. Comprender estas trampas mentales es el primer paso para superarlas y tomar decisiones más acertadas basadas en datos.
El Listicle: 7 verdades contra-intuitivas sobre la probabilidad
1. Es casi seguro que confías demasiado en tu propio juicio.
El sesgo cognitivo de overconfidence es uno de los más extendidos. Para verlo en acción, consideremos una prueba diseñada por los investigadores Russo y Schoemaker. Les hicieron a más de 1,000 personas una serie de preguntas de cultura general (por ejemplo, "¿Cuál era la edad de Martin Luther King Jr. al morir?") y les pidieron que indicaran un rango que, según su nivel de confianza, contenía la respuesta correcta. Si las personas hubieran estado bien preparadas, habrían acertado aproximadamente nueve de cada diez preguntas.
¿El resultado? El 99 % de los participantes mostraron un exceso de confianza. La mayoría creó rangos demasiado estrechos, acertando solo entre el 30 % y el 60 % de las veces, en lugar del 90 % que pretendían. Esto revela una desconexión fundamental entre la confianza que sentimos sentir la precisión real de nuestras estimaciones. Precisamente por eso, los profesionales de datos construyen intervalos de confianza calculado para sus estimaciones. Una estimación puntual da una sensación de certeza, pero un intervalo de confianza cuantifica formalmente la incertidumbre que nuestro cerebro tiende a ignorar.
2. Tu cerebro ve patrones significativos en la aleatoriedad pura
En un ejemplo clásico del libro de texto «La estadística y la probabilidad no son intuitivas», la Tabla 1.1 presenta tiros de baloncesto simulados, representados por una «X» para un acierto y un «–» para un fallo. La mayoría de la gente detectará rápidamente rachas de aciertos y desaciertos, concluyendo que el patrón no es aleatorio. Sin embargo, los datos se generaron mediante un proceso puramente aleatorio, donde cada tiro tenía un 50 % de probabilidad de éxito, completamente independiente del anterior. Nuestro cerebro está tan ansioso por encontrar patrones que los imponemos a los datos, incluso cuando no existen.
Precisamente por eso los científicos de datos se basan en las pruebas de hipótesis y los valores p. Estos métodos formales proporcionan una barrera estadística contra nuestros instintos de búsqueda de patrones, impidiéndonos celebrar una fluctuación aleatoria en una prueba A/B como una verdadera victoria o señalar erróneamente una variación normal de ventas como una crisis.
3. Los grupos pequeños tienen los resultados más extremos, tanto buenos como malos
He aquí un dato desconcertante: un estudio sobre las tasas de cáncer de riñón en los condados de EE. UU. reveló que los condados con menor incidencia y el mayor incidencia de la enfermedad tendían a ser aquellos con poblaciones pequeñas. Esto parece contradictorio. ¿Acaso los condados rurales tienen algún factor ambiental que sea a la vez protector y perjudicial? La respuesta no tiene nada que ver con el medio ambiente, sino con el tamaño de la muestra.
En grupos grandes, las variaciones aleatorias tienden a compensarse entre sí. Sin embargo, en grupos pequeños, el azar tiene un efecto mucho mayor en los promedios y porcentajes. Consideremos un pequeño condado de tan solo 1,000 habitantes. Si ningún residente padece cáncer de riñón, ese condado tiene la tasa más baja posible. Pero si tan solo una persona contrae la enfermedad, ese mismo condado de repente tiene una de las tasas más altas del país. Para los profesionales de datos, esta es una advertencia crucial sobre el peligro de sacar conclusiones contundentes de estudios con poca potencia estadística o de pequeños programas piloto. Por eso, el análisis de potencia es esencial antes un experimento, asegurando que el tamaño de la muestra sea lo suficientemente grande como para distinguir un efecto real del ruido amplificado del azar.
4. El “problema de Monty Hall” demuestra que siempre debes cambiar tu apuesta
Este clásico acertijo de probabilidad ha desconcertado a innumerables personas, incluyendo matemáticos. Imagina que estás en un concurso con tres puertas. Detrás de una hay un coche; detrás de las otras dos, cabras. Eliges una puerta (por ejemplo, la 1). El presentador, que sabe qué hay detrás de cada puerta, abre una de las otras (por ejemplo, la 3) para revelar una cabra. Luego te pregunta: "¿Quieres quedarte con la 1 o cambiar a la 2?".
La intuición más común —y errónea— es que no importa. Parece una probabilidad del 50/50. Pero la respuesta correcta es que siempre debes cambiar. He aquí por qué:
- Cuando elegiste por primera vez la Puerta N°1, tenías una probabilidad de 1 en 3 de acertar.
- Esto significa que hay una probabilidad de 2 en 3 de que el automóvil esté detrás de uno de los otras dos puertas.
- Cuando el anfitrión revela una cabra detrás de la Puerta n.° 3, no cambia las probabilidades iniciales. Te da nueva información. Toda esa probabilidad de 2 en 3 que se repartía entre las Puertas n.° 2 y n.° 3 ahora se concentra en la única puerta restante: la Puerta n.° 2. Al cambiar, apuestas a la probabilidad de 2/3 de haberte equivocado inicialmente. Mantener tu elección original solo te da 1/3 de probabilidad de ganar. Aunque no es una tarea cotidiana en ciencia de datos, el problema de Monty Hall es una poderosa parábola sobre la probabilidad condicional. Nos enseña que la nueva información, incluso cuando parece trivial, puede cambiar radicalmente el panorama probabilístico, un concepto fundamental en los modelos bayesianos que actualizan sus "creencias" a medida que llegan nuevos datos.
5. Una prueba médica “altamente precisa” puede ser errónea el 91% de las veces
Nuestros cerebros son notoriamente deficientes a la hora de combinar información nueva con conocimientos previos, un proceso conocido como razonamiento bayesiano. Consideremos una prueba de detección del VIH en donantes de sangre, donde la prevalencia de la enfermedad es muy baja, del 0.1 %. La prueba es muy precisa: identifica correctamente el 99 % de las muestras infectadas y solo tiene una tasa de falsos positivos del 1 % en muestras no infectadas. Si la prueba de un donante da positivo, ¿cuál es la probabilidad de que realmente tenga VIH?
Hagamos los cálculos para 100,000 donantes:
- 100 personas tienen VIH. La prueba identificará correctamente a 99 de ellas (verdaderos positivos).
- 99,900 personas no tienen VIH. La prueba identificará incorrectamente al 1% de ellas, lo que resultará en 999 falsos positivos.
- En total, hay 1,098 pruebas positivas (99 verdaderas + 999 falsas).
La impactante conclusión es que, de las 1,098 personas que dan positivo, solo 99 tienen VIH. Esto significa que un resultado positivo tiene solo un 9 % de probabilidad de ser un verdadero positivo (99/1,098). Un asombroso 91 % de las pruebas positivas son falsas. Para cualquiera que trabaje en problemas como la detección de fraudes o el diagnóstico médico, esta es una lección fundamental. Un modelo con una precisión del 99 % puede ser desastrosamente engañoso si el evento que se busca es poco común, por lo que métricas como la precisión y la recuperación suelen ser más importantes que la precisión bruta.
6. Te engaña la “regresión a la media”
La «regresión a la media» es el fenómeno estadístico por el cual, cuanto más extrema sea una variable en su primera medición, mayor será la probabilidad de que se acerque a la media en su segunda medición. Este concepto explica innumerables conclusiones erróneas, desde la famosa « maldición de la portadade Sports Illustrated » (los atletas que tienen una temporada excepcional tienden a rendir más cerca de su promedio la temporada siguiente) hasta tratamientos médicos ineficaces que parecen funcionar.
Considere el estudio simulado de presión arterial ilustrado en la Figura 1.1 del texto original. Los investigadores miden la presión arterial en un grupo grande y luego seleccionan solo a los individuos con las lecturas iniciales más altas para un "tratamiento". Posteriormente, se realiza una segunda medición. Inevitablemente, la presión arterial promedio de este grupo selecto habrá disminuido. Precisamente por esto, los ensayos controlados aleatorizados (ECA) son el estándar de oro en la investigación. Sin un grupo de control para la comparación, la regresión a la media hará que casi cualquier intervención en un grupo extremo parezca efectiva, lo que lleva a los analistas a atribuir la causalidad a lo que es mera gravedad estadística que arrastra los valores atípicos de vuelta a la media.
7. Tu política puede cambiar lo que ves en una hoja de cálculo
Nuestros sesgos pueden alterar fundamentalmente la forma en que interpretamos los datos brutos. En un estudio contundente de Kahan y sus colegas, se mostró a los participantes una tabla de números y se les preguntó si una intervención había funcionado. Los números siempre fueron idénticos, pero se modificaron las etiquetas.
Cuando la tabla se etiquetó como una prueba para una nueva crema para la piel, tanto los demócratas liberales como los republicanos conservadores interpretaron correctamente los datos. Sin embargo, cuando los mismos datos se etiquetaron como una prueba para una ley que prohibía portar armas de fuego ocultas, las interpretaciones estuvieron condicionadas por la orientación política de cada persona. Cada bando concluyó que los datos respaldaban su idea preconcebida, a pesar de que las matemáticas mostraban claramente que la intervención era menos efectiva que no hacer nada (una tasa de mejora del 74.8 % para el grupo de intervención frente al 83.6 % para el grupo de control). Esta es una lección aleccionadora para cualquier analista. Demuestra por qué prácticas como el registro previo de hipótesis antes del análisis o análisis de los datos a ciegas son tan valiosas. Estas medidas de control ayudan a distinguir las ideas genuinas de las conclusiones que nuestros prejuicios buscan desesperadamente.
Conclusión: No confíes en tu instinto, confía en el proceso
Como hemos visto, nuestra intuición es una guía sumamente poco fiable en el mundo de la estadística y la probabilidad. Estamos programados para ser demasiado confiados, para ver patrones inexistentes y para dejar que nuestras creencias existentes dicten nuestras conclusiones. Estos no son signos de debilidad intelectual; son características universales de la cognición humana.
Precisamente por eso el rigor científico y estadístico es tan esencial. Los métodos formales no son meros ejercicios académicos; son las herramientas que hemos desarrollado para contrarrestar nuestros propios instintos erróneos. Nos obligan a comprobar nuestras suposiciones, cuantificar nuestra incertidumbre y seguir un proceso lógico que nos protege de sacar conclusiones precipitadas e inválidas. Al comprender estas trampas cognitivas, podemos aprender a confiar menos en nuestras corazonadas falibles y más en un proceso sólido y repetible.
Ahora que puedes detectar estas trampas mentales, ¿cuál buscarás más en tu propio trabajo y pensamiento?
