Cuatro verdades contraintuitivas sobre la desviación estándar
Introducción: Más allá de la media
El ser humano promedio tiene un pecho y un testículo.
Esta cita ilustra vívidamente el peligro de basarse únicamente en el promedio, o la media, para comprender un conjunto de datos. Si bien técnicamente es cierto, el "humano promedio" que describe no existe y no nos dice nada sobre la distribución real de los rasgos en la población. La media puede ser un resumen engañoso cuando existe una variación significativa.
Para obtener una visión más clara, necesitamos una forma de cuantificar esta dispersión o variabilidad. La herramienta más común para ello es la desviación estándar (DE). Esta mide la dispersión de los datos con respecto a la media. Si bien muchos aprendemos a calcular la desviación estándar en un curso introductorio de estadística, su interpretación presenta varios matices sorprendentes que son cruciales para análisis de los datos.
El Listicle: Cuatro ideas clave
1. Por qué dividimos entre n-1: El rompecabezas de los “grados de libertad”
Una de las preguntas más comunes en la introducción a la estadística es por qué la fórmula para la desviación estándar de la muestra divide la suma de las diferencias al cuadrado por n-1 (the number of data points minus one) instead of just n. The reason is subtle but important.
Al analizar datos, nuestro objetivo suele ser utilizar una muestra pequeña para estimar las características de una población mucho mayor. La desviación estándar que calculamos a partir de nuestra muestra es una estimación de la verdadera desviación estándar de toda la población.
La idea clave es ésta: los puntos de datos en cualquier muestra dada estarán, en promedio, más cerca del media propia de la muestra que lo que son para la verdad (y lo desconocido) media poblacionalEsto hace que la suma de las diferencias al cuadrado con respecto a la media muestral sea ligeramente menor de lo que sería si se pudiera calcular a partir de la media poblacional real. Para corregir esta subestimación sistemática, dividimos por un número ligeramente menor. n-1, which makes the final result a bit larger and a better estimate of the population’s true standard deviation.
Los estadísticos se refieren a este concepto como "grados de libertad". Dado que la media muestral es un valor fijo calculado, solo n-1 of the data points are “free” to vary before the last one is determined. While the theory can be complex, a deep understanding is not critical for most practical applications.
2. La “mejor” estimación está realmente sesgada
He aquí una auténtica paradoja estadística: la desviación estándar de la muestra calculada utilizando el n-1 formula is considered the “best possible estimate” for statistical inference, yet it is also a parcial estimación de la desviación estándar de la población.
Sin embargo, la desviación estándar (DE) calculada con n – 1 como denominador no es la estimación más precisa de la DE poblacional. Por el contrario, es una estimación sesgada de la DE poblacional. Sesgada significa que, en promedio, la DE calculada no será igual (en este ejemplo, será menor) a la DE poblacional, especialmente con muestras pequeñas.
¿Cómo puede estar sesgada la «mejor» estimación? La paradoja se resuelve cuando consideramos no la desviación estándar, sino la diferencia—que es simplemente la desviación estándar al cuadrado. La fórmula que utiliza n-1 produces an imparcial estimación de la población diferenciaEsto es crucial, ya que las inferencias estadísticas, como los intervalos de confianza y los valores p, se derivan de las propiedades de la varianza. Al garantizar que la estimación de la varianza sea imparcial, garantizamos que los cálculos posteriores, que constituyen el objetivo final del análisis, sean estadísticamente sólidos. Por lo tanto, aceptamos una desviación estándar ligeramente sesgada para obtener una base imparcial para nuestras inferencias.
3. Las muestras más grandes no reducirán su desviación estándar
Es un error común pensar que recopilar más datos debería resultar en una desviación estándar menor. Esta idea parece intuitiva: más datos significan menos incertidumbre, ¿verdad? Pero esto es incorrecto.
La desviación estándar cuantifica la variabilidad inherente a una población. La temperatura corporal de una persona, por ejemplo, fluctúa de forma natural. Recopilar datos de más personas no altera el hecho biológico de esa fluctuación. Lo que does permite una muestra más grande es medir la desviación estándar de la población con mayor precisión.
Este es un punto frecuente de confusión, ya que contrasta con otra estadística común: el error estándar de la media (EEM). El EEM does con muestras más grandes porque mide con qué precisión la media de la muestra estima la media poblacional. En cambio, la desviación estándar (DE) mide la dispersión dentro de la población. Más datos proporcionan una mejor estimación de la media (menor EEM) y una estimación más precisa de la dispersión (una DE más estable), pero no modifican la dispersión en sí.
El contexto de la fuente proporciona un ejemplo perfecto utilizando datos de temperatura corporal. Una muestra pequeña de 12 personas tuvo una desviación estándar de 0.40 °C. Una muestra mucho mayor de 130 personas tuvo una desviación estándar casi idéntica de 0.41 °C. La dispersión subyacente en la población se mantuvo igual; la muestra más grande simplemente confirmó su valor con mayor confianza.
4. La peligrosa trampa de la pseudorreplicación
La interpretación válida de la desviación estándar —y de casi cualquier cálculo estadístico— se basa en el supuesto de que cada punto de datos proporciona información independiente. El error de tratar las mediciones no independientes como si lo fueran se denomina pseudorreplicación y conduce a resultados estadísticos engañosamente pequeños e inexactos.
A continuación se muestran dos ejemplos comunes del material original:
- Réplicas técnicas vs. biológicas: Imagina que tomas cinco mediciones de presión arterial de cada uno de tres animales. Tienes 15 mediciones en total, pero no tienes
n=15independent samples. The five measurements from a single animal are not independent; if that animal has naturally high blood pressure, all five of its readings will likely be higher. These are réplicas técnicasLas verdaderas fuentes de variación independiente son los tres animales diferentes (réplicas biológicas). El enfoque correcto es promediar primero las cinco mediciones de cada animal y luego analizar los tres promedios resultantes conn=3. - Medidas pareadas: Si mides una variable en ambos ojos de 10 personas, tienes 20 puntos de datos. Sin embargo, al tratar esto como...
n=20is incorrect. The two measurements from one person are not independent because they are influenced by the same genetics, diet, and overall health. The variation entre personas suele ser mucho mayor que la variación entre los dos ojos de una sola persona. La solución simple es promediar las mediciones de cada persona y usarn=10for your analysis.
En ambos casos, no reconocer la falta de independencia conduciría a un cálculo e interpretación incorrectos de la desviación estándar.
Conclusión: Ver la dispersión
La desviación estándar es mucho más que un simple paso en una fórmula; es un concepto con matices que requiere una reflexión cuidadosa. Desde la sutil corrección de n-1 to the critical importance of data independence, understanding these truths helps us avoid common analytical pitfalls.
Esto nos lleva de vuelta al principio: el ser humano promedio con un seno y un testículo. El problema con ese promedio no son las matemáticas, sino que oculta la verdadera naturaleza bimodal de los datos. Una simple media y desviación estándar no pueden reflejar esta situación, pero un gráfico que muestre la dispersión de los puntos de datos la revelaría al instante.
En definitiva, si bien la desviación estándar (DE) es una estadística de resumen eficaz, la mejor manera de apreciar la variabilidad es observarla directamente. Muestre sus datos. Observe la dispersión. Ahora que ha visto los matices, ¿en qué aspectos de su propio análisis de datos podría un análisis más profundo de la dispersión revelar una historia completamente diferente?
