¿Cómo evaluar La significancia estadística?
Organizar tu experimento
Define tus hipótesis. Establece el nivel de significancia para determinar cuán inusuales deben ser tus datos antes de poder ser considerados significativos. Elige usar una prueba de una o dos colas. Determina el tamaño de la muestra con un análisis de potencia.
El primer paso para evaluar la significancia estadística es definir la pregunta a la que quieres responder y declarar tu hipótesis. La hipótesis es una afirmación sobre tus datos experimentales y las diferencias que podrían ocurrir en la población. Para cualquier experimento, hay tanto una hipótesis nula como una hipótesis alternativa. Por lo general, compararás dos grupos para ver si son iguales o diferentes.  La hipótesis nula (H0) generalmente afirma que no hay diferencia entre tus dos conjuntos de datos. Por ejemplo: los estudiantes que leen el material antes de la clase no obtienen calificaciones finales más altas. La hipótesis alternativa (Ha) es lo contrario a la hipótesis nula y es la afirmación que tratas de respaldar con tus datos experimentales. Por ejemplo: los estudiantes que leen el material antes de la clase sí obtienen calificaciones finales más altas. El nivel de significancia (también llamado alfa) es el umbral que estableces para determinar la significancia. Si tu valor p es menor o igual al nivel de significancia establecido, los datos se consideran estadísticamente significativos.  Como regla general, el nivel de significancia (o alfa) se establece comúnmente como 0,05, lo que significa que la probabilidad de observar las diferencias en los datos al azar es de solo el 5 %. Un nivel de confianza más alto (y, por lo tanto, un valor p más bajo) significa que los resultados son más significativos. Si quieres una mayor confianza en tus datos, establece el valor p a 0,01. Los valores p más bajos generalmente se usan en la manufactura al detectar defectos en productos. Es muy importante tener una confianza alta en que todas las partes funcionarán exactamente como deben. Para la mayoría de los experimentos impulsados por hipótesis, un nivel de significancia de 0,05 es aceptable. Una de las suposiciones que hace una prueba t es que los datos están distribuidos normalmente. Una distribución normal de datos forma una curva de campana, estando la mayoría de las muestras en el medio. La prueba t es una prueba matemática para ver si los datos se encuentran fuera de la distribución normal, ya sea por encima o por debajo, en las "colas" de la curva.  Si no estás seguro sobre si tus datos estarán por encima o por debajo del grupo de control, usa una prueba de dos colas. Esto te permite probar la significancia en cualquier dirección. Si sabes en cuál dirección esperas que tus datos tiendan, usa una prueba de una cola. En el ejemplo dado, esperas que las calificaciones de los estudiantes mejoren; por lo tanto, usarás una prueba de una cola. La potencia de una prueba es la probabilidad de observar el resultado esperado dado un tamaño específico de la muestra. El umbral común para la potencia (o beta) es de 80 %. Un análisis de potencia puede ser un poco complicado sin algunos datos preliminares ya que necesitas información sobre tus medios esperados entre cada grupo y sus desviaciones estándar. Usa una calculadora de análisis de potencia en línea para determinar el tamaño óptimo de muestra para tus datos.  Los investigadores generalmente realizan un pequeño estudio piloto para informar su análisis de potencia y determinar el tamaño necesario de la muestra para un estudio más extenso. Si no tienes los medios para realizar un estudio piloto complejo, realiza algunos estimados sobre posibles medios con base en la lectura de la literatura y los estudios que otras personas puedan haber realizado. Esto te dará un buen lugar para empezar en cuanto al tamaño de la muestra.
Setting up Your Experiment