P-значение

P-значение показывает, насколько данные несовместимы с конкретной статистической моделью, обычно включающей нулевую гипотезу. Малое p может служить аргументом против этой модели.

Чего p не показывает

Это не вероятность истинности гипотезы, не вероятность случайности результата и не размер эффекта. P=0,03 не означает «97% вероятности, что лечение работает».

Порог 0,05

Порог задают заранее, но он условен. Решение не должно зависеть только от того, по какую сторону 0,05 оказалось число. Нужны величина эффекта, доверительный интервал, дизайн и полнота отчётности.