Выборочный метод. В предыдущем разделе результаты наблюдений, используемых для оценки распределения вероятностей или его параметров, подразумевались (хотя это и не оговаривалось) независимыми (см. Вероятностей теория и особенно Независимость). Хорошо изученным примером использования зависимых наблюдений может служить оценка статистического распределения или его параметров в «генеральной совокупности» из N объектов по произведённой из неё «выборке», содержащей n < N объектов.
Терминологическое замечание. Часто совокупность n наблюдений, сделанных для оценки распределения вероятностей, также называют выборкой. Этим объясняется, например, происхождение употребленного выше термина «теория малых выборок». Эта терминология связана с тем, что часто распределение вероятностей представляют себе в виде статистического распределения в воображаемой бесконечной «генеральной совокупности» и условно считают, что наблюдаемые n объектов «выбираются» из этой совокупности. Эти представления не имеют отчётливого содержания. В собственном смысле слова выборочный метод всегда предполагает исходную конечную генеральную совокупность.
Примером применения выборочного метода может служить следующий. Пусть в партии из N изделий имеется L дефектных. Из партии отбирается случайным образом n < N изделий (например, n = 100 при N = 10 000). Вероятность того, что число l дефектных изделий в выборке будет равно m, равна
P{l = m} = 
Таким образом, l и соответствующая относительная частота h = l / n оказываются случайными величинами, распределение которых зависит от параметра L или, что то же самое, от параметра Н = L / N. Задача оценки относительной частоты Н по выборочной относительной частоте h очень похожа на задачу оценки вероятности р по относительной частоте h при n независимых испытаниях. При больших n с вероятностью, близкой к единице, в задаче об оценке вероятности имеет место приближённое равенство р ~ h, а в задаче об оценке относительной частоты — приближённое равенство H ~ h. Однако в задаче об оценке Н формулы сложнее, а отклонения h от Н в среднем несколько меньше, чем отклонения h от р в задаче об оценке вероятности (при том же n). Таким образом, оценка доли Н дефектных изделий в партии по доле h дефектных изделий в выборке при данном объёме выборки n производится всегда (при любом N) несколько точнее, чем оценка вероятности р по относительной частоте h при независимых испытаниях. Когда N/n ® ¥, формулы задачи о выборке переходят асимптотически в формулы задачи об оценке вероятности р. См. также Выборочный метод.
Дальнейшие задачи математической статистики. Упоминавшиеся выше способы оценки параметров и проверки гипотез основаны на предположении, что число наблюдений, необходимых для достижения заданной точности выводов, определяют заранее (до проведения испытаний). Однако часто априорное определение числа наблюдений нецелесообразно, так как, не фиксируя число опытов заранее, а определяя его в ходе эксперимента, можно уменьшить его математическое ожидание. Сначала это обстоятельство было подмечено на примере выбора одной из двух гипотез по последовательности независимых испытаний. Соответствующая процедура (впервые предложенная в связи с задачами приёмочного статистического контроля) состоит в следующем: на каждом шаге по результатам уже проведённых наблюдений решают а) провести ли следующее испытание, или б) прекратить испытания и принять первую гипотезу, или в) прекратить испытания и принять вторую гипотезу. При надлежащем подборе количеств, характеристик подобной процедуры можно добиться (при той же точности выводов) сокращения числа наблюдений в среднем почти вдвое по сравнению с процедурой выборки фиксированного объёма (см. Последовательный анализ). Развитие методов последовательного анализа привело, с одной стороны, к изучению управляемых случайных процессов, с другой — к появлению общей теории статистических решений. Эта теория исходит из того, что результаты последовательно проводимых наблюдений служат основой принятия некоторых решений (промежуточных — продолжать испытания или нет, и окончательных — в случае прекращения испытаний). В задачах оценки параметров окончательные решения суть числа (значение оценок), в задачах проверки гипотез — принимаемые гипотезы. Цель теории — указать правила принятия решений, минимизирующих средний риск или убыток (риск зависит и от вероятностных распределений результатов наблюдений, и от принимаемого окончательного решения, и от расходов на проведение испытаний и т. п.).
Вопросы целесообразного распределения усилий при проведении статистического анализа явлений рассматриваются в теории планирования эксперимента, ставшей важной частью современной М. с.
Наряду с развитием и уточнением общих понятий М. с. развиваются и её отдельные разделы, такие, как дисперсионный анализ, статистический анализ случайных процессов, статистический анализ многомерный. Появились новые оценки в регрессионном анализе (см. также Стохастическая аппроксимация). Большую роль в задачах М. с. играет так называемый байесовский подход (см. Статистические решения).
Историческая справка. Первые начала М. с. можно найти уже в сочинениях создателей теории вероятностей — Я. Бернулли (конец 17 — начало 18 веков), П. Лапласа (2-я половина 18 — начало 19 веков) и С. Пуассона (1-я половина 19 века). В России методы М. с. в применении к демографии и страховому делу развивал на основе теории вероятностей В. Я. Буняковский (1846). Решающее значение для всего дальнейшего развития М. с. имели работы русской классической школы теории вероятностей 2-й половины 19 — начала 20 веков (П. Л. Чебышев, А. А. Марков, А. М. Ляпунов, С. Н. Бернштейн). Многие вопросы теории статистических оценок были по существу разработаны на основе теории ошибок и метода наименьших квадратов [К. Гаусс (1-я половина 19 века) и А. А. Марков (конец 19 — начало 20 веков)]. Работы А. Кетле (19 век, Бельгия), Ф. Гальтона (19 век, Великобритания) и К. Пирсона (конец 19 — начало 20 веков, Великобритания) имели большое значение, но по уровню использования достижений теории вероятностей отставали от работ русской школы. К. Пирсоном была широко развёрнута работа по составлению таблиц функций, необходимых для применения методов М. с. В создании теории малых выборок, общей теории статистических оценок и проверки гипотез (освобожденной от предположений о наличии априорных распределений), последовательного анализа весьма значительна роль представителей англо-американской школы [Стьюдент (псевдоним У. Госсета), Р. Фишер, Э. Пирсон — Великобритания, Ю. Нейман, А. Вальд — США], деятельность которых началась в 20-х годах 20 века. В СССР значительные результаты в области М. с. получены В. И. Романовским, Е. Е. Слуцким, которому принадлежат важные работы по статистике связанных стационарных рядов, Н. В. Смирновым, заложившим основы теории непараметрических методов М. с., Ю. В. Линником, обогатившим аналитический аппарат М. с. новыми методами. На основе М. с. особенно интенсивно разрабатываются статистические методы исследования и контроля массового производства, статистические методы в области физики, гидрологии, климатологии, звёздной астрономии, биологии, медицины и другие.