«Подводные камни» социологических опросов

Более ста лет назад Герберт Уэллс сказал: «Настанет тот день, когда статистическое мышление будет настолько важным для эффективной деятельности человека, как и умение читать и писать».

Процесс опроса общественного мнения превратился в индустрию – одну из самых процветающих на сегодняшний день. Мы спрашиваем людей о том, что они думают о коллективных переговорах, профсоюзах, постоянно растущем дефиците бюджета, экономическом кризисе, всеобщем хаосе и так далее, независимо от того, знает ли респондент что-либо по этой теме. Мы спрашиваем рабочих, что им не нравиться в их работе, и в лучшем случае в своем ответе человек может выразить свое недовольство. Когда мы задаем вопрос генеральным и финансовым директорам о том, какие экономические прогнозы они могут сделать на ближайшее будущее, то мы заведомо знаем, что они не могут этого знать.

СМИ ежедневно ссылаются на результаты проведенных опросов. Но это не что иное, как общественное мнение, формирование которого зависит от трех факторов, а именно: самого вопроса, ответа и анализа. Многие книги и статьи были посвящены проблеме злоупотребления и нарушений (в процедуре)проведения опроса, а также исследования процесса выборки. Но в современном, быстро меняющимся медиапространстве, наука правильного сбора данных, а также обобщение, анализ и применение полученной информации, кажется занудным и неинтересным. Законодатели более заинтересованы в результатах опросов, чем в том, как они были получены. До недавнего времени никому не приходило в голову, что «результаты опроса» и то, «как эти результаты были получены» - это неразделимые понятия.

Забытая истина об общественном мнении

Нил Постмен в своей замечательной книге «Technopoly» описывает слабую сторону процесса интерпретации данных: «Социологи задают вопрос, на который необходимо ответить да или нет. Опрос не принимает во внимание тот факт, что люди могут ничего не знать о том, о чем их спрашивают. В культуре, в которой нет определенных измерений и классификаций вещей, это упущение, возможно, будет выглядеть странным. Давайте представим ситуацию, когда могут одновременно задаваться два вопроса о том, что «думают» и что люди «знают» о предмете обсуждения. К примеру, последний опрос показывает, что 72% американцев считают необходимым снять экономическую помощь Никарагуа. Но 28% опрошенных «полагали», что Никарагуа находится в Центральной Азии, а 18% «считали», что это остров возле Новой Зеландии, и 27, 4% «говорили», что «африканцы должны сами себе помогать», при этом принимая Никарагуа за Нигерию. Более того, 61.8% участников опроса не знали, что США оказывает экономическую помощь Никарагуа, а 23% и вовсе не знали, что такое «экономическая помощь». Если социологи будут предоставлять и использовать такую информацию, то авторитет и значение опроса общественного мнения будет очень низким».

Опрос общественного мнения оказывает поддержку работникам государственного сектора

28 февраля 2011 года опрос общественного мнения, который был проведен New York Times/CBS, показал, что большинство людей выступают против попытки уменьшить права на ведение коллективных переговоров. Они также не согласны с сокращением зарплаты или пособия общественных работников, которое, в свою очередь, могло бы привести к снижению дефицита государственного бюджета. Недавно проведенный национальный опрос (national Gallup survey) свидетельствует о том, что большинство американцев также выступают против введения мер, предложенных в Висконсине, которые ограничивают права на ведение коллективных переговоров на государственной службе. В такой ситуации необходимо вспомнить комментарии Постмена, который утверждал, что «люди не всегда понимают, о чем их спрашивают». Один остроумный посетитель сайта New York Times оставил такой комментарий: «Американцы предпочитают поднять налоги, чем сократить льготы для госслужащих,…что могло бы стать настоящей новостью, если бы это оказалось правдой».

Как можно сделать неправильные выводы из опросов или результатов исследования?

Давайте прямо к делу. Социологи классической школы называют это «статистической вселенной» или «населением». Что являет собой статистическая вселенная (совокупность)? Она состоит из всех явлений, о которых необходимо сделать выводы. Например, в исследовании ценовых колебаний цен на топочный мазут в Нью-Йорке с 2007 по 2010 год, статистическая совокупность будет включать все изменения цен в течение этого периода. Если рамки исследования были расширены, чтобы изучить большую территорию или более длительный период времени, то статистическая совокупность, соответственно, увеличивается. Совершенно очевидно, что термин «статистическая вселенная» можно назвать универсальным, так как его можно применять для любого статистического исследования. Подводя итог, необходимо сказать, что «статистическая совокупность» может быть определена как совокупность, которая включает каждый пункт, который необходимо изучить или взять под наблюдение.

Выборочное исследование

Из-за нехватки времени и средств, иногда невозможно провести полный анализ статистической информации. К счастью, нет необходимости исследовать всю статистическую совокупность. Но почему? Потому что трудолюбивые, компетентные статистики  нашли способ, как можно получить одну и ту же информацию из небольших, тщательно отобранных образцов. Умение выделить небольшие экземпляры с объемных, иногда бесконечных статистических данных, является предметом изучения базовой и расширенной статистики. Если отбор образцов осуществляется надлежащим образом, то их анализ позволяет получить информацию о статистической совокупности с наименьшей долей погрешности. К сожалению, многие базовые курсы по статистике не выделяют один важный момент, а именно, если статистическая совокупность определена неправильно, то серьезный логический анализ (на основе представленных образцов) может не принести желаемых результатов.

Пример не правильно определенной статистической совокупности

Безусловно, самым ярким примером неправильного определения статистической совокупности является опубликованное в Литературном Дайджесте прогноз победителя президентских выборов в 1936 году. Этот пример часто приводит приводит Эдвардс Деминг. Во время избирательной компании 1936 года, когда претендентами выступали демократ Франклин Рузвельт и республиканец Альфред Лэндон, «Литературный дайджест» разослал образцы бюллетеней для голосования большому количеству людей, чьи имена были в телефонных справочниках и в списках регистрации транспортных средств. (В этот перечень также входили и их подписчики, члены клуба и т.д.). Более 10 млн. таких бюллетеней были разосланы. Только 2,4 млн. респондентов отослали свои бюллетени назад в редакцию, а 7,6 млн. бюллетеней были утеряны. На основе этих 2,4 млн. бюллетеней дайджест сделал прогноз, что с большим преимуществом на выборах победит Лэндон. Как оказалось на самом деле, Рузвельт получил 61% голосов избирателей, что составило одно из самых больших преимуществ в истории американских президентских выборов.

Как же они могли настолько ошибаться?

Результаты опроса представили только ту информацию, которая была получена от респондентов, которые вернули образцы бюллетеней. Несмотря на то, что было разослано огромное количество бюллетеней, те президентские выборы стали ярким примером необъективной выборки, так как практически все респонденты были сторонниками Республиканской партии.

Давайте рассмотрим ситуацию более детально. В процессе прогнозирования были совершены две серьезные ошибки, а именно:

1.Статистическая совокупность была неправильно определена.

2. Не учитывалось уклонение от ответов.

Люди, чьи имена были взяты из телефонной книги или реестра автомобилей, в 1936 году принадлежали к более обеспеченному слою населения, в отличие от остальных респондентов. Такая разница присуща статистической совокупности. Большой процент избирателей не внесен в телефонную книгу, автомобильный реестр или в список членов клуба. Статистическая совокупность была неправильно определена, так как был сделан уклон, в основном, в сторону более состоятельных людей. Обеспеченные слои населения были приверженцами республиканцев. В 1936 году наблюдалась сильная «взаимосвязь» между доходами людей и их партийными предпочтениями. Те, кто принадлежал к менее обеспеченным слоям населения, поддерживали Демократическую партию.

Пример ошибки (смещения) в процессе выборки

Статистики  изклассической школы определяют «смещение» как постоянную ошибку в одном направлении. Что это значит? Практически не имеет значения, кого бы вы могли выделить из статистической совокупности, взятой из «Литературного дайджеста», так как существовала большая вероятность того, что именно состоятельный человек может быть избран на президентских выборах. Следует заметить, что статистическая информация была получена, в основном, от состоятельных людей, а мнение избирателей с низким доходом не было учтено. А в 1936 году большая часть населения имела очень низкий доход. В то время 9 млн. жителей были безработными. «Опрос, проведенный «Литературным дайджестом», не смог охватить все слои населения. Тогда, как и сейчас, избиратели голосуют за кандидатов «по своему карману», то есть за тех, кто выступает за интересы определенных групп населения». Следует отметить, что Джордж Гэллап смог предсказать победу Рузвельта, сделав выборку из 50 тыс. человек. Статистическая совокупность, которую он создал, состояла из различных слоев населения. Выборка, которую сделал «Литературный дайджест», охватила 2.4 млн. человек. Она является отличным примером того, что неправильно определенная статистическая совокупность не может дать объективную информацию только за счет увеличения масштабов выборки.

Уклонение от ответов

Второй проблемой, с которой столкнулся «Литературный дайджест», было то, что из 10 млн. человек только 2.4 млн. респондентов приняли участие в опросе. В то время обеспеченные жители более охотно отвечали на различную корреспонденцию, чем представители бедных слоев населения. 7.6 млн. людей, которые не приняли участие в опросе, принадлежали к группе с низким экономическим статусом. А 2.4 млн. респондентов – были представителями обеспеченных слоев населения.

Исследование, которое провел Лэндон, представляет ситуацию следующим образом: «Если уровень ответов низкий (как было в том случае – 24%), то информация, полученная в результате опроса, не может быть объективной. Это особый тип отбора, в котором исключены люди, которые не ответили на полученную корреспонденцию».

Резюме и выводы

Если использовать статистическую совокупность, которая может существенно отличаться от «идеальной» совокупности, на основе которой необходимо сделать выводы, то это может привести к серьезным ошибкам в анализе полученных данных. Необходимо потратить много времени, чтобы определить «идеальную» статистическую совокупность, а затем сделать правильную выборку. Каждый день мы слышим, к примеру, о ценовой политике (чтобы привлечь больше покупателей), которая базируется на «выборочной» информации, полученной в результате опроса потребителей. Статистическая совокупность, в большинстве случаев, также должна содержать мнение не только покупателей, но и тех людей, которые не используют продукцию той или иной компании, не смотря на то, что эти люди имеют/могли бы иметь отношение к рынку и могут реагировать на изменение цен.

Всегда нужно быть начеку, чтобы определить неверно созданную статистическую совокупность. Расчеты, сделанные на основе неправильной выборки, интервальное оценивание и статистические тесты не принесут никаких результатов, если статистическая совокупность определена неверно. И на последок, не относитесь предвзято к отсутствию ответов. В результате исследования, проведенного школой Wharton, был сделан следующий вывод: «Люди, которые принимают участие в социологических исследованиях, отличаются от тех, кто их игнорирует. Это отличие заключается не только в их отношении к подобным мероприятиям; оно носит более глубокий смысл».

humanresourcesiq.com