Главное о выборках, ключевых этапах подготовки и реализации опросов, а также тонкостях составления анкет
Проведение опросов – основная специализация и самая большая страсть ФОМа, поэтому неудивительно, что первый Мастер-класс ФОМведения был посвящен именно этой теме. Перед студентами предстали «мэтры и монстры» компании и отрасли вообще, как позже пошутила одна из Мастеров, Людмила Преснякова, руководитель группы «Финансовое поведение».
Первым с лекцией о принципах, которых придерживается ФОМ в проведении опросов, выступил Алексей Чуриков, управляющий директор Департамента опросов населения. Собственно, базовых принципов всего два: обеспечение качества и надежности собираемых данных и отказ от работы в случаях, когда это качество невозможно гарантировать. Говоря о качестве опросов, Алексей Чуриков рассказал об общей ошибке исследования, которая состоит из ошибок измерения и ошибок репрезентации, и перечислил ведущие к ним факторы.
Большую часть своей лекции Мастер посвятил выборкам. Он рассказал о случайных и неслучайных выборках, объяснил, почему правильно сформированная случайная выборка гарантирует репрезентативность исследования. Затем Алексей Чуриков рассказал о типах случайных выборок и их применении в ФОМе, а также о статистической погрешности в выборочных исследованиях и причинах ее возникновения.
_______
О работах по проведению опроса рассказала Екатерина Седых, управляющий директор Департамента сбора данных. Она отметила, что «движ» начинается еще до запуска поля. Полевики подключаются к работе уже на предварительных этапах, когда, например, происходит обсуждение и уточнение задач и условий внутри ФОМа и с заказчиком или требуется предварительная оценка полевых возможностей.
1/2
Екатерина Седых подробно рассказала, как правильно реализовать задуманное. Но даже в безупречно подготовленном проекте что-то может пойти не так. Поэтому огромное внимание уделяется контролю того, как проходит опрос. Чем раньше станет известно о каких-то нештатных ситуациях, тем быстрее смогут отреагировать на них сотрудники ДСД. Контрольным мерам Екатерина Седых уделила особое внимание. Она рассказала о важности постоянного мониторинга результативности и соблюдения графика, а также о наблюдении за работой особых категорий исполнителей – новичков и тех, кто уже «находится на карандаше». Использование интервьюерами планшетов позволяет прослушивать аудиозаписи. Это помогает корректировать действия новичков и отслеживать нарушения. Тут руководитель департамента вспомнила пару историй. В одном случае у интервьюера был «любимый респондент», к которому он ходил регулярно, но как тот ни старался не выдать себя, меняя голос, «сговор» разоблачили. В другом случае интервьюер опрашивал респондентов, которых для него «любезно» собрали в местечковом доме культуры.
Далее Екатерина Седых коротко рассказала о финализирующих этапах опросных проектов – как проводятся приемка и проверка массивов, передача информации о разрешенных отклонениях от регламента работы интервьюеров, подготовка отчета и проч. А в завершение она продемонстрировала «Оскар» с надписью «За железные нервы». Кажется, к тому моменту все в аудитории уже поняли, что директору ДСД без них не обойтись.
«Мастер-класс под загадочным названием «Процессы» должен был стать мотивирующим рассказом. Я хотела рассказать о том, из чего состоит опрос. Многие знают, что это анкеты, интервьюеры, отчет и результат в газете или по телевизору. Но для того, чтобы подготовить анкету и отправить интервьюера в поле, чтобы в итоге сказать: «Россияне так считают…», нужно проделать много работы, о которой большинство и не задумывается. И вот я постаралась осветить именно эту часть работы, рассказать о людях, которые запускают опросы и обеспечивают их успешное проведение. И тем самым погрузить студентов в деятельность нашего департамента, на мой взгляд, самого полевого в ФОМе».
Екатерина Седых, управляющий директор Департамента сбора данных
_______
Во второй половине Мастер-класса с лекцией о важности замыслов и вопросников в опросных исследованиях выступили Людмила Преснякова и Григорий Кертман, главный аналитик ФОМа. Они пообещали изменить, расширить и опровергнуть книжные представления слушателей о том, как делать анкеты.
1/3
Замысел исследования, по определению Людмилы Пресняковой, – это идея исследования задолго до того, как она превратилась в программу. Замыслы рождаются из запросов клиента или по собственной инициативе ФОМа. Многочисленные инициативные проекты ФОМа, как призналась руководитель группы «Финансовое поведение», – это то, что держит ее в компании уже более 20 лет. Она отметила особые случаи – когда желание клиента встречается с инициативой ФОМа и на этом пересечении рождаются самые интересные проекты, в частности «Предприниматели России: исследовательский мониторинг», который ФОМ реализует совместно со Сбером и Минэкономразвития России. Но такое бывает не всегда.
Замысел обязательно охватывает клиента, исследователя и респондента, каждый из которых, как объяснила Людмила Преснякова, на начальной стадии существует в собственном мире, и задача исследователя – выступить переводчиком между клиентом и респондентом и всех объединить. И здесь возникают трудности перевода: как адаптировать когнитивный стиль, социальную оптику и лексикон клиента к реалиям обыденного сознания и коммуникативной ситуации массового опроса?
Дело в том, что клиентам присущи бюрократическая, экспертная или академическая оптики, которые, как сказал Григорий Кертман, порождают «вредные замыслы». Основываясь на самых красноречивых примерах, главный аналитик ФОМа отметил необходимость постоянно сопоставлять представления инициаторов опроса с тем, как реагирует на вопросы условный водитель трамвая из Барнаула, которому звонят, когда тот возвращается со смены. Иными словами, исследователь должен перевести замыслы заказчика на человеческий язык так, чтобы респондент его понял.
Это непростая задача, разговор о которой привел к дискуссионному вопросу: насколько глубоко исследователь должен быть погружен в тему? Тут мнения Мастеров разделились. Людмила Преснякова настаивала на важности ориентироваться в проблематике заказчика – анализ имеющейся информации позволяет отрефлексировать свои знания, как-то отнестись к стереотипам и ценностным установкам на заданную тему, вдохновиться наконец. Григорий Кертман признался, что в этом вопросе он пестует собственный дилетантизм, поскольку, впуская в себя много конкретного экспертного знания, исследователь неизбежно переходит на позицию эксперта и приобретает ненужную оптику. А он должен в большей степени идентифицировать себя с респондентом, не знающим ничего, нежели с заказчиком, знающим все. Если погружаешься глубоко, то, по мнению аналитика, теряешь часть своей компетенции как знатока респондента – и это самая большая опасность.
После этого Мастера перешли к рассказу о вопросниках, который строился в основном на примерах. Они обратили внимание на «подводные камни», которые подстерегают исследователя при составлении анкеты, а также привели в пример «простой» вопрос про род деятельности респондента, способный поставить в тупик и его, и интервьюера. В числе основных трудностей при составлении анкеты Григорий Кертман назвал сенситивные вопросы, социально одобряемые ответы, лексикон анкеты, а также формирующие вопросы. Последние, с его точки зрения, – самая серьезная задача для профессионала, так как подтолкнуть невольно респондента к какому-нибудь ответу гораздо легче, чем не подтолкнуть. Каждый случай аналитик украсил яркими примерами из реальных практик.
Разговор о разработке анкет Людмила Преснякова подытожила вопросом: что это – наука, искусство или ремесло? Сама она считает создание вопросников высоким искусством. Григорий Кертман убежден, что это ремесло, хотя и оговорился, что грань не очень жесткая, ведь всякое искусство базируется на ремесле и всякое ремесло в своих высших проявлениях тянется к искусству. Но искусство не утилитарно, в отличие от ремесла. Как метко пошутил Григорий Кертман, даже самая хорошая анкета нужна лишь для того, чтобы провести опрос, и нет такого Лувра, в котором ее можно было бы выставить.
«Мне очень понравилась аудитория. Ребята живые, активные, с горящими глазами. Было видно, что им очень интересно. Значит, мы своей цели достигли. Ну и мне очень повезло выступать в паре с Григорием Львовичем. Это привилегия и удовольствие».
Людмила Преснякова, руководитель группы «Финансовое поведение»
«Очень живая реакция, мне понравилось. Учитывая, что у студентов до нас были две лекции и еще какие-то пары с утра. И если они к этому времени сохраняют интерес, то, значит, наши Мастер-классы работают. А с Людмилой мы очень давно знакомы, нам легко говорить. И – добавьте – приятно!»
Григорий Кертман, главный аналитик ФОМа
______
Что сказали о Мастер-классе студенты
«Пара о замыслах была действительно интересна. Было любопытно увидеть разницу того, как идеи исследований рождаются в научной и студенческой среде, в которой мы находимся, и в действующей компании. О способах контроля качества работы интервьюеров я тоже не знала, схема с домом культуры повеселила. С составлением выборки мы уже были знакомы, теперь стало понятно, как ее на деле используют. И приняла к сведению информацию о порядке вопросов в анкете – когда составляешь, обычно обращаешь внимание на то, чтобы сами вопросы не были наводящими, а вот про это можно забыть».
Полина Александрова, 2-й курс
___
«Я влюблена в офис и коллектив ФОМа с первой ознакомительной конференции. Курс начался с Мастер-класса на тему опросов, и я получила много полезной информации о принципах, процессах и тонкостях проведения социологических исследований. Мне очень понравились подача, профессионализм и вовлеченность спикеров. С удовольствием буду продолжать посещать курс!»
Евгения Пудова, 2-й курс
___
«Мне очень понравилось. Информация не была для меня новой, но было полезно освежить знания и получить инсайты от профессионалов и примеры из реальных исследований. Особенно запомнилась лекция с ошибками в формулировках вопросов. Спикеры очень понятно объяснили и заинтересовывали темой. Также очень приятно, что нам предварительно раздали ознакомительные материалы для лекций!»
Анна Овакимян, 3-й курс
___
«Мастер-классы были очень полезные, особенно про типы выборки. Мы уже разбирали эту тему в университете и достаточно подробно, но мне было интересно узнать, как разные типы выборок комбинировать. Для количественных исследований это очень важно. Второй Мастер тоже была замечательная. Полезно было узнать, как именно проходят опросы, какие сложности есть, какие возникают ошибки. Много практических примеров, особенно понравилась история про дом культуры».
Ольга Извекова, 2-й курс
___
«Лекция – просто супер, потому что куда больше practical approach, то есть до этого говорили какие-то общие вещи о ФОМе, и это было больше для того, чтобы понять атмосферу, а сегодня была как раз возможность узнать что-то, как-то систематизировать информацию, которая до этого была где-то в голове, но была разрозненной. Поэтому было очень интересно послушать про выборку и в принципе как проходит процесс исследования. Лекционная информация – про типы выборок – стопроцентно пригодится. И к тому же лектор непосредственно сталкивается с этими вещами: в университете лектор прочитал книжку и рассказывает по этой книжке, а здесь человек сначала с этим столкнулся и уже потом рассказывает. Все-таки это куда понятнее для слушателя.
Полина Шипилова, 2-й курс
___
«Мне особенно понравилась вторая часть – про замыслы и вопросники. Она была такой живой и прям чувствовалось, что все слушатели вовлечены. Первая часть тоже была очень важная, но немного более сухая. Это не значит, что она хуже, просто более техническая. А техническое – всегда более сложно для меня».
Юлия Суркова, 3-й курс
___
«Комфортная обстановка. Чувствуется, что все доброжелательные, все нам рады. Это очень классно. И то, что нас [в перерыве между парами] кормят, – это очень приятно. Все оживились после того, как нас покормили!»
Алина Львова, 2-й курс