СТАТЬЯ · Исследования
Отчёт об исследовании: как довести выводы до решения
Исследование закончилось. Отчёт на сто двадцать слайдов лежит в общей папке. Через полгода никто не помнит, что там было, и компания заказывает новое исследование по тому же вопросу.
Между выводом и решением есть шаг, который почти всегда пропускают, и отчёт останавливается прямо перед ним.
Вывод и рекомендация — это разные вещи
Вывод описывает обнаруженное: клиенты уходят на девятом месяце, потому что задачи, под которые они покупали продукт, к этому моменту закрыты, а новые он не покрывает.
Рекомендация описывает действие. Чтобы превратить первое во второе, надо добавить то, чего в данных нет: приоритет относительно других задач компании, стоимость, срок, владельца, критерий, по которому станет ясно, что сработало, и оценку того, что будет, если не делать ничего.
Исследователь этого обычно не добавляет, потому что данных у него для этого нет. Заказчик не добавляет, потому что ждал готового ответа. В зазоре отчёт и остаётся.
Отсюда практический вывод: этот шаг называется отдельной работой и включается в проект. Он не бесплатный и не автоматический.
Структура, которая заставляет разделять уровни
Простейшая дисциплина, которая закрывает половину проблемы: каждый содержательный блок отчёта строится по трём позициям.
Вывод. Что обнаружено. Одно утверждение.
Доказательство. На чём оно стоит: сколько случаев, каких, что именно они показали, есть ли противоречащие.
Рекомендация. Что делать, кому, к какому сроку, как проверим.
Когда третья позиция отделена от первых двух, сразу видно то, что обычно спрятано: какая часть рекомендации следует из данных, а какая — управленческое суждение автора. Оба элемента законны. Их слияние — нет.
Отдельно про числа в рекомендациях. Формулировка вида «ожидаем повышение удержания на пятнадцать процентов» не является выводом из глубинных интервью. Это оценка, и она требует либо количественной модели, либо честной пометки, что это предположение. Интервью объясняют механизм, а не величину эффекта.
Один вывод — три разных документа
Вторая причина, по которой отчёты не работают: они написаны для всех сразу, то есть ни для кого.
Первому лицу нужно: какое решение принимается, какие варианты, что выбираем и почему, чего это стоит, какой риск, что будет, если не делать. Одна-две страницы. Метод в приложении, потому что первое лицо проверяет не кодировку, а логику решения.
Продуктовой или коммерческой команде нужно: состав задач и барьеров, язык клиента дословно, различия между сегментами, противоречия внутри корпуса, приоритеты, из которых собирается план. Здесь как раз нужны цитаты и детали.
Тем, кто исполняет, нужно предельно конкретное: что меняется в их работе с понедельника, что говорить клиенту, что делать при исключении. Без методологии, без сегментов, без обоснования.
Это не три версии одного текста разной длины. Это три документа, потому что решения у них разные.
Что требовать в качестве доказательства
Главное свойство отчёта, которое стоит требовать заранее и прописывать в договоре: возможность дойти от вывода до данных.
Конкретно это три артефакта, и все три имеют имена.
Аналитическая записка. Фиксирует, как развивалась категория: когда появилась, что её изменило, какие альтернативные объяснения рассматривались и почему отброшены, где исследователь сомневался. Без неё вывод выглядит как всегда существовавший.
Журнал аналитических решений. Что решили по кодам, когда меняли схему кодирования, какие фрагменты исключили и на каком основании, как перешли от фрагмента к утверждению.
Триангуляция. Сопоставление разных источников: рассказ против записи в системе, слова против наблюдения, интервью против документа. Важная оговорка: совпадение источников усиливает уверенность, а расхождение может указывать не на ошибку, а на различие контекстов. Триангуляция не превращает субъективные данные в объективный факт автоматически.
Практический момент, о котором забывают. Если работа велась в системе подрядчика, то после окончания подписки след теряется вместе с доступом. Поэтому в договоре указывается, что передаётся по завершении: расшифровки, кодовая книга, журнал решений, записи. Иначе через год проверить будет нечего.
И противоположное свойство, на которое покупаются чаще всего: гладкость. Связный, уверенный, хорошо написанный текст читается как доказанный, особенно сейчас, когда собрать связный отчёт можно из неполного основания. Почему это стало отдельной проблемой и что спрашивать про метод анализа, разбираем в материале об ИИ. Проверять надо не то, как написано, а можно ли дойти до фрагмента.
Что делать с находками, которые не про ваше решение
В любом исследовании обнаруживается интересное, к исходному вопросу не относящееся. Обычно это попадает в отчёт наравне с остальным, размывает его и снижает шанс, что дойдут до главного.
Три корзины.
Первая: находки, отвечающие на вопрос исследования. Идут в решение.
Вторая: находки, которые меняют картину и требуют проверки. Идут в список гипотез следующего этапа — с указанием, каким методом проверять. Гипотеза, для которой не назван способ проверки, это не гипотеза, а мнение.
Третья: находки интересные и не влияющие ни на одно решение обозримого будущего. Идут в базу знаний и не идут в отчёт. Ценность в том, что они там лежат и находятся при следующем исследовании.
Отсутствие изменений — не всегда провал
Оговорка, от которой зависит, будет отчёт честным или удобным.
Обоснованным результатом исследования может быть отказ от инвестиции. Или подтверждение, что текущее решение верное и менять его не надо. Или вывод, что данных недостаточно и нужен другой дизайн.
Все три выглядят как неудача — и для подрядчика, которому хочется продать продолжение, и для внутреннего заказчика, защищавшего бюджет на исследование. Поэтому в отчётах и появляются рекомендации, которых данные не выдерживают.
Отказ от запуска, обоснованный исследованием, экономит бюджет запуска. Это результат, и предъявлять его надо именно так.
Как замкнуть цикл
И последнее, отличающее исследование как разовое событие от исследования как процесса.
Каждый вывод, доведённый до действия, порождает проверяемое предсказание: если объяснение верно, после изменения произойдёт вот это. Отток сместится на такой-то срок. Конверсия на этом шаге вырастет. Доля клиентов, доходящих до второго заказа, изменится.
Записать предсказание в момент принятия решения стоит пять минут. Через квартал оно превращается в проверку того, было ли объяснение верным. Без такой записи любой результат объяснят задним числом, и никто не узнает, работает метод или нет.
Именно поэтому мы не сдаём отчёт и уходим. Исследование, после которого ни одно решение не изменилось и ни одно не подтвердилось, отличается от неудачного только тем, что за него заплатили.
Практически это отдельный формат работы: довести выводы до рекомендаций с владельцами и сроками, собрать три документа под три аудитории и поставить проверку через квартал. Занимает две-три недели после исследования — своего или чужого. И это же ядро сопровождения, если решений много и их надо провести через организацию.
Короткие ответы
Что должно быть в отчёте об исследовании?
Три позиции в каждом блоке: вывод, доказательство под ним, рекомендация отдельно. Плюс раздел о том, чего исследование не показывает, и список гипотез с указанием, каким методом их проверять.
Как проверить, что выводы отчёта обоснованы?
Потребовать возможность дойти от вывода до конкретного фрагмента интервью. Для этого нужны аналитическая записка, журнал аналитических решений и расшифровки. Прописывается в договоре до начала работ.
Почему отчёт об исследовании часто никто не использует?
Он написан для всех сразу и останавливается на выводах, не доходя до рекомендаций с владельцем, сроком и критерием проверки.
Источники
- Griffin, A., Hauser, J. R. The Voice of the Customer. Marketing Science, 1993, 12(1), 1–27.
- Tong, A., Sainsbury, P., Craig, J. Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 2007, 19(6), 349–357.
- O'Brien, B. C., Harris, I. B., Beckman, T. J., Reed, D. A., Cook, D. A. Standards for Reporting Qualitative Research: A Synthesis of Recommendations. Academic Medicine, 2014, 89(9), 1245–1251.
- Gale, N. K., Heath, G., Cameron, E., Rashid, S., Redwood, S. Using the Framework Method for the analysis of qualitative data in multi-disciplinary health research. BMC Medical Research Methodology, 2013, 13, 117.
- Braun, V., Clarke, V. One size fits all? What counts as quality practice in (reflexive) thematic analysis? Qualitative Research in Psychology, 2021, 18(3), 328–352.
Обсудим вашу задачу?
Обсудить задачу →