СТАТЬЯ · Исследования
«Проверим решение на клиентах» — это четыре разные процедуры
Решение уже придумано. Дальше звучит фраза «давайте проверим на клиентах», и все кивают, потому что каждый понял её по-своему.
Один имел в виду показать описание идеи и посмотреть на реакцию. Второй — проверить, понятно ли сформулировано обещание. Третий — дать людям пощёлкать прототип. Четвёртый — посмотреть, справятся ли они с задачей без подсказок. Это четыре разные процедуры с четырьмя разными границами вывода, и деньги обычно платятся за одну, а ответ ожидается на все.
Почему сначала проблема, а потом решение
Разделение на проблемные и решенческие интервью пришло из практики развития клиентов. Логика в том, чтобы развести два разных источника неопределённости: существует ли значимая проблема и подходит ли ей предложенная концепция.
На проблемном этапе продукт не упоминается вообще. Не из ритуальной чистоты, а потому что после демонстрации разговор необратимо превращается в оценку вашей идеи. Вы теряете единственное, за чем пришли: описание ситуации в собственных словах человека и в его собственной логике.
Но это правило продуктовой практики, а не универсальный закон. В исследованиях существующего продукта, в изучении того, как им пользуются, в сравнении альтернатив контакт с решением и есть предмет изучения. Смысл правила узкий: не смешивать реакцию на показанное с данными о самостоятельном опыте. Как устроен разговор о задаче клиента до всякой демонстрации — в материалах о трёх школах подхода «работа для клиента» и о технике вопроса.
Что именно вы проверяете: четыре объекта
Полезно различать четыре объекта.
Первый — сама продуктовая идея: что предлагается, кому, в какой ситуации, с каким обещаемым эффектом.
Второй — представление ценности: насколько понятно, уместно и правдоподобно сформулировано обещание.
Третий — форма взаимодействия: может ли человек выполнить нужные действия и понять, что происходит в ответ.
Четвёртый — работа решения в реальном контексте: совместимость с процессами, средой, другими людьми, инфраструктурой и организационными ограничениями.
Проблема в том, что один стимул затрагивает несколько объектов сразу, и источники реакции смешиваются. Интерактивный прототип одновременно передаёт идею, визуальный стиль и предполагаемую механику — и вы не знаете, что именно человеку понравилось. Физический образец добавляет сенсорный опыт. Пилот услуги добавляет поведение персонала, ожидание, организацию процесса и живые исключения.
Отсюда правило: заранее решите, какой из четырёх объектов вы проверяете, и подберите стимул, который затрагивает его и по возможности не затрагивает остальные.
Проверка концепции проверяет представление, а не продукт
Концепцию можно показать текстом, рисунком, раскадровкой, набором свойств, позиционирующим утверждением, макетом или образцом. Метод существует и в качественном, и в количественном виде: обсуждение раскрывает интерпретации и основания реакции, стандартизированный тест измеряет заданные показатели на большей выборке.
Ключевое: объектом является реакция на предъявленное представление. Не на будущий продукт. Изменение формулировки, степени детализации, картинки, бренда, цены или наличия пробы меняет ответы.
Насколько сильно — вопрос открытый. Исследование Дикинсона и Уилби на знакомом потребительском товаре не обнаружило существенного взаимодействия между продуктовой пробой и тремя вариантами позиционирования по основным показателям. Но переносить этот частный результат на другие категории нельзя, особенно на сенсорные, сложные или незнакомые.
И более общая оговорка: обзор практик проверки концепций Пэна и Финна обнаружил большую неоднородность дизайнов и ограниченность публичных доказательств их надёжности и валидности. Название метода в предложении подрядчика само по себе ничего не гарантирует. Значение имеют способ показа концепции, состав респондентов, контекст сравнения и критерии оценки.
Проверка ценностного предложения проверяет понимание
Ценностное предложение — это то, как компания формулирует предлагаемую ценность. Воспринимаемая клиентом ценность — другое: она возникает в использовании и обмене.
Интервью может выяснить, понятно ли сообщение, уместно ли, правдоподобно ли, отличимо ли от чужого и какие компромиссы человек в нём видит. Оно не устанавливает фактически полученную ценность, потому что для этого нужен опыт использования.
Тут есть тонкость, о которой обычно не думают. Аудитория достраивает подразумеваемое: понимает термины по-своему и делает выводы, которых в буквальном сообщении нет. Это давно изучено на рекламных и маркировочных утверждениях — Харрис и позже Моррис с соавторами показали, что слушатель уверенно выводит из сообщения то, что в нём не сказано. Поэтому пересказ смысла собеседником и его собственные достроенные выводы — два разных объекта данных, и их надо фиксировать раздельно. Первое говорит о ясности формулировки, второе — о том, какие обещания вы дали, не заметив этого.
Отдельно про реплики «это важно», «звучит интересно», «я бы попробовал». Они описывают реакцию в ситуации исследования и не равны ни наблюдаемому выбору, ни готовности заплатить цену переключения, ни устойчивому использованию.
Прототип отвечает только за то, что в нём есть
Прототип — частичное представление решения, сделанное, чтобы изучить конкретные вопросы до полной реализации.
Его достоверность не одномерна, и деление на «низкую» и «высокую детализацию» бесполезно без указания, какие именно свойства воспроизведены. Прототип может быть визуально реалистичным и нерабочим. Рабочим и неполным. Точно передавать форму и не передавать материалы. Воспроизводить видимую клиенту часть услуги и не воспроизводить внутренние операции.
Данные распространяются на те характеристики, которые прототип действительно представляет, и ни на какие другие. Бумажный интерфейс покажет понимание структуры и ожидаемую последовательность действий — и не покажет, как человек отнесётся к задержкам системы. Макет упаковки покажет заметность на полке и интерпретацию элементов — и не покажет опыт хранения и использования. Ролевая симуляция услуги раскроет последовательность контактов — и не раскроет реальную загрузку и вариативность работы персонала.
Практический вывод: до начала теста напишите список того, чего этот прототип не проверяет. Он окажется длиннее ожидаемого и сэкономит вам неверный вывод.
Тестирование удобства — это наблюдение, а не разговор
Отличие принципиальное. Здесь основной материал — наблюдаемое взаимодействие человека с продуктом при выполнении заданных целей. Вопросы нужны, чтобы уточнить ожидания и интерпретации, но не заменяют данные о действиях, ошибках, результатах и затраченном времени.
Международный стандарт ISO 9241-11, посвящённый эргономике взаимодействия человека и системы, определяет удобство использования как степень, в которой определённые пользователи достигают определённых целей результативно, эффективно и с удовлетворённостью в заданном контексте. Из определения следует, что фраза «продукт удобен» неполна без указания пользователей, целей и контекста. Стандарт при этом распространяется не только на программы, но и на физические продукты, среды и услуги.
И главное разведение. Удобство использования не равно привлекательности идеи, рыночной ценности и общему впечатлению. Человек может легко пользоваться тем, что ему не нужно. Нужное решение может иметь тяжёлые проблемы взаимодействия. Хорошее впечатление может сосуществовать с ошибками выполнения. Всё это можно измерить в одном исследовании, но интерпретировать надо раздельно.
Есть ещё различие между проговариванием во время действия и объяснением после. Первое даёт доступ к тому, что человек держит в голове по ходу задачи. Второе даёт связную реконструкцию, собранную уже с знанием результата. Это разные данные, и смешивать их в отчёте нельзя.
Пилот проверяет конфигурацию, а не масштабируемость
Четвёртый объект из списка выше — работа решения в реальном контексте. Под него есть свои процедуры: продуктовая проба и пилотное внедрение.
Здесь появляются данные, которых не даёт ни один прототип: совместимость с процессами, поведение персонала, реальная загрузка, живые исключения, готовность данных на стороне клиента. Это самая дорогая и самая содержательная проверка.
Граница у неё тоже своя, и её регулярно переоценивают. Успешный пилот — свидетельство работоспособности конкретной конфигурации в конкретных условиях: на этой площадке, с этой командой, при этом уровне внимания руководства. Он не доказывает масштабируемость. Пилоты часто идут с усиленной поддержкой и с самыми мотивированными участниками, и именно эти два условия при тиражировании исчезают первыми.
Формирующая проверка и итоговая — разные задачи
Последнее различие, простое и нарушаемое чаще всего.
Различие не в стадии, а в функции. Формирующая оценка проводится, чтобы изменить проект: важно найти проблемы, и годятся малые выборки и приблизительные стимулы. Итоговая характеризует достигнутый уровень по заранее заданным критериям: важна сопоставимость. Неформальный тест уже готового продукта может быть формирующим, а раннее сравнительное измерение — выполнять итоговую функцию. Стадия ничего не определяет.
Одно исследование не делает и то, и другое хорошо. Когда проверку заказывают, чтобы принять решение «запускаем или нет», а проводят по логике формирующей, получается уверенное «да» на выборке, которая для такого вывода не собиралась.
Поэтому вопрос, который стоит задать до начала: мы ищем, что исправить, или решаем, готово ли. От ответа зависит всё остальное, включая цену.
На практике мы начинаем с одного разговора: какое решение вы принимаете и какова ставка. Если ставка обратима и невелика, честный ответ — не заказывать проверку, а выпустить и посмотреть. Если на кону производственная линия, тираж упаковки или контракт, то подбираем процедуру под объект и заранее пишем, что она не покажет. Занимает это от нескольких дней до двух месяцев в зависимости от того, сколько объектов надо проверить.
Источники
- Osterwalder, A. «Problem» vs Solution in Customer Interviews. Strategyzer, 17 января 2018.
- International Organization for Standardization. ISO 9241-11:2018. Ergonomics of human-system interaction. Part 11: Usability: Definitions and concepts.
- Ericsson, K. A., Simon, H. A. Protocol Analysis: Verbal Reports as Data. Revised ed. MIT Press, 1993 — различие проговаривания по ходу и объяснения после.
- Peng, L., Finn, A. Concept Testing: The State of Contemporary Practice. Marketing Intelligence & Planning, 2008, 26(6), 649–674.
- Dickinson, J. R., Wilby, C. P. Concept Testing With and Without Product Trial. Journal of Product Innovation Management, 1997, 14(2), 117–125.
- Payne, A., Frow, P., Eggert, A. The Customer Value Proposition: Evolution, Development, and Application in Marketing. Journal of the Academy of Marketing Science, 2017, 45(4), 467–489.
- Harris, R. J. Comprehension of Pragmatic Implications in Advertising. Journal of Applied Psychology, 1977, 62(5), 603–608.
- Morris, L. A., Hastak, M., Mazis, M. B. Consumer Comprehension of Environmental Advertising and Labeling Claims. Journal of Consumer Affairs, 1995, 29(2), 328–350.
- Theofanos, M. F., Quesenbery, W. Towards the Design of Effective Formative Test Reports. Journal of Usability Studies, 2005, 1(1), 27–45.
Обсудим вашу задачу?
Обсудить задачу →