СТАТЬЯ · Исследования

«Анализ сделан с помощью ИИ» — это не описание процедуры

Борис Каптелов · 02.08.2026 · 7 мин

Подрядчик прислал отчёт по сорока интервью. Сделан за неделю вместо месяца, стоит вдвое дешевле, читается гладко. На вопрос о методе — ответ, что расшифровку и анализ делали с помощью искусственного интеллекта.

Этот ответ ничего не говорит о качестве работы. Не потому, что ИИ плох, а потому, что «анализ с помощью ИИ» — не одна операция, а пять разных, с очень разной надёжностью. Расположены они по нарастающей: чем дальше от исходной записи, тем больше добавлено интерпретации и тем выше цена ранней ошибки.

Пять операций: расшифровка, организация корпуса, суммаризация, кодирование, построение тем и выводов.

Разберём по порядку, что именно можно передавать машине, а где начинается зона, за которую отвечает человек.

Расшифровка создаёт черновик, а не копию

Современные системы распознавания речи работают на многих языках и убирают самую тяжёлую ручную работу. Модель распознавания речи Whisper обучалась на большом массиве слабо размеченных многоязычных данных и оказалась устойчивой к разным условиям записи, но исходная публикация не утверждает безошибочности для любого языка, акцента и предметной области.

Важнее другое: ошибки распределяются не случайно. Их вероятность растёт при плохой записи, перебивках, шуме, акценте, быстрой речи, отраслевых терминах и именах собственных. Разделение говорящих — отдельная задача, и система может склеить реплики двух людей или разорвать одну.

Посмотрите на этот список внимательно. Термины, числа, имена, принадлежность реплики, отрицание — это ровно те элементы, на которых строится вывод. Потерянная частица «не» меняет смысл фразы на противоположный, и в гладком тексте это не видно.

Отсюда правило: цитата, которая попадает в отчёт, и число, на котором строится расчёт, сверяются с аудио. Не весь транскрипт, а те места, которые несут вес.

Организация корпуса — единственное место, где выигрыш чистый

Самая недооценённая часть работы и самая безопасная для автоматизации.

Поиск по всему корпусу, связывание фрагментов, разметка по участникам и стадиям, навигация между расшифровкой и аудио, хранение версий — здесь машина не интерпретирует, а держит порядок. Ошибка тут не искажает вывод, а замедляет работу, и это единственная операция из пяти, где экономия не оплачивается риском.

Практическое следствие для выбора подрядчика: если он ведёт проект в специализированной системе, а не в переписке и таблицах, у вас потом будет возможность проверить любую цитату. Если в переписке — проверять будет нечего.

Суммаризация меняет представление данных

Автоматическое резюме решает, что считать главным, объединяет похожие формулировки и сглаживает то, что в них не укладывается: противоречия, редкие случаи, последовательность событий во времени.

Для навигации по корпусу это отлично. Как замена первичного текста — нет. И особенно чувствительно резюме по нескольким интервью сразу: результат зависит от того, какие куски попали в обработку и как был сформулирован запрос.

Практическая проверка одна. Резюме, из которого нельзя провалиться в исходный фрагмент, проверить невозможно. Часть систем такие ссылки даёт: Программа качественного анализа MAXQDA заявляет интерактивные переходы из сгенерированного отчёта к исходным фрагментам, репозиторий исследований Dovetail — ответы со ссылками на материалы. Это делает работу проверяемой. Это не подтверждает, что интерпретация верна.

Кодирование по готовой книге и кодирование с нуля — разные задачи

Под «кодированием с помощью ИИ» скрываются как минимум четыре операции: применить заранее описанную кодовую книгу, подобрать фрагменты под заданный код, придумать новые коды из корпуса, собрать коды в категории и темы.

Первая задача близка к машинной разметке: есть чёткие определения, есть примеры, результат можно сверить с эталоном и посчитать согласованность. Здесь модели помогают и заметно экономят время.

Дальше начинается другое. Индуктивное кодирование требует решить, что вообще считать значимым, как фрагмент связан с контекстом всего разговора и какую центральную идею выражает тема. Исследования последних лет показывают, что модели воспроизводят часть кодов и тем человеческого анализа, но результат зависит от модели, формулировки задания, размера фрагмента, наличия кодовой книги и от того, с чем именно сравнивают. Фиксируются и устойчивые слабости: меньшая глубина интерпретации, потеря контекста, трудности со связями между категориями и расхождение между повторными запусками.

Профиль ошибок при этом не такой, как у человека. В работе Парфёновой и соавторов люди лучше справлялись со сложными высказываниями, а модели показывали относительно лучший результат на простых фрагментах. В сравнении Айик и соавторов четыре разных инструмента частично совпали с человеческим анализом и заметно сэкономили время, но ни один не воспроизвёл глубину интерпретации полностью. Единого «процента точности ИИ» для качественного анализа не существует, и подрядчик, который его называет, называет число из воздуха.

Почему совпадение с человеком ничего не доказывает

Соблазн простой: дать модели и аналитику один корпус и посмотреть, насколько совпало.

В дедуктивном дизайне это работает — есть эталон. В индуктивном не работает: несколько разных систем кодов могут одинаково правдоподобно раскрывать один материал. Высокое совпадение с одной человеческой разметкой не доказывает ни полноту, ни аналитическую ценность. Низкое совпадение не обязательно означает ошибку.

Оценивать приходится по другому: связан ли результат с исследовательским вопросом, сохранён ли контекст, держится ли тема на одной идее, отличимы ли темы друг от друга, рассмотрены ли случаи, которые в схему не укладываются, и можно ли от вывода дойти до конкретных фрагментов. Что именно требовать в качестве такого следа, разбираем в материале об отчёте.

Генерация выводов дальше всего от данных

Цепочка выглядит так: фрагмент — код — категория — тема — объяснение — вывод для решения. На каждом шаге добавляется интерпретация, и ошибка отбора на первом шаге усиливается на последнем.

Генеративная система напишет связный и убедительный текст даже при неполном или противоречивом основании. Это её сильная сторона как инструмента письма и её главная опасность как инструмента анализа. Гладкость формулировки не является признаком доказательности — а читатель отчёта считывает именно гладкость.

Показательно, как о своих функциях говорят сами разработчики. Программа ATLAS.ti описывает полностью автоматическое индуктивное кодирование как бета-функцию, требующую последующей проверки исследователем. Программа MAXQDA говорит о рекомендациях кодов и пояснениях к сегментам. Формулировки выбраны точно: система предлагает аналитические объекты, а не устанавливает их истинность.

Почему «сделано с помощью языковой модели» не описывает процедуру

Результат языковой модели зависит от поставщика, названия и версии модели, системных инструкций, текста запроса, приведённых примеров, температуры и прочих параметров, объёма переданного контекста, порядка фрагментов и даты запуска. Обновление модели меняет результат без единого изменения в запросе.

Сравните с тем, как описывается обычный метод: кто отбирал участников и по какому критерию, какой был гайд, кто кодировал, по какой книге, как разрешались разногласия. Всё это позволяет другому человеку понять, что было сделано, и повторить.

Чтобы вычислительный шаг был описан на том же уровне, нужно сохранить корпус или его контрольную версию, правила разбиения текста, кодовую книгу, полные запросы с параметрами, ответы модели, дату, версию инструмента и все ручные решения, принятые после. Повторный запуск на части данных покажет устойчивость, но содержательную проверку не заменит.

Это и есть вопрос, который стоит задавать подрядчику вместо вопроса, использовал ли он ИИ. Остальные пять вопросов к предложению на исследование — в отдельном материале о смете.

Конфиденциальность определяется договором, а не названием модели

Передача интервью внешнему сервису затрагивает персональные данные, коммерческую тайну клиента и обязательства перед участниками исследования, которым обещали конфиденциальность.

Здесь имеет значение не то, какая модель использована, а где физически обрабатываются данные, что записано в договоре об их использовании для обучения, как долго они хранятся и что именно было обещано людям, которых интервьюировали. Согласие на участие в исследовании не равно согласию на передачу записи третьей стороне.

Что реально экономится

Подведём.

Расшифровка — экономится почти полностью, при выборочной сверке ключевых мест. Организация материала, поиск, навигация по корпусу — экономится существенно. Кодирование по готовой книге — экономится заметно, после проверки на образце. Первичное резюме для ориентации — экономится, как навигационный слой.

Построение тем, объяснение механизма и вывод для решения — не экономится. Здесь сокращается не работа, а ответственность, и результат этого сокращения виден только тогда, когда решение уже принято.

Ускорение на первых этапах реально и стоит того. Просто оно не превращает недельный проект в отчёт того же качества, что месячный, — оно освобождает время аналитика для той части, которую делегировать нельзя. Разница между хорошим и плохим применением ИИ ровно в том, куда ушло освободившееся время.

Если у вас на руках отчёт, сделанный быстро и дешёво, и есть сомнение, мы разбираем такие отчёты как отдельную работу: сверяем ключевые цитаты с записью, проверяем, доходит ли вывод до фрагмента, и говорим, какие решения на этом отчёте принимать можно, а какие нельзя. Занимает несколько дней и обычно окупается одним не принятым решением.