Эта статья была опубликована на cs-mapping, но так как не все заходят на этот форум, решил копировать сюда. Автор - Reaktor (создатель таких модов как Prison и The Trap)


Многие модмейкеры почему-то не придают значения тестированию своих творений, в итоге многие из них сложно проходить без слёз и мата. Особенно показательна цитата одного уважаемого человека (не буду называть, кого), примерно такая: «Мне заняться больше нечем, как смотреть на прохождение собственной игры?» В общем, на фоне последних событий в модострое у меня появилась идея расписать все свои мысли по поводу тестирования игр. Надеюсь, эта статья будет очень полезной. Тем более что о событиях этой статьи я ещё никому не рассказывал.
Впервые я получил опыт бета-тестирования во время разработки моего первого мода Prison в 2006 году. Я отдал на тестирование два готовых уровня другу из локальной сети и велел записать демо. Да, демо он записал, только оно было какое-то странное. В том смысле, что оно было записано с одного дубля без единой смерти, а игрок всегда знал куда идти и что делать. Далее между нами произошел примерно такой диалог:

- Как тебе удалось всё пройти с первой попытки без единой смерти?
- Эээ.. Ну естественно, я потренировался перед тем, как записывать.
- Чтооо??.. ты всё испортил. С тем же успехом я мог и сам так пройти.

Так у меня появились первые мысли делать тестирование онлайн. Но вы вспомните, каким был Интернет в 2006-м… Я до сих пор помню этот позорный тариф в Туле 2,4 р. за мегабайт. Вся локалка плевалась, ругалась, но терпела. Даже когда появился первый безлимитный тариф, он всё равно был позорным: 950 р. за 16 кбит/с. Так что, об онлайн тестировании не могло быть и речи вплоть до 2010 года, а к тому времени у меня уже вышло 2 мода.

http://pix.academ.org/img/2015/03/06/3907086e0e9a1a622720520b321c1999.jpg
Мод Prison, 2007

До 2011 года я тестировал исключительно оффлайн. Результатом того первого теста стало удаление совершенно невменяемой головоломки с минами, которая сама по себе была неочевидной и могла привести к тупиковой ситуации для игрока. Ещё я убрал несколько монстров и добавил оружия с аптечками, потому что среди друзей было много жалоб на «адскую» сложность. Говорили, что без «годмода» пройти уровни вообще нереально. Надо сказать, меня это удивило. Я считал, что если ребята отжигают в мультиплеере (уж поверьте, на серверах Альтаира многие отжигали!), то расстрел стоячих монстров не станет проблемой.
После того, как было готово 5 уровней, тестирование Prison продолжилось. Для тестов я выбрал хорошего друга, который был одним из лучших киберспортсменов в HL-сообществе. Он, по-моему, даже участвовал в конкурсе на скоростное прохождение Quake. Правда, возможности личной встречи с ним у меня не было. Он некоторое время записывал демки для меня, и постоянно говорил, что мой мод слишком легкий. Но я не стал увеличивать сложность, потому что знал, что он киберспортсмен.
Однако из-за ограничений движка в записи демок я не получал никакой информации о количестве смертей, и о поведении игрока в моде. Он их делал через раз из-за одного неприятного бага записи демок. Чтобы хоть как-то компенсировать это упущение, я распространял среди тестеров вордовский файл, в котором надо было заполнять комментариями специальную таблицу. По такому оффлайн-тестированию я получал скупые комментарии в духе «мод очень крут, а вот здесь такой баг».

«Я жутко запарился в том месте, где надо проходить сквозь невидимые стены, - рассказал один из друзей. – Но я рекомендую тебе оставить такие сложности, иначе мод не запомнится».

Что в итоге получилось – вы знаете. Мод окрестили «одним из самых сложных и запарных модов на голдсорсе всех времен». Положение дел не исправил даже выход патча, в котором я удалил много монстров. Я до сих пор не знаю, каково это – играть в Prison, потому что я никогда не видел, как люди играют в него впервые. При этом сам я его прохожу без особых проблем на «харде», что не удивительно.
Второй мод The Trap тоже тестировался оффлайн. Друг-киберспортсмен продолжал жаловаться, что я не учитываю распрыг в дизайне уровней, а обычные тестеры продолжали писать всякую неинформативную фигню в таблице. Я тем временем занимался тем, что каждый день проходил мод и «искал баги». Мод вышел не менее сложным и неудачным, чем Prison.
В 2008-м году друг (кстати, не очень осведомлённый темой видеоигр) попросил скинуть ему на диск игры HL2 и The Trap. Через некоторое время он ответил, что HL2 прошёл до конца без проблем, и она ему очень понравилась. А вот The Trap он прошёл всего пару карт, а затем не понял, что надо делать и бросил. Моё терпение лопнуло, когда в 2011-м году один из поклонников сказал, что ему не удалось в первый раз пройти мой мод без читов. Тогда я решил сделать апдейт мода и разобраться, что же, вашу мать, происходит, когда игрок находится в моём моде!
Онлайн-тест проводится так. Связываешься с другом по Скайпу, он передаёт тебе изображение своего монитора. При этом надо свернуть игру в оконный режим, иначе она не будет отображаться. В общем, всё просто.
После первых тестов я был в шоке. Игроки не понимали, чего от них хотят, по полчаса тыкались во все углы и кнопки, сильно матюкались, и не замечали, на мой взгляд, очевидные вещи! Добавляем к этому непомерную сложность головоломок – и получаем катастрофу.
Мод был полностью переделан, упрощению подверглось абсолютно всё. Особенно показателен момент на карте 4b. Тестер (к слову, известный модмейкер), попав в главный зал, пришёл от его вида в ужас, сказал, что у него болит голова, и что такие игры не имеют права на существование. Мысленно поставив себя на место игрока, легко понять, почему так произошло. Главный зал в этой карте огромен. Он простирается влево и вправо, там можно свободно ходить и решать головоломки в любом порядке, а ещё там есть прозрачный пол, сквозь который видно некоторую часть головоломки. Самое забавное, взаимодействовать с этой частью никак нельзя, т.е. всё, что делал прозрачный пол – это отбивал желание играть. Исправить эту дизайнерскую ошибку было легко. Я заменил стеклянный пол бетонным и ограничил доступ к правой части уровня, чтобы игрок решал головоломки в определенном порядке.

http://pix.academ.org/img/2015/03/06/07a08d582a7d8ceb6731e35224316a66.jpg
То самое место с прозрачным полом

Ещё критике подвергся новый уровень (кажется, 5d). Там решение паззла казалось совершенно неочевидным. Кроме того, мне указали на то, что я не уделяю практически никакого внимания дизайну. Например, совершенно бессмысленным казалось нанесение разных текстур на похожие ящики, что делало геймплей слишком запутанным. Я очень признателен этому человеку, ведь после его замечаний я осознал, что именно мне надо сделать для создания классной игры. Мне предстояло выполнить гораздо больше работы, чем планировалось.

http://pix.academ.org/img/2015/03/06/87b28c256b2b550a9a9c9a7da6d3f938.jpg
В ранней версии здесь не было подсказок, что делало головоломку непроходимой для нормального человека

http://pix.academ.org/img/2015/03/06/eec661e1b0676fbcb9e90501d95d9de5.jpg

Здесь игроки не могли понять, что доски можно разбить, и ходили вокруг по полчаса. Я добавил рядом ещё таких же досок, и оградил ими проход в другой зал. Это не помогло. Тогда я заменил текстуры доски, изменил форму конструкции, и проблема решилась.

http://pix.academ.org/img/2015/03/06/a5d1b4087714eb1fe339c82b9c5a3bb2.jpg

А эту битву с боссом вообще никто из тестеров не осилил. Помещение подверглось большим изменениям. Изменился даже цвет стен, чтобы игрок лучше видел приближающееся синее поле.
Каждый последующий билд был лучше предыдущего, а игроки со временем получали всё больше удовольствия.
В The Trap 2 я устроил онлайн-тест с двумя людьми уже на этапе предварительных набросков. Это позволило мне сразу отказаться от каких-то идей и внести критические поправки уже до того, как началась работа над дизайном. Кстати, изменений в этот раз было не так уж и много. Насмотревшись тестов первого The Trap, я уже заранее знал, как будет вести себя игрок в тех или иных локациях.

http://pix.academ.org/img/2015/03/06/27884d0437ad2f6b8e73c89a6da486ab.jpg
Тестовый пре-альфа билд мода The Trap 2: Mindlock без дизайна

На фоне всего сказанного я не понимаю, почему никто не использует онлайн-тестирование. Благо с Интернетом сейчас проблем у большинства населения нет. Теперь подытожу основные тезисы.

1. Нет никакого смысла самому проходить свой мод по 10 раз на день. Вы никогда не сможете объективно оценить собственную работу, точно так же, как и увидеть свой затылок.
2. Тестер должен быть новым. Повторное тестирование со старым тестером очень хорошо для поиска багов, но очень плохо для тестирования геймплея.
3. Чем ниже опыт тестера в видеоиграх, тем лучше. Сейчас не 90-е, когда прохождение игры до конца становилось личным достижением. Игры должны развлекать и давать возможность отдохнуть после работы или учебы (но, это ИМХО). По-моему современную игру должны иметь возможность пройти до конца самые разные люди, а значит, её надо тестировать на всех, даже на нубах.
4. Тестирование геймплея должно проходить онлайн. Это значит, что вы должны следить за действиями игрока и слушать его комментарии в реальном времени.
5. Обращайте внимание на то, как тестер ведёт себя в игре, куда смотрит, чем занимается. Это может дать много подсказок об ошибках дизайна. Может ему слишком сложно, или он долго не обращает внимания на какую-нибудь кнопку, или ему просто скучно?
6. Выбрав оффлайн-тестирование, вы получите только малоинформативные комментарии типа «здесь такой-то баг, здесь такой-то, а здесь слишком сложно / легко, а так мод крутой / отстойный». Оффлайн-тестер физически не сможет вам в подробностях на 20 страниц рассказать о том, что он чувствует. О многих моментах он даже не вспомнит.
7. Выбрав онлайн-тестирование, вы получите исчерпывающую информацию о том, настолько хорош мод, и что конкретно надо сделать для его улучшения.

Вообще, сам процесс онлайн-тестирования доставляет море удовольствия, не отказывайте себе в этом.

А я считаю, что прохождение игры должно быть достижением. Или она так и забудется под валом других. Лучше игру пройдёт только 5-10% игроков (что, кстати, и происходит и так, судя по статистике в стиме), чем игра будет яслями до домохозяек.

Соглашусь, по-большей части, с необходимостью контрольного тестирования.
Ну все же задача сего мероприятия отнюдь не в потакании домохозяйкам. Просто отлов вероятных неприятных моментов, которые сам разработчик уже не в состоянии увидеть, в виду полного замыленного взгляда