Как быстро и эффективно тестировать гипотезы в арбитраже, и почему это важно

29 мая 2023
491
0
На чтение: 4 мин

Как быстро и эффективно тестировать гипотезы в арбитраже, и почему это важно

Привет! С вами Павел, возможно вы знаете меня по блогу «Директор Интернета». В своей колонке хочу поделиться опытом управления медиабаинговой командой, а также рассказать о фишках, которые позволяют нам успешно работать с Google и быстро адаптироваться к колебаниям рынка.

 


На динамично меняющемся рынке affiliate marketing всё более важным становится фактор скорости: побеждает тот, кто быстрее. А если мыслить чуть глубже — побеждает тот, кто быстрее и качественнее конкурентов тестирует гипотезы. 

Каждый раз, когда Facebook* или любой другой источник в очередной раз «закручивает гайки» и меняет правила игры, команды вынуждены подстраиваться. Для этого необходимо выяснить эти новые правила и заново научиться по ним играть. Освоив этот навык, команда становится не просто устойчивой к изменениям, а еще и анти-хрупкой, то есть той компанией, которая в кризисы становится сильнее.

У себя в команде, да и для личных дел, в том числе, я пользуюсь достаточно простой, но весьма эффективной методикой по систематизации, оценке и тестированию гипотез. И сегодня я хочу поделиться этой методикой с вами.

Этап 1: формулировка гипотезы и уточнение

На первый взгляд это звучит просто. Но, поверьте, что сформулировать гипотезу одним предложением — уже своего рода фильтр. Можете ли вы описать буквально в нескольких словах, что именно вы хотите сделать, проверить? Уже на этом этапе самые слабые гипотезы отвалятся.

Вторым шагом в рамках этого этапа нужно определить, на какой именно показатель будет влиять гипотеза. Предположим, ключевой вопрос, который вы хотите решить с помощью гипотез — увеличить срок жизни рекламного аккаунта. Но, например, на данном шаге выясняется, что ваша гипотеза вообще-то про повышение конверсии сайта или про то, как запускать больше аккаунтов в промежуток времени.

Этот шаг очень эффективно отфильтровывает те гипотезы, которые просто не актуальны для команды в текущий момент. Следите за тем, чтобы показатель, на который влияет гипотеза, совпадал с тем, что вы вообще хотите улучшить в данный момент. 

В рамках третьего шага необходимо выписать критерий выполнения гипотезы. То есть, что именно должно произойти, чтобы мы сказали: гипотеза протестирована. Например, если мы решили увеличить срок жизни аккаунта, результатом гипотезы может быть: 10 новых запущенных в рамках проверки гипотезы аккаунтов, которые прожили дольше аккаунтов, запущенных стандартным способом.

Этап 2: оценка гипотез

Этот этап может вызвать как серьезные разногласия в команде, так и помочь всем синхронизироваться — это уже будет зависеть от лидера команды и его навыков управления и коммуникации. У нас в команде оценка гипотез реализована следующим образом.

4 важных параметра оценки любой гипотезы

Прогноз финансового результата

Это то, на сколько по мнению команды данная гипотеза может увеличить прибыль. Весь affiliate-рынок — это так или иначе чистый money-making, а значит самым важным для нас будет ответ на этот вопрос: в теории, насколько больше денег станет, если гипотеза сработает? Мы оцениваем результат в баллах от 1 до 5. Вы можете придумать свою рейтинговую систему.

Вероятность успеха

Иначе это называется ХЗ-фактор. Данный критерий зависит от опыта команды и того, на что можно опираться, предсказывая результат данной гипотезы. Например, вы пробуете новую вертикаль. И вы точно знаете, что у конкурентов эта вертикаль зашла на ура, причем сразу у нескольких. В этом случае ХЗ-фактор — низкий, то есть вероятность успеха — высокая. А значит в системе от 1 до 5 баллов можно смело ставить 4–5.

Время на тест

Скорость тестирования очень важна, с этого тезиса и начиналась статья. А значит нам важно сперва тестировать то, что может дать результат быстро, здесь и сейчас. Итого для самых быстрых гипотез у нас оценка 5, для самых медленных и долгих — 1.

Сложность реализации

На мой взгляд, это самый субъективный и дискуссионный момент. Кому-то проще сделать новые объявления, кому-то допилить техничку, кому-то просто запустить побольше кампаний. Тем не менее надо стараться прийти к некому объективному среднему. Маленький лайфхак для тимлидов и лидеров команд: оценивая сложность задачи, попробуйте чуть больше полагаться на того, кто данную гипотезу будет проверять, и больше прислушиваться именно к оценке этого члена команды. Опять же 5 — если очень просто, 1 — если почти не реально. 

Напомню, что вы не обязаны загонять себя в систему от 1 до 5, можете сделать и 10 и даже 100. Кому как удобнее.

Система весов

Далее, когда напротив каждой гипотезы у нас есть количество баллов в 4 разных столбцах по 4 разным параметрам, казалось бы, можно переходить к подсчету баллов, и те гипотезы, что набрали наивысший балл, отправлять на тестирование в первую очередь. Но в этом случае сложно было бы назвать систему объективной. Поэтому мы добавили систему весов в нашу таблицу оценки гипотез.

Каждый из 4 параметров имеет свой множитель в зависимости от важности фактора. Например, нам намного более важно, сколько денег принесет гипотеза, если сработает. И менее важно то, сколько времени займёт тест. Однако от ситуации к ситуации приоритеты могут меняться, и вы можете перераспределять веса. 

Вот как веса выглядят у нас в команде на текущий момент:

  • Финансовый результат — множитель 4
  • ХЗ-фактор — 3
  • Сроки — 2
  • Сложность — 1

И вот что получается в результате перемножения баллов и множителей:

Как быстро и эффективно тестировать гипотезы в арбитраже, и почему это важно

Далее ранжируем по количеству баллов и в первую очередь берём на тест те гипотезы, которые набрали больше баллов.

В нашем кейсе в таблице оценки гипотез есть ещё такие поля как: дата начала тестирования, дата окончания тестирования, ответственный, ссылка на задачу/проект в CRM, скрин результата (если уместно), комментарий и выводы.

Считаю эти поля опциональными, поэтому подробно о них рассказывать не буду. Можете взять на вооружение, а можете опустить этот момент.

Заключение

В заключение хочу сказать, что ни одна система не бывает лишена недостатков. Но наличие сколь-либо эффективной системы всегда лучше, чем полное её отсутствие. Кроме того, как уже писал выше, сам факт заполнения таблицы и сопутствующий брейншторм круто синхронизируют команду и помогают всем мыслить в едином контексте приоритетов. Это, в свою очередь, отлично влияет на понимание сотрудниками того, почему они занимаются именно этой гипотезой, а не тем, что им кажется правильным здесь и сейчас. Успехов.

*признана экстремистской и запрещена в России

Есть что рассказать об арбитраже трафика?
Стань автором ZorbasMedia!
Оставить заявку