PE
экономия на тестировании, и т.п.
Size: a a a
2020 August 16
PE
но успешность A/B тоже надо как-то формально мерить, особенно если это 200 релизов в день, то это скорее всего автоматом делаться будет (проверяться на то, что хуже не стало)
PE
а для этого надо формализовать качество
O
Да блин, не идёт речь об «экономии». Есть понятие целесообразности и даже технической реализуемости. А\Б придумали больше не из за экономии, а из за того, что невозможно нормально понять как оно в проде будет работать, не прикатив его туда.
O
Ну и для ускорения тоже, конечно же. За стоимость 3-4 процентов юзеров, а то и меньше, ты можешь тестироваться сильно дешевле и быстрее, чем на отдельном стенде.
O
ну если мы говорим прям про тесты, там еще есть большой кейс про гуй, проверку гипотез и вот это все
O
а для этого надо формализовать качество
Окей, ты формализовал качество, у тебя есть списки того, что нужно проверить. До какой-то степени. Где то в пространстве вариантов есть точка пересечения между «мы все деньги начнём спускать на тесты» и «давайте потестируем основное, а дальше будем надеяться на то, что у нас нормальные инженеры».
O
Вот этот список формализации по количеству критериев и необходимых тестов для его проверки достаточно быстро станет примерно бесконечным.
PE
это аргумент против списка?
O
Это аргумент против «список - метод решения наших проблем».
O
Просто получится документ, который или будет отражать ситуацию на «сейчас» и будет невообразимо огромен и никто его использовать не будет толком, или он будет настолько поверхностным, что практического смысла в нем почти не будет и применение ограничится вывешиванием СЛА из него на сайт сервиса.
PE
Я вас не понимаю, если нет никаких требований, то зачем что-то делать вообще? Лучше в парке погулять...
O
А, ну или ты пишешь софт для самолётов-спутников и вот этого всего, у тебя есть большой бюджет, троекратное резервирование и вот это все. Потом правда получается Боинг 737 или ракета, где проверка значений отсутствует и ты формируешь подводный флот, но да.
O
Я вас не понимаю, если нет никаких требований, то зачем что-то делать вообще? Лучше в парке погулять...
А вот здесь начинается менеджмент, культура разработки и прочее, которые вместе могут сделать так, чтобы люди, не ударяясь в формализм и маразм делали продукт приемлемого для бизнеса качества.
O
История про 737 в этом плане показательна. Никакие бумаги не спасли от плохой культуры разработки в целом.
O
А там были и списки, и тесты, и приемка и все на свете. Просто конкретные сервисы писали люди с низкой культурой разработки и, соответственно, с низкой оплатой труда.
O
Дойчебанк, мне тут говорили. Стукнулся об это года 2-3 назад тоже. Причём серьезно стукнулся. А там без бумажки и пукнуть нельзя. Но чет не помогло нифига.
PE
Наверное, я плохой раз делаю то, что _требуется_ бизнесу 🙂
PE
В больших компаниях могут быть проблемы с отправкой и обработкой обратной связи с мест (в т.ч. потому что разработчикам пофиг).
O
Наверное, я плохой раз делаю то, что _требуется_ бизнесу 🙂
Эм, а что именно то?)