В продолжение поста про AlphaStar: мне много ребят скинули ссылки на пост Бобука (https://t.me/addmeto/2497) и классный разбор того, как AlphaStar читит в игре против людей и почему это неправильно (https://habr.com/ru/post/437796/).

Можно спорить про то, честно это соперничество или нет, можно ли сравнивать алгоритм с человеком.. На мой взгляд (продакта и предпринимателя), это совершенно неважно и на это не стоит обращать внимание. Конечно, в этой истории много пиара, много спорных моментов, но тезисы, которые я упомянул в первом посте, от пиара и читов не теряют свою ценность. Индустрии развлечений становится доступен очень важный инструмент—машинное обучение. Раньше никто не понимал как машинное обучение применять в развлечениях, и чем больше таких кейсов будет:

◆ Nvidia создала демо 3D–графики, полностью созданной машинным обучением: https://www.theverge.com/2018/12/3/18121198/ai-generated-video-game-graphics-nvidia-driving-demo-neurips
◆ Генерация фотореалистичных изображений лиц людей: https://www.theverge.com/2018/12/17/18144356/ai-image-generation-fake-faces-people-nvidia-generative-adversarial-networks-gans
◆ ..и кейс AlphaStar,

тем быстрее бизнесы выведут развлечения на новый уровень. А компании, которые сейчас вкладывают в это R&D–деньги, могут выехать на следующем витке цикла “приложения>инфраструктура” (https://t.me/zamesin/69)

А теперь представьте, если алгоритмы будут обучаться на эмоциональной (и гормональной) реациях людей. Ух, там кроется настоящее зло.

P.S. Конечно, через полгода–год–два, команда DeepMind дообучит AlphaStar так, чтобы алгоритм побеждал при сравнимых с человеком вводных параметрах, но не в этом же суть 🙂
P.P.S нам всё равно хана

🔗 Давайте обсудим: https://fb.com/zamesin.ivan/posts/10156498832572499

Привет. Я вместе с Валерией Коваленко (CPO Qlean) делаю TalentDealers—бутик, который помогает компаниям искать идеальных продактов на свои задачки, а продактам—работу мечты. За полгода мы наняли продактов в Едадил, MediaInstinct, Альфа.Поток, CoMagic.

Мы видим, что то, что мы делаем очень важно и ценно, как для компаний, так и для продактов. В компании мы приносим свою экспертизу и помогаем понять кто действительно нужен, погружаемся на уровень производства и препарируем процессы, чтобы понять, какой продакт не просто пройдёт собеседования, но и приживётся в культуре и процессах. А продактам даём развёрнутую обратную связь в конце каждого интервью про сильные и слабые стороны.

Мы масштабируем бизнес и нам нужен партнёр—человек, который возьмёт на себя масштабирование и бетонирование процессов, возьмёт ответственность за выручку. Мы ищем продакта, который хочет взять ответственность за бизнес и научиться растить деньги. Chief Operations Officer, найдись.

У тебя будет возможность стать CEO, если выполнишь цели на год.

👉 http://bit.ly/TalentDealersCOO

Привет! Перед тем, как рассказать про результаты Меты (https://bemeta.co) за январь, хочу ответить на вопросы, которые мне часто задают в личке.

Q: Зачем ты публично рассказываешь про результаты работы Меты?
A: Я не опытен как предприниматель и перед самым первым постом у меня была гипотеза: «Буду публично рассказывать, и более опытные ребята будут обращать внимание на слепые зоны, давать обратную связь и предлагать классные идеи». Гипотеза подтвердилась, и мне ЧАСТО предлагают обалденные идеи, (например, идею фокусироваться на эмигрантах предложил Сергей Шаяхметов в личке после поста с результатами октября) или обращают внимание на слепые зоны. Это работает как распределённый и асинхронный совет директоров. Очень страшно, что мы профакапимся и про это нужно будет рассказывать, но есть вероятность, что кто–то подскажет, как с этой проблемой справиться. В общем, оч полезная штука, как оказалось

Q: Зачем ты делаешь Мету?
A: 1. Хочу дать возможность как можно большему количеству людей воспользоваться психотерапией как классным инструментом улучшения качества жизни, если им это нужно.
2. Мне приносит невероятное удовольствие делать Мету вместе с командой: решать задачки, искать слепые зоны и учиться.

Q: Почему Мета non profit? For profit может иметь миссию, стремиться к ней и приносить дивиденты акционерам.
A: Это сложный и некомфортный для меня вопрос. Честный ответ: у меня десять лет назад отжали бизнес, и у меня образовалась психологическая травма, суть которой сводилась с к тому, что бизнес—это страшно и смертельно опасно. В процессе личной психотерапии за последние два с половиной года я её хорошо проработал, но на момент осени 2017 года, когда я провёл исследование того, как люди приходят в психотерапию, возможность делать бизнес мне была ещё недоступна, и в течение полугода я работал над этой травмой и торговался со своей психикой, чтобы начать делать Мету. В мае я смог сторговаться на то, чтобы начать делать мету как non profit. Почему мне ещё удалось сторговаться именно на non profit: у меня была гипотеза (из исследования), что классные специалисты будут помогать своей экспертизой проекту pro bono, и за счёт этого мы пройдём критический путь выживания с бóльшей вероятностью. Гипотеза подтвердилась 🙂

Q: Ты в одном из постов писал про конкурентов. Если вы non profit, у вас не должно быть конкурентов, и вам, скорее, нужно помогать другим командам на рынке.
A: Это была моя ошибка: я воспринимал ребят из Ясно и Alter действительно как конкурентов, хотя по нашей миссии нам стоит помогать им. Почему—наверное потому, что я привык мыслить в таких терминах, наверное, потому что наш уровень серотонина зависит от положения в иерархии доминирования и очень хочется влезть в прямую драку, чтобы чувствовать себя лучше. С этого месяца мы будем делиться всей информацией, что у нас есть, со всеми командами, которые делают что–то про психотерапию. Пишите в личку.

Как Мета (https://bemeta.co) перформила в Январе.

«Я что–то нажал, и оно попёрло»—по анкетам выросли на 63% к декабрю (608). Сделали модельку и ROI–калькулятор и теперь можем значительно точнее принимать решения, куда прикладывать усилия. Есть риск, что у нас закончатся слоты терапевтов, исследуем.

Продукт:
◆ поняли, что растём по анкетам и по выручке на 20% MoM и, наконец, сделали модельку прогноза выручки и маржи. При относительно пессимистичных параметрах: если никакой из параметров модели (конверсия на сайте 7%, конверсия из анкеты в первую сессию 28%, 45% анкет платных с со стоимостью клика в 45 руб (CAC атрибуцированных платных 2329 руб.😩, CAC по всем—1025 руб.), средним чеком в 4400 руб. и ростом 15% mom—выйдем в ноль в июне (см. графики)
◆ точки приложения усилий—конверсия в первую сессию. Если вырастим с 28% до 35%, то маржа за полгода увеличится с –762k до 517k (+миллион двести!!) И конверсия на сайте. Если увеличим конверсию с 7% до 10%—получим +500k дельты маржи за полгода

Гипотезы:
◆ мы сейчас фокусируемся на ритмичности проверки гипотез, на Q1 у нас цель—проверить 30 гипотез. Пока что проверили 4:
◆ Если мы уберем шаг с выбором темы, конверсия в заполнение анкеты может подрасти—не подтвердилась
◆ Если мы добавим в анкете помогающие вопросы на шаге запроса (на которые необходимо ответить), это снизит боль клиента, и меньше людей будут бросать этот шаг. Сейчас там у нас дроп в 45%—не подтвердилась
◆ Если мы увеличим стоимость фотосессии до 4400 и 4900—терапевты будут готовы покупать эту услугу (раньше мы субсидировали каждую фотосессию)—подтвердилась
◆ Если на сайте переименовать сервис в «Мета — подбор психолога или психотерапевта» и все call-to-action’s на психолога, то сайт будет лучше конвертить посетителей в анкеты—не подтвердилась (ШОК!)

Операционка:
◆ поняли, что есть риск того, что мы не привлекаем психотерапевтов, и у нас могут закончиться слоты
◆ столкнулись с тем, что на 160 анкетах в неделю не успеваем за доступные часы экспертов в день подбирать всем клиентам, и экспертам приходится овертаймить. Начали работать над сокращением времени подбора и прямо сейчас тестируем решение на селениуме, которое снимает большое количество рутинных действий в airtable на установление фильтров в CRM
◆ наняли операционного менеджера! Оля, добро пожаловать в команду. Шагане Мирзоян теперь полностью переключается на оптимизацию операционки (до этого общалась с клиентами)—теперь у нас два полноценных продакта на проверку гипотез 🤩
◆ прикинули косты на привлечение терапевта в юнит–экономике—оказались около 150 рублей. Что вполне ОК

Привлечение:
◆ в конце декабря Люда Александрова (работает в profi.ru, помогает нам с перформансом) нашла работающий контекст в гугле и попёрло 🤩 мы выросли по анкетам за январь в 1,63 раза по сравнению с декабрём (декабрь X1,89 к ноябрю)
◆ мы поняли, что, как и у любого маркетплейса, ключевая компетенция—привлечение. А у нас в команде нет ни одного человека про привлечение, поэтому мы сейчас собеседуем джунов на перформанс, получили ТОННУ тестовых, как наймём—упакую в кейс и расскажу
◆ косты на привлечение у нас растут с пугающей скоростью, и фокусом для будущего маркетолога у нас будет эффективность на бюджет, в том числе за счёт перебора гипотез бомж–маркетинга (© Рома Кумар)

Цифры:
◆ выручка за январь 384 000 руб. (АААА!!!!) июль—27k, август—67k, сентябрь—100k, октябрь—215k, ноябрь—259k, декабрь—321k
◆ план на февраль по модельке—700k. Ух, страшно, жуть
◆ расходы—682k, команда (со страховыми взносами)—517k, привлечение—130k, налоги (УСН)+комиссия Яндекс.Кассы—35k
◆ на счету 969 000 руб.

План на февраль:
◆ нанять перформанс–маркетолога
◆ профили работают для 40+ терапевтов
◆ есть все метрики операционки в амплитуде
◆ сократили время подбора экспертом до 9 минут (с 12–13 сейчас)

PNL, моделька и ROI–калькулятор: https://docs.google.com/spreadsheets/d/1UjJf1cvAjHh1mKhw4gO8dQYXCboJvdX6OOsFGQNVbnk буду благодарен обратной связи.

Рецензия на книгу «The Startup Way» by Eric Ries. Методичка по трансформации традицонных моделей управления в модель управления на базе Lean Startup, которая используется стартапами и венчурными инвесторами в долине и в крупных IT–компаниях типа Facebook, Google, Amazon. Если вы из поросшей мхом корпорации—must read, 9/10. Если вы продакт/специалист/предприниматель—7/10.

Эрик Рис с 2011 года успел поработать с большим количеством компаний—администрацией президента Обамы над HealthCare.gov, помог трансформировать General Electric (это основной кейс книги) и рассказал про принципы внедрения Lean Startup в больших компаниях. Если книга Lean Startup была расчитана на early adopters (стартапы и IT–корпорации), то The Startup Way расчитана на Early и Late Majority бизнесов, таких как GE и Citibank.

◆ Если вы хотите внедрить методологию Lean Startup, вам нужно перестроить принцип запуска новых продуктов на основе внутренних стартапов, поменять принципы финансирования таких проектов с плановых на кварталы и годы на аналог Seed/Series A/Series B.. инвестиционных раундов, дать политическую поддержку и приготовиться к долгой адаптации компании, которая займёт месяцы и годы и пройдёт через три стадии. Будет тяжело и больно, но результат вас ошеломит
◆ в каждой компании уже сейчас работают люди, готовые возглавить внутренние стартапы. Обычно, их ставят на самые сложные проекты или переключают на проекты в критических ситуациях. Такие люди характеризуются тем, что они готовы идти на риск принимать непопулярные (в компании) решения, чтобы лучше решить потребность кастомера
◆ чтобы внедрить идеологию Lean Startup, Эрик предлагает изменить организационную структуру компании так, чтобы в каждом направлении и в каждом экспертном и функциональном слое (HR, Legal, Finance, Engineering..) появилась функция предпринимательства. (прим. Ивана: см. картинку)
◆ Ключевые компоненты успеха внедрения Lean Startup в компании:
 ◆ меритократия—голос каждого члена команды равен и не зависит от положения в компании
 ◆ фокус на важности роли внутренних предпринимателей, поддержка таких инициатив на всех уровнях
 ◆ фокус на небольших кросс–функциональных автономных командах
 ◆ дозированное финансирование по достижению нужных показателей
 ◆ growth board (прим. Ивана: это что–то совета директоров для стартапа), которые помогают экспертизой, сторонним независимым взглядом и политической силой
 ◆ каждой команде нужен ангел среди топ–менеджмента, который будет решать политические проблемы
 ◆ сеть лидеров в разных департаментах и функциональных слоях, которые готовы поддерживать инициативы таких команд
◆ по своему опыту внедрения методологии Lean Startup, Эрик делит внедрение на три этапа:
 1. Фаза набора критической массы. В начале, вам нужна энергия для трансформации—кризис (healthcare.org), стратегия (GE) или если вы невероятно быстро растёте. Начните с небольшого количества команд и проектов. Создайте все необходимые ключевые компоненты успеха, но пока не масштабируйте на всю компанию. Получите первые результаты работы таких команд.
 2. Фаза масштабирования, адаптации под особенности вашей компании и исправления ошибок. У вас уже есть опыт работы небольших кросс–функциональных команд. Найдите паттерны, ошибки и типичные сложности, исправьте их. Подготовьте план масштабирования с учётом вашей специфики и паттернов. Масштабируйте трансформацию на всю компанию. Измените процесс финансирования новых проектов. Выделите среди топ–менеджеров тех, кто классно показал себя на первой стадии и дайте им больше ответственности в масштабировании.
 3. Бетонирование новой методологии во всех закоулках компании. Теперь вам нужно добиться, чтобы по новой методологии принимались решения абсолютно всеми командами в компании. Для этого вам потребуются совершенно другие метрики и системы обратной связи, пронизывающие всю иерархию компании.

🔗 книга на Amazon https://www.amazon.com/Startup-Way-Companies-Entrepreneurial-Management/dp/1101903201/

У выводов знаменитого психологического эксперимента Marshmallow test (прим. Ивана: примерный перевод: «проверка зефирками») оказались другие предпосылки. Эксперимент работал очень просто: детей оставляли в комнате с одной зефиркой, предупредив, что если они её не съедят, спустя некоторое время им дадут две зефирки.

В исходном исследовании, которое было проведено в 1960 и 1970х, авторы сделали вывод, что сила воли играет ключевую роль в принятии решения “есть сейчас” или “отложить вознаграждение”. Исследование показало корреляцию между склонностью к отложенному вознаграждению и бóльшими успехами в жизни—более высокими оценками на экзаменах, лучшим соотношением BMI (Body Mass Index—индекс веса тела), даже на исследовании мозга участников изначального эксперимента были замечены статзначимые различия активности разных долей мозга (https://www.webcitation.org/62C1bpSDU?url=http://www.pnas.org/content/108/36/14998.full.pdf).

Однако, повтороение эксперимента в 2018 году (https://journals.sagepub.com/doi/abs/10.1177/0956797618761661) показало, что причина не в силе воли, а в воспитании и социокультурных нормах, которые напрямую зависят от уровня благосостояния семьи, в которой рос ребёнок. Корреляция наблюдается, но причина не в силе воли, а в условиях, в которых растёт ребёнок. Авторы исследования предполагают, что в бедных семьях, члены семей, значительно реже задумываются о будущем и возможных будущих выгодах и скорее соглашаются на те возможности, которые перед ними открываются, так как не уверены, что в будущем такие возможности ещё представятся.

🔗 https://www.theatlantic.com/family/archive/2018/06/marshmallow-test/561779/

Рассказ Alex Shultz, VP of Growth at Facebook, про ключевые фокусы для команды роста. Спасибо Олегу Якубенкову за наводку (кстати, классный пост: «Как понять, что у тебя есть продакт<>маркет фит из метрик»: https://gopractice.ru/product-market-fit/)

◆ вы можете принимать решения из когорт (прим. Ивана: недельные графики) ретеншна с тысячами людей в когорте. Вам не нужны миллионы
◆ наша цель—увидеть на графике ретеншна плато (горизонтальную линию оси X) или рост после достижения плато (или, в некоторых случаях, после достижения нуля),(см. картинку)
◆ иногда график ретеншна растёт после достижения плато. Это может происходить из–за:
 a) роста сетевого эффекта (прим. Ивана: перевод «network effect»—например, рост количества продавцов и покупателей в маркетплейсе выше критически важного значения. Например, я слышал, что в Avito была метрика «Какое количество предложений определённой тематики есть в районе 10 минут от меня»)
 b) появления нового интерфейса, как было в случае Instagram: в начале была только iOS–версия и когда появилась версия для Android, люди, которые перешли с iPhone на Android, вернулись в Instagram и старые когорты стали расти
 с) появления новых категорий. В начале, у Amazon были только книги. После появления новых товарных категорий—одежды, товаров для кухни.., люди из старых когорт стали возвращаться за новыми товарами
◆ прим. Ивана: Даниил Шулейко на EpicGrowthConferenct рассказывал, как после введение повышающих коэффициентов (surge pricing) у команды Яндекс.Такси были самые напряжённые недели ever, когда когорты с экспериментом стали быстрее и глубже падать и только спустя несколько недель они стали расти и, в итоге, поднялись выше всех старых когорт и коэффициенты выехали в прод (кстати, я не уверен, что это был эксперимент. Чего нервничать–то, если эксперимент? Может ребята без эксперимента поехали в прод?)
◆ retention и churn очень важны для команды роста, потому что MAU=Nновых-Kотвалившихся+Мвернувшихся из старых когорт. И вы должны хорошо понимать как ведут себя когорты ретеншна
◆ есть бизнесы, для которых нормальны когорты, умирающие на 0% ретеншна—например, игры. Electronic Arts прекрасно это понимает и выпускает новую фифу (прим. Ивана: и новую батлу ♥️) раз в год. Но вы должны понимать, что вы в таком рынке
◆ продукт команды роста—это число. Вам нужна цель по привлечению нужного количества новых, хорошо залипающих юзеров, возвращению старых, роста ретеншна текущих, или любая специфичная для вас метрика, но вам нужна одна численная цель, которая будет фокусировать вас
◆ метрики помогают вам предсказывать будущее. Каждый новый эксперимент позволяет вам быстрее достигать достичь нужного роста

🔗 https://youtu.be/URiIsrdplbo

Мне очень помог вот этот пост понять насколько сильно отваливающиеся и возвращающиеся кастомеры влияют на MAU и реальный рост https://t.me/zamesin/58