Валерий Бабушкин — Как правильное использование метрик может помочь в управлении изменениями transcript

[музыка] возвращаемся после этой короткой паузы и переходим к следующему спикеру секции Big Data сейчас у нас выступит Валерий бабушкин липиды это Science в блокчейн.com я не знаю может быть он нам расскажет что-то новенькое потому что буквально вчера в своем канале он уже затравочку нам кинул Тут уж я не знаю решать ему и расскажет Он про то как нужно правильно использовать метрики для того чтобы корректно реагировать на изменения бизнес-процессов какой-либо крупной компании что что тогда Валерий передам тебе даже некоторых слышу Я очень рад что Мне разрешили задавать вопросы мне сказали что это будет заставлять вас бежать куда-то и брать микрофон получается что практически по моей указке я заставлял вас бегать что заставляет мне огромное удовольствие и Кроме того это поможет моей презентации собственно в рамках времени презентации быть короче потому что я буду ждать пока вы будете бежать и потом что-то отвечать это меня радует но Вернемся конференции Большое спасибо Меня на нее позвали Хотя я даже не уверен что те люди которые звали присутствуют сейчас зале все равно спасибо я знаю что вас уже были люди которые заявились как лидером Я знаю что вы обсуждали что-то про эксперименты Я сегодня тоже приведу эксперимент вся моя презентация будет состоять из одного слайда насколько я понимаю вы сейчас видите на экране меня а не мою одну картинку поэтому попробую еще раз и расшарить чтобы все-таки видели я ее готовят и Да я вижу я хотел проговорить про Мета вещь видимо потому что про обычные вещи мне говорить уже не интересно Или я не так хорошо не разбираюсь мы с вами затронули сегодня стиль в этот момент зале но знаю что были эти люди и говорили про аб-тест Но ведь очень важный вопрос который всегда встает во время теста а что тестировать понятно что тестировать хочется что-то такое что понимает все есть одна Метрика который все понимают она называется деньги зарабатывать деньги людям нравится тратить деньги людям тоже нравится но нравится когда они зарабатывают больше это очень многие тесты направлены на то чтобы в итоге понять а заработаем или потеряем но если мы проводим тесты только так возникает несколько проблем первая проблема что какие-то изменения которые влияют на деньги сразу редко происходят их тяжело оценивать тяжело ловить поэтому люди начинают использовать всякие прокси метрики но мы точно знаем что если она станет больше пользователей при этом пользователи будут тратить столько денег то денег у нас тоже в итоге станет больше Правда же Одно можем другое нам точно знаем что денег они будут тратить больше Если произойдет то-то какой-то момент мы начинаем понимать что у нас уже разрастается какое-то дерево или какая-то карта или даже целый иерархия Я люблю называть это иерархии если мы посмотрим на ту картинку которая представлена мы можем обратить внимание что не изображена потенциальная существующая Крипто компании которые безусловно сможем отгадать потому что это есть тот Метрика Global компании состоит из ревеню каждый из компаний в этой группе компаний и безусловно это влияет качество платежей потому что платежи могли попробовать поступить потом произошли какие-то возвраты возможно платеж пришло через кредитную карту потом сделает чашбэк это тоже безусловно влияет на итоговое время Но если в этом зале есть люди которые работают или занимаются инфраструктурой я вам хочу задать вопрос и попробовать получить от вас ответ а что же очень сложно что самое сложное в работе любого инфраструктурного подразделения какая проблема очень часто возникает И как же мы можем попробовать решить с помощью карты Метрика если у вас какие-то идеи заставляли сейчас подбежать микрофону я вижу что никто не чего не делает видимо вопрос Интересный вообще есть люди которые работают я думаю должны быть такие вы думаете в соседний отдел Архитекторов и попросить кого-нибудь из них любой инфраструктурное подразделение но деньги тратят а ничего практически не зарабатывают инфраструктуру Она как-то работает люди как-то и пользуются Ну и чего и здесь у любого начальника возникает резонный вопрос А зачем мне столько инфраструктурных инженеров Зачем я трачу такие деньги может быть можно поменьше может быть они работают и поэтому ваша задача в карте метрик научиться подсвечивать работу вообще каждого подразделения в компании то есть если мы раздавим нашу фантазию представим что у нас есть которая допустим на текущий момент в какой-то причине не зеленая а желтая причем Что такое желтый зеленый или красное некоторые цветовая индикация того Где мы сейчас находимся например мы знаем что компания такого же размера как мы среднем по индустрии зарабатывает это может быть наше первое если мы зарабатываем столько же или выше мы зеленые если несколько ниже желтые совсем ниже краски или например Мы ставим себе амбициозную цель зарабатывать столько-то миллиардов и не достигли Мы точно не зеленые насколько мы отвалились цветов тут возникнет вопрос что не всем дифференцировать но тем не менее как только у вас есть какая-то главная Метрика которую вы хотите повысить У вас есть карта метра что вы можете сделать Вы можете разным цветом обозначить разные метрики Правда же если вы видите что у вас есть времени которое желтые вы взяла зеленым но при этом виде что здесь у вас все зеленое здесь зеленый здесь желтая вы понимаете Ага мне наверное надо идти сюда затем увидеть А где у меня здесь проблема может быть у меня проблема в мало Может меня проблема каких-то деньгах пользователя а допустим здесь желтая Почему А здесь что-то желтый или красное Почему Потому что у нас есть какой-то рейд ошибок или как какой-то латенте за который у нас как раз отвечает несчастная команда инфраструктуры в том числе и Вот потому что мы в этих ребят не проинвестировали вовремя и всячески их гнобили наш продукт стал хуже мы стали получать больше денег меньше денег пользователей и не можем достичь наших целей по ревеню с этого продукта и целом наша ревность появляется гораздо легче относится к запросам многие из вас работали с моделями машинного обучения а я не вижу зал мне показывает меня причем двух опоздать какие-то люди поднимают руки Это вызывает радость здесь не было еще людей работать Я надеюсь что тут принципе все хоть немножко Да знаю это машинам обучении наверное Просто стесняется [музыка] а еще важно иметь правильную К сожалению мы в нашей жизни очень редко когда вам владелец бизнеса или менеджер и какой-то начальник и говорит нам нужно понизить или дружище нужно понизить бизнес хотел понизить соответственно очевидно что как только вы умеете оптимизировать метод Напрямую это клево Если вы не имеете напрямую Если вы умеете оптимизировать Правда же умеете оптимизировать функция направлена строк симметрии значит оптимизация вашего алгоритма сонаправлена с конечным и как ни странно были четко понимаете Вы можете двигать как правильном направлении Не говоря уже о том какие то методы онлайн то есть метрики вы в принципе измерять не как в вашей песочницы рынка дала получается Стрим Да здесь тоже самое вы должны понимать на них связаны Ну есть ещё один момент на который что-то учить а-а вопрос который хочу получить ответ будет почему появляется Становится лучше для людей занимающихся машина обучения вот построим такой форме если у вас предположение или ответное а можешь наверное повторить вопрос чтобы мы еще раз подумали над ним и хорошего обычно происходит я примера мачуся моделей машинного витрине если он проваливается на более низкий уровень Может у кого-нибудь гипотеза есть Да есть наконец-то первый первый человек появился в этой аудитории но есть больше потенциал их повысить например это хорошее предложение действительно если у вас больше 2 гипотеза сразу же появилась всего три метрики которые нужно повысить на Первом уровне раз два пять шесть семь изначально у нас был локальный минимум функцию И когда у нас соответственно понизились метрики мы Выбрались из локального минимума и можем куда-то другую сторону Ну смотрите во-первых мы откуда мы уверены что мы находимся Вполне может локально минимум Вообще не факт что умеем эту прямое оптимизировать Правда же Ну допустим дам подсказку Там подсказка Там такое как думаете какие события чаще происходят или залоге а можешь наверное рассказать что такое залог на какую-то страницу сайта смотрите у нас есть метка какого-то пятого уровня Как быстро у нас есть какая-то Метрика количество активных юзеров Какое принципиальное отличие между этими людьми есть гипотезы Да есть один человек может кто-то еще появится нас просто больше будет данных Абсолютно верно У нас будет больше данных на гигантских количествах только у нас есть больше данных может быстрее оперироваться можем оперироваться в паралле можно строить проверять гораздо больше гипотезы гораздо больше на дёгой просто потому что мы посмотрим на определение малого количество активных визеров вниз вот допустим мы сделаем с вами хитрые выборы и скажем что нет мы смотрим не июля сентябрь октябрь и так далее А это мы смотрим 30 дней соответственно каждый день У нас появляется что аж целая одна точка Правда же и то же самое здесь понятно что это группа компаний Ну очень редко смотрят дневной Правда же смотрят бывает Ну вот это наверное сам прийти поэтому тоже очень низкая как только мы идем и глубже у нас обычно появляется гораздо больше регулярность гораздо больше да соответственно используя Мы можем с вами не так ли теперь возникает вопрос В чем же здесь сходство я сам начале говорил про B тесты помните в чем здесь сходство вообще между и моделями машинного обучения вот такой Вы же уже послушали лекции про АБС послушали точно что знает прохождение пока что урок не вижу кто-то рискнет А вот есть пятый ряд предположение что там и там нужно много данных для лечения точности возможно и там и там нам нужно делить пользователей на несколько групп чтобы получить более правильный результат более подходящий нам я дам вам наводящие наводящий вопрос потому что действительно вопрос был довольно мутный Когда вы Какое вы как человек занимающийся машину обучением ваша задача модель сделать лучше при этом Вы хотите чтобы функция потери была сонаправлена и метрики улучшающиеся были сонаправленности которые в итоге хотите изменить это все понятно теперь когда вы обучаете модели обучаете ее не одну правда в чем сходство между процессом обучения моделей и выбора и об этом среди левой есть кто-то кто хочет тоже идеями поделиться подключиться Давай попробуем скажем то что можно предложить соответственно как модельки обучаться на какой-то определенный массиве данных так же и вбесте можно их выкатить на разные категории так то есть мы когда на самом деле обучаем модель Мы же между собой сравниваем кучу моделей кучу фичей кучу подходов даже в рамках одной модели могут уже одни фичена архитектура но разные функции потери Правда же собой сравним получается как только мы сравниваем мы проводим такой Fly на тест по-хорошему так и то есть мы модели когда сравниваем мы в идеале не должны сказать о этой модели например aug95 А у этой 96 значит это лучше Но мы же в abtc никогда так не делаем Правда Мы оба 30 строим какие-то двери интервала что-то еще что-то еще мы по факту Каждый раз когда подбираем какую-то модель мы ее сравниваем соответственно как только у вас есть модели по каким-то метрикам даже если они одинаковые вам все равно нужно решить Какая из них лучше Вы можете начинать их смотреть по прокси метрикам у вас становится больше Да это раз кроме вас больше данных Вы можете довольно надежно больше гипотез протестировать потому что какой-то момент когда вы начинаете про сравнивать модель с другой моделью вы сравниваете там 100 по 200 пар 300 значимые отличие найдется Или вы просто плюнуть поэтому у вас принципиальная сходимость схожесть между построением модели машинного обучения и поведение BTS заключается в том что финальная стадия выбора модели она не в своем роде Согласно с этим Но для того чтобы На каких метрах Кроме того смотрите Какая штука то когда-то обучала рекомендательные системы никто стесняются руки поднимать поезд кто-то обучал поисковый системы вот Представьте Вы у вас есть рекомендательная система в принципе проблема в том что если вы будете пытаться обучать систему чтобы она прогнозировала то что человек кликнул это имеет определенный на очень узкий смысл Почему Потому что как только начинаю показывать человеку что-то другое У меня есть допустим 100 фильмов Я знаю вот пожалуйста и может быть какие-то схожие вещи и скажешь на какие он еще но допустим ему показали до этого 10 фильмов он опять крикнул эти пять у нас остались выборки Но ведь нет никакой гарантии что мы показали 10 других фильмов он бы не кликнул на 9 Правда же То есть у нас тут принципе тоже сейчас говорят то что мы не в каком случае не сможем узнать никогда всеми эти которые мы считаем оффлайн они основаны на историческом поведении А как только мы запускаем новую версию которая показывает что-то новое она очевидно влияет на пользователя на его поведение и мы это вообще никак не учитываем что довольно согласитесь Вот это движение руками что могло вам понять я вижу по лицам что да я же не просто так его сделал то есть возникает довольно странная ситуация что мы смотрим по историческим данным пытаемся как-то изменить выдачу мы четко понимаем что Наша задача влияет на эти исторические данные хорошо мы не можем так сделать у нас есть вот это вот между вами но возможно существует какие-то другие которые мы способны посчитать оффлайн и не упираться только в условную в 10g релевантность и что-то еще Правда же или там каким-то образом просто пытаться учитывать метрики классические примеры Говорят нужно учитывать чтобы было разные выборка нужно учитывать вот это все но есть как только вы понимаете как у Вас одно завязано с другим вы не упираетесь в эту классическую проблему того что у вас изменения влияет на обстановку это обстановка у вас влияет на изменение вы еще дополнительно смотрит на эти прокси метрики пытаетесь по ним понять а то иначе так а мне доверсить и изменить а как не изменить как она у меня влияет она valte то есть до версии это просто какая-то разный выбор по какому-то критерию то есть вас с помощью этой карты метры открывается полноценный взгляд на то что происходит Увлекательная система будто какие-то даже классический фрот модели классических фрод моделях Ну допустим вы там учитесь Ну Представьте что ваша задача ловить Вы построили спам классификатор если клёво он имеет неважно метрику клевый при высоком риполе и все вроде Здорово Но на самом деле ваша задача при выходе спам модели это даже не спам побороть ваша задача это что пользователи был доволен если вас там не бесило модель которая гораздо лучше и он этого не заметил то тут возникает вопрос зря не зря А может быть даже чуть-чуть улучшить модели и резко перестанет что-то пользователя бесить и жизнь наладится и все станет замечать поэтому когда люди начинают операцию какую-то одну метку которую они могут посчитать потому что не видят взаимосвязи между другим приводит участок плачевным последствиям не знаю Поднимите руки кто не побоится бывало ли вашей жизни такое что вы какую-то систему делали по метрикам или все хорошо а в жизни она не взлетела или оказалось не нужно У меня такое было никто не понял А у нас есть какой-то приз который можем выдать лучший вопрос наверное нет предложишь Может быть ты напишешь о нем в своем телеграме об этом человеке Ну из офлайн офисов я еще думаю буду долго убирать А так стараемся мы найдем поэтому никто обижен не уйдет видите у вас если нет Четкого понимания структуры в голове довольно Сложно даже вот такую простенькую это Довольно простой пример игрушечный структуру согласитесь тяжело держать голове только у вас это есть вы понимаете так я здесь я влияя на этом не потом смотреть сюда неплохо посмотреть вот сюда потому что может быть у меня все с моделью Зашибись она здесь улучшает А здесь у меня все поломалась и стало хуже ничего не изменилось но модель на самом деле вытягивает из какой-то пропасти вы все соединяете в одну и соответственно изменениями Как правильно измерять метрики Метрика она вообще вакууме не живет Она всегда только начинаете понимать Вы начинаете обладать невероятной властью вас начинает любить продукты менеджеры и уважать окружающие смотреть с опаской на этом У нас остается что шесть минут чтобы ответить на вопросы теперь редкая возможность когда я вам буду задавать вопросы а вы отвечаете А вы мне задавать ребят поэтому поднимайте руки и спрашиваете у Валерия Кто хочет начать есть уже два вопроса Да спасибо большое за презентацию очень интересно было Вопрос такой если компания еще не выстроила свою систему метрик если какие-то модели уже запущены в продакшена они на что-то Работают но нет системы никакой и руководство к этому как бы особо не стремится Какие шаги лучше предпринять что в такой ситуации Лучше делать начнем с конца Почему руководство куда-то не стремится потому что не понимает ценность но я с трудом верю что существует руководство которое которое регулярно не ругается на инженеров дата-сантистов машин Вернер говорят что эти ребятки делают непонятную какую-то штуковину и вообще зачем влияет и кого повысить занимает время построить прежде чем строить надо понять А вы попадать в категорию что вас повысили который откажется от возможности понимать что реально происходит Окей есть второй вопрос Здравствуйте Валерий Большое спасибо за доклад в целом как бы вошли играм смотрю классно все информирует Спасибо большое и вопрос по сути доклада полностью согласен утверждениям что метрики должны сверху донизу быть понятными прям до реальных процессов прослеживаемой и в этом плане вот ну я сам как бы без аналитиков там подход фон шэра сейчас в десятых классический bpm процессорное управление вы строите бизнес архитектуру модель компании информационная где ещё ходит из неё же метрики аналоговая даже в Экселе всё это делается и уже на базе них зазывать дата саннитистов чтобы они уже ими игрались даже борда прямо у генерального Вот это хорошо или плохо и как учить бизнес аналитиков в таком подходу возможно какие-то промежуточные дисциплины между ppm и вот тем что чем занимаетесь Спасибо Это хорошо Это хорошая практика тут Существует несколько подводных камней потому что как только есть наблюдение что как только Метрика становится целью она через некоторое время перестает быть хорошей метрикой потому что начинает оптимизировать уже эту метрику это классическая история когда еще по моему это Снейк эффект змеиный эффект когда британцы в Индии попытались от змеи избавиться и стали платить деньги за убитых змей чтобы их было меньше Но индусы не дураки начали змей разводить понятное дело хватит значит делаешь разводишь и приносит тебе платить деньги ну реально бизнес то есть любой метрику можно забить Как делать в целом На мой взгляд этим и должны заниматься став аналитики часто возникает вопрос понятно кто такой джун аналитик Кто такой мидол аналитик кто такой сеньора Кто такой стал Вот это став это человек который может совместить несколько команд воедино обвести Со стороны это все склепает А уж как его назвать там бизнес став дата аналитик системный аналитик став дата сантехно это уже в каждой компании вот это как раз и есть уровень когда человек уже уходит за пределы своей команды и начинает сходить воедино процесс в рамках какой-то организации компании или Группы компаний Был ли третий вопрос или ответил Да был еще один вопрос на самом деле минуты попробуем быстренько уложиться Да отдавали Еще раз спасибо за классное выступление хотел спросить ты говоришь но ты можешь надеюсь ты говоришь что можно построить модельку и показать менеджмент у кого стоит ольца кого стоит повысить зарплату Какой шанс или процент того что Тачка все же кажется не на того человека шанс такой всегда имеется То есть никто же не мешает построить неправильную карту вы говорите что это продажи мороженого влияет на температуру окружающей среды банально меняете классический пример причинно-следственных связей в целом поэтому есть такая вещь как обратный эксперимент слышали наверное обратный эффект ваша карта метро должна быть надежной у вас должна быть какая-то причина следственная связь обратно направление может существующего Но это повод начать что-то проверять делать обратно эксперименты дополнительное время потратить на специфические команды Отлично я думаю Спасибо большое за вопросы и тут мы поблагодарим Валерия за выступление