Илья Красинский | AI-агенты, продуктовые метрики и рост бизнеса transcript

[аплодисменты] И я дополню, худшее, что сейчас можно сделать, оставаться один на один с компьютером, не общаться с людьми, потому что мы сегодня будем это разбирать. Мы правда очень мало видим того, что происходит. А даже несмотря на то, что последние 15 лет я придумал свою стратегию развития заниматься перекрёстным плению, неделю я вижу шесть-7мь кейсов постоянно, либо коммьюнити-менеджер каких-то коммьюнити европейских, а ребята в Америке, штаты со мной консультируются, Лондон, Испания, Россия, Казахстан сейчас, а это всё очень плотная нетворксеть, поэтому вы не можете изобрести сейчас всё, что происходит. Вы не можете физически уйти всё, что происходит. 4 года назад, когда я начал заниматься, э, AI, как-то понял, что это будет большая история, а я успевал смотреть и обзоры на научные статьи. 3 года назад это стало уже невозможно. Я успевал следить за какими-то людьми, репозиториями в полуручном режиме, там Twitter, читатель КиID и так далее. А сейчас, ну, я вам покажу один, а, один из скилов, один из гитхабов, Last 30 Days. Даже с его помощью я не успеваю следить. То есть AI готовит мне сари дайджесты. Даже был момент, когда я на ночь ставил, кто-то, может быть, вас помнит Book был такой сервис, где агенты, ну, общались друг с другом. Вот у меня каждую ночь бегал туда агент, вытаскивал хорошие идеи, которые надо оттуда скопировать и за ночь у меня внедрить. Я не успеваю. Слишком большой темп. Это невозможно сделать. Какие-то вещи, которые я сегодня буду показывать, а мы буквально на прошлой неделе обсудили, уже сделали что-то. Вот. Я надеюсь, Юра мне скинет, и мы там, может быть, после обеда посмотрим. Буквально я был здесь какое-то время назад, месяц назад, вкинул несколько идей, ребята сделали там штуку, которую мне самому очень интересно увидеть и так далее. Хорошо. Поэтому акселерация, любые точки, где идёт нетворк, любые точки, где люди делятся, обмениваются экспертизой, критически сейчас важны. А если кому-то хочется книжки почитать классически на эту тему, мы живём в эпоху Торнадо. Есть классическая книжка Мура. Мур - это один из, ну, лучший книжки по страке в digital продуктах. Книжка так и называется внутри Торнадо. Мур описывает, что происходит с рынком, когда идёт смена поколений, смена эпох. Мне кажется, я про это немножко могу говорить. Когда я выстраивал свою карьеру, а первая волна была- это был интернет, поэтому у меня было интернет-агентство в Самаре. Слава богу, у меня больше нету интернет-агентств в Самаре, но она осталась моего партнёра. Это там одно из топовых интернета-агентств Самары. Но я очень хотел делать продукт, очень хотел делать, да, немножко покажу слайдики. Сейчас я много для вас слайдов, кейсов приготовил. Ну там что-то можно про меня почитать, >> да? >> Ага. Надо учитывать, что у него чуть ресайз идёт, да? То есть он не обрезается. Вот так вот, наверное, надо делать, да? А там что-то можно про меня почитать. Когда появился интернет, я понял, что это большая тема. Ну, как понял, я тогда был не очень смышлённым молодым человеком 20 лет. А, но я очень быстро понял, что я хочу делать продукт. Тогда ещё не была история про продукты. И достаточно быстро, мне просто повезло, мы в аутсорсинг компании работали, которая пробовала делать продукты в Штаты, в Англию. И после первого клиента, которому поехали в Англии, у меня был такой шок, потому что я вроде учился, я был один из топовых дизайнеров Самары, у меня были хороший артдиректора, была хорошая школа, а в плане там художественная школы, дизайн-школа, я программирование понимал, как устрой. То есть у меня в целом были уже знания, ну, неплохие на тот момент времени. Но оказалось, когда я вот к реальному клиенту приехал, что он пользовался продуктом, который я спроектировал 2 с по года, вообще не так себе представлял. Тогда я понял, что мне надо как-то всё-таки получать обратную связь. много тому, чему меня учили, пришлось пересматривать. И это был, наверное, первый такой важный кризис, потому что пересматривать мои предыдущие знания всегда тяжело, да? Насколько вы сильно цените ваш опыт? Ну, от одного до десяти насколько сильно его цените? >> Мм, >> хороший вопрос. >> Хороший, да. Почему так? Обычно люди ценят свой опыт 7 8 9 10. Почему так? Ну, во-первых, мы его не будем обесценивать. Ваш опыт вас привёл в текущую точку. Мы ему скажем: "Спасибо". То, что вы умеете, то, что вы получаете - это ваша текущий опыт. Правильно? Это хорошая сторона опыта. Плохая сторона опыта буквально означает, что ваш опыт - это фильтр. Вы выбирали какие-то компании, каких-то людей. Вы сейчас выбираете какие-то компании, каких-то людей, выбираете какие-то технологии. А то, что мы с вами делаем в IT, а сейчас всё стало digital, всё стало IT, на самом деле люди много раз делали в разных дисциплинах, разных сферах. И после Channel 4, я понял, что я не самый умный человек на свете. Я понял, что надо учиться и постоянно переучиваться, потому что есть много большого количества других людей в комьюнити, в тусовке. Слава богу, они меня отводили в сторону, говорили: "Красинский, без деф делается вот так, не тупи". Маркетинг делается вот так, управление продуктом делается вот так. А у меня хватило мозгов их слушать. Поэтому то, что я вам рассказываю - это история тысяч людей, которые на меня в том числе повлияли, повлияли на ребят в коммьюнити, а на большой число людей повлияли. И каждый раз, каждый раз кратный рост происходил, когда я вот этот опыт брал, не я не прошу вас его удалять, я не прошу вас его сжигать, но чуть откладывал в сторону. И вот уже 15 или 20 лет моя такое кредо внутреннее. Я знаю, что почти всё, что я делаю, можно делать по-другому. Почти всё, что я делаю, можно делать совсем по-другому. Потому что мой предыдущий опыт, а мы будем сегодня про это с вами говорить, как другие компании внедряют AI. И вот вам вопрос. Как вы думаете, как другие компании внедряют AI? >> Рядом сбоку приспёку, как свистел к текущим процессам. Компаний много. Компаний, правда, много. На данный момент давайте я цифры покажу. Вот к прошлому приезду я попросил иагента вот такую штуку построить. Это число компаний, которые Я не помню часто людей в этих компаниях, но я хорошо помню цифры и метрики. Там спросите меня flлаувау разных годов, я вам цифры назову. Яндекс-музыка, я вам цифры назову, Яндекс-маркет, я вам цифры назову. Там, не знаю, продукт Сбира, ВК, маленький стартап акселераторов. Я большинство цифр помню. Ну, профдеформация, да, немножко контуженный. В среднем я отсматриваю по шесть-восемь кейсов в неделю. Ну, иногда 2т-четыре кейса в неделю. Почти всегда это связано с циферками, метриками, юниткономиic, когортами. Ну, тут у меня есть нечестное преимущество. У меня есть рик, который в промышленных объёмах ворует. Ну, как ворует? >> А, да, сейчас я попробую объяснить, что я имел в виду, когда я сказал воруют. Данные, конечно же, наших клиентов. Для нас они безличны. У меня там нет никаких персональных данных. Я ничего про это не хочу знать. Но по факту мы собираем ДНК компании, мы собираем, что реально работает в бизнесе. Я это придумал себе в 19 лет, как раз тоже после chann. Если я вижу на метриках, какие лендинги работают, какие не работают, какие формы регистрации работают, какие не работают, какие а формы оплаты, мы сегодня про это будем говорить, какие процессы в ЦРМК, какие процессы в маркетинге работают или не работают, то я могу лучше понимать, что делать, что не делать в индустрии. И это уникальный набор датасетов, которые, ну, кажется, сейчас мало у кого есть. А почему мне это было всегда интересно? Потому что тот самый опыт и много опытов потом приучили меня, что мы очень гордимся дизло, что мы с вами эффективны. Правда ведь? Ну, в отличие от оффлайна, мы вообще очень любим, насколько мы эффективны. И это правда так. Основная проблема заключается в том, где вы проведёте bottom linй. Если вы его проведёте вот тут вот, то мы достаточно эффективны, потому что здесь много компаний, правильно? А если мы её проведём вот тут? А если мы её проведём вот тут? Мне сегодня придётся дать некоторые основы юнит экономики и показать, как устроены бизнес с точки зрения цифр, потому что иначе у нас не получится глубокий разговор. Но кажется, то, как мы были эффективны последние 5-10 лет и выстраивали под это всё процесс, сейчас придётся пересмотреть. Точнее, так. Это не будет осознанно вашим решением, что вы это пересмотрите. Мы знаем, как это происходило в прошлый момент. Большие эпохи изменений. Интернет, мобильное приложение. Сейчас и я. И Да, вы помните свою жизнь до смартфонов, когда мы ходили в магазин, когда мы, ну, я помню, как я умел машину вот так вот ловить рукой, у меня был скилл торговаться. Помните, такой очень был полезный навык, как мы встречались с людьми. А, ну вот не все здесь, я думаю, после 2000 года рождения, ребята, не все это могут помнить уже. Вот как мы встречались с людьми у какого-то памятника в нужное время. Кто ещё это застал? Да, это на наших с вами глазах произошло. А когда я смотрел фильм Матрица, мне казалось, что это научная фантастика или ненаучная фантастика. А сейчас мы буквально загружаем скилы, создаём скилы и загружаем их условную Тринити. Я сейчас при вас это буду показывать, да, и при вас это буду делать так, чтобы, ну, вот она ещё вчера не умела что-то делать, а сегодня уже может. Вот как оператор загружает скиловую матрицу. Ну, на фоне войны дронов тут вообще могут что-то задуматься, что и Терминатор, оказывается, был документальным фильмом. Вот. Но это такая шутка, скорее. Надеюсь, эта веткатехнологии всё-таки не будет так хорошо развиваться. А, да. Вот, соответственно, мой первый спич, он идёт про то, что это нормально пересматривать свои знания каждые 20-30 лет. И они не пересматриваются обычно за счёт того, что вы их пересматриваете. Или ваш топ-менеджер, который не хочет меняться, пересматривает или какие-то разработчики не хочет пересматриваться. Человечество много раз пересматривало свои знания, например, в физике, в математике, как идёт смена парадигмы. Очень просто. Те люди, которые придерживают старой парадигмы, очень редко от неё отказываются, потом они умирают, и другие люди приходят уже снова парадигмой. Как это происходило в компаниях много раз. На моих глазах за последние 10 лет, а на таком большом кейсе я могу, ну, десятилетний нстичт исследования делать на данных. Вот, например, сейчас он подгрузится немножко. Так, нам надо как-то сделать, чтобы он помещался у вас на экране, потому что не совпадают размеры экрана. Ага. А, ну вот где-то здесь будет четырнадцатый год. Вот в этот момент начались программы диджитализации в разных большом числе компаний. Начали вкладывать очень много денег и начали нанимать очень много разработчиков, банки, разные крупные компании, что вот это всё получилось. Как вы думаете, насколько сильно выросли метрики большинства банков либо страховых компаний, либо крупных компаний, которые делали программы диджитализации? Насколько они улучшили свои метрики продуктов? в худшую сторону. Многие из них. Как вы думаете, почему они нанимали много разработчиков? >> Да, всё верно. Они нанимали много разработчиков, разработчики пилили много фичей, но оказалось, что у нас нет такого количества грамотных продукт-менеджеров или вообще менеджеров, которые понимает, что нужно делать. Но так как у менеджера есть каждую неделю или каждые 2 недели планёрка и подавляющее большинство менеджеров испытывает стыд, если они к ней придут неподготовленные, то они впихивают всякую команду разработки. А вот вам цифры. В 2016 году Альфабанк у меня была вся их бегдата. А-а, круто. Выросли по метрикам, сделали нужные вещи с минимальной разработкой, устраняли проблемы в регистрации, метрики выросли. Но вышел отчёт одного консалтингового агентства, что Альфабанк находится на четвёртом месте по количеству фичей среди банковской, ну, других банков. И мне сказали: "Люх, всё о'кей, продолжаем всё делать, но сейчас у нас будет 3 месяца военный бэклок". За 3 месяца они напилили 74 фичи, восемь продуктовых команд. Вы понимаете, это же невозможно протестировать, правда, ведь? Ну, это всегда тестируется с браком. Это просто многокода созданного. Это были опытные ребята. Как вы думаете, куда они запихивали эти фичи, чтобы пользоваться с ними не столкнулись? >> Раздел помощи. >> В раздел помощи и в чатик с оператором. Через 3 месяца они успели к отчёту нового вот этого агентства, которой давал отчёты конкретно топ-менеджменту. Вам это же правда смешно, >> да? Ну вы понимаете, да? Это это невозможно придумать. Ну, типа я не я не знаю, жизнь лучший драматург в том смысле, что ты редко можешь придумать такую чушь и дичь. Так вот, а через 3 месяца вышел новый отчёт. Как вы думаете, на каком количе на каком месте находился Альфабанк? На том же четвёртом. Другие банки тоже читали эти отчёты. Их топ-менеджмент тоже говорил: "Мы отстаём". Вот вам цитата из Белайна. А-а, у меня данные Белайна всего были, и там очень мало людей доходило на мобильном приложении до экрана пополнить счёт. А как вы знаете, и у не всех этих операторов до сих пор решта на проблема. Это там восемнадцаты двадцатые года ещё идут не так давно, на самом деле. Аа когда у тебя заканчивается интернет, далеко не всегда ты можешь зайти и пополнить интернет через положение оператора. Все с этим сталкивались? >> Это, ну, я не буду материться, но вы знаете, какое слово хочу сказать. Эта проблема обсуждается 10 лет. Тоже не то чтоы там дураки работают. Почему она так тяжело решается? Потому что в компании есть большое legси. Конкретно у Белайна есть два биллинга. Один отвечает за минуты, другой отвечал за интернет, коммуникацию. Их пилили разные аутсорс команды. Аутсор команды тоже не дураки. За каждый чедрк, за каждое изменение они выкатывали и конский счёт. Поэтому склеить эти две модели билинга было очень сложно. А и вот там был такой Михаил Юрьевич Слободин, честно можно сказать. Он из нефтянки пришёл. Гениальный, гениальный SEO, просто великий человек. Великий человек. У нас было очень эффективное совещание на 40 человек в Билане, весь топ-менеджмент. И вот двух экспертов с рынка пригласили, меня и только Шерифулина. 2 с 12 часа Михаил Юрьевич Слободин рассказывал, как космические корабли стратегически должны поразить пространство. А в какой-то момент времени, а, у меня все цифры на компьютере были, и я в какой-то момент понял, что если я хотя бы одну цифру назову, я подставлю всех участников этого мероприятия, потому что число людей, которые доходило до экрана кнопкой купить, было очень плохое. В какой-то момент времени удалось там урвать слово. Я объяснил, что вот у вас есть активация, первая сессия, там только 100% пользователь, дальше пользователи отваливаются. Михаил Юри Слободин, я же говорю, гений, он всё понял сразу же. А как и положено топменеджер, он принял быстрое, эффективное решение. Он придумал новую метрику. Он понял, что первый экран очень важный. И метрика звучала следующим образом: стоимость одного пикселя первого экрана Билайна, >> одного пикселя. и потребовал, чтобы все дизайнеры, когда рисуют иконки, в обязательном порядке указывали стоимость, которую они на иконке потратили. Вам смешно, надеюсь? А через два Зачем? Такие вопросы не задают в приличном обществе. В смысле, зачем? Ну, гений же вещает. Аа на всякий случай я не самоутверждаю здесь, я точно также совершаю ошибки. В прошлом году, поверь в Sолон Enterpreneur, продолбал 150.000 долларов на вот Sолопene продукты. Поэтому это как бы не история про то, что мы все такие умные. Я буду показывать, как система работает. Через 2 часа Михаил Юрьевич Слободин сказал: "Ладно, я пойду по работу, а вы тут и ушёл закат. И после этого началась реальная работа". К чему это всё рассказываю? Можно считать это всё придрю и дурью. Можно всё это считать, то как, ну вот какие-то неэффективные руководители идут. Но я постараюсь вам сегодня показать, что это системный эффект. Этот системный эффект проявляет себя неизбежно не только при работе с руководителями, но и при работе с агентами. Это потрясающе, любопытно смотреть. Каждый, кто уже делал оркестрацию агентов, в среднем у меня обычно 5-10 агентов в чате каких-то запущено. Они субагентов вызывают одновременно. Порядка п сугентов что-то делают. Даже сейчас с вами общаюсь, по-моему, там один-два ещё не остановились, что-то херачит. Харнс что-то там переделает, у них какая-то цель есть. Ну, как бы в целом никто не против, пускай работают. Так вот, а когда вы занимаетесь оркестрацией с агентами и когда вы просите их сделать какие-то задачки, особенно если вы, а мы сегодня будем разные хаки и приёмы и скилы изучать, особенно если вы просите коммуницировать с другими людьми или коммуницировать друг с другом и передавать задачки из чата в чат друг другу. Так можно делать, это не сложно. или оркестрировать одновременно, когда у вас целый пул агентов есть, так тоже можно делать, то это выглядит как работа команды в миниатюре. Почему я вам это всё рассказываю? У нас есть с вами следующая проблема. Почти весь ваш опыт в некотором смысле мы отложим чуть в сторону в коробочку, потому что одна из вещей, которую я хочу вам показать и доказать на цифрах, если честно, это цитата из Андрюхи Дороничева. Андрей Доронив просто очень хорошо формулирует, поэтому не могу не удержаться. А он создал мобильный YouTube. Я надеюсь, вы знаете, кто это такой. Правда, культовый человек. Мне повезло, что он у меня учился. И он был одно время моим ментором. Я у него учился. Андрей, ну он клёвый. Так вот, он правильно говорит, что, ну, вы все теперь топ-менеджеры, не дизайнеры, не менеджеры, не предприниматели, не по одной простой причине. Ну, это версия Андрея. У вас у всех есть команда агентов или скоро будет команда агентов, потому что в целом сейчас нету ни одной задачи, которой я не делаю в клоде или в кодексе. Вот иногда в фиг захожу, потому что у меня туда старые слайды идут, и медленно их перевожу в клод и кодекс, чтобы он там это всё сверстал нормально, потому что я не хочу больше по-старому работать. Андрей говорит про вас топ-менеджеры. У меня сегодня будет вторая метафора. Ну, либо матрица, либо Хогвартс. А тем то, что мы с вами делаем с агентами, отличается от уроков заклинания. Мы пишем какие-то слова. Многие из нас не понимают, что эти слова значат. Я попробую сегодня всё-таки магию разоблачить и расскажу немножко, что там внутри устроено, как агент на самом деле работает, что такое матрица внимания, что на самом деле означает ваш промт и почему промт у одних людей приводит к кратному росту результату, а другие пробуют что-то сделать с агентом, ни черта не получается. Но ведь по большому счёту мы правда делаем заклинание. Мы берём какой-то текст, превращаем его в гипотезу. Гипотезу превращаем в картинку, картинку превращаем в код. А вот я делал презентацию, да, я написал тезисы, потом мне собрал HTML-страничку.

HTML-страничку он не просто так собрал, он сначала написал структуру, некоторый ямал документ, из которого рендером собрал HTML-страничку с дизайн-системой. Я туда попросил ставить интерактивные элементы из наших каких-то других продуктов. Я сейчас вам кое-что покажу. А и Но это же магия. Потом он это превращает всё в PDF или в другой вам удобный формат, да, трансфигурация, как вот называлось это в Фогурте. Ну, в общем, что-то типа такого. Топ-менеджеры, магия самоучки. вот примерно, как вам придётся себя называть. Потому что одна из проблем у нас теперь явно идёт кризис специализации. Это пока тес закидываю. И вот такие профессии, как дизайнер, маркетолог, менеджер, продукт и разработчик, по меньшей мере сильно смешиваются. Как в своё время это произошло с профессиями такими. А оператор, который на клавиатуре печатал, помните, печатные машинки были или телефонист, который провода вставляла, или мало из вас кто помнит, был одно время такой специалист по поиску в интернете, когда только появились поисковые системы, даже конкурсы проводились как-то хорошо уже в интернете. Но это достаточно странно сейчас, да, это просто базовый навык для всех. Вот примерно то же самое происходит с агентами. А одна из задач, которую я хочу сделать - это базовый навык, даже не только на для вас, а для компании. Ну хорошо. А последнее из предисловий. Пойдём немножко про кейсы говорить. А первое, значит, смотрите, ну, эту карсунку я просто очень люблю. Теперь я её постоянно вставляю. Я к своему стыду только через какое-то время узнал, что здесь происходит. Вот Neo здесь не просто пече, я не понимаю, почему печенька, это авторизационная куки. Здесь идёт клиент серверное взаимодействие.

Neo, принимая печеньку, разрешает Пифи в него загрузить программу избранного. Вот в этот момент всё происходит. И поэтому он там себя чувствует, не чувствует. И, соответственно, примерно то же самое сейчас договорим сделать с вами. Какие-то вещи, если я буду говорить вам контрунтуитивно, которые противоречат вашему опыту, зац'кей. Во многом это сделано специально. Просто задавайте мне вопросы в формате нашей беседы. Я не могу рассказать всё и показать всё, учитывая, как быстро всё меняется. Достаточно экспериментальный формат воркшопа. Он ещё не обкатан. Обычно как было? Там ты делаешь воркшоп и его обкатываешь какое-то время, он становится как стендап такой выложенный, выстроенный. Не ждите этого. Сейчас всё так быстро меняется, что Ну, но что точно у вас будет? а-а, некоторые структуры, я уже попросил агента, он уже вам написал по мотивам этих сегодняшних презентаций, некоторый план действий. Я посмотрел, на первый взгляд неплохо.

Outcome дизайнер. Расскажу, как это работает. Вам тоже его покажу, чтобы у вас что-то было. Мы запись ведём. Я надеюсь, у нас после записи будет транскрипт. Её, ну, в смысле, нам видео кинут, мы скинем транскрипт ещё через агентов прогоним, чтобы у вас тоже были тезисы, потому что сами вы это всё не запомните. Это невозможно сделать. Да и не надо. Ваши агенты многие детали, вещи расскажут лучше, чем я. Главное в них погрузить контекст. А дальше, кому будет интересно, получат гораздо больше полезной информации уже при общении с агентами. Добро пожаловать в прекрасный новый мир. Я не знаю, к чему это привезёт, но точно будет весело. Угу.

[аплодисменты] Да. Ну супер. Да. Так, с чего мы с вами начнём? Ну вот, эта некоторая схема уровней развития в компании. Опять-таки, естественно, рисовал агент. Я в него тексты, тосы вкинул. А на основе чего эта схема написана? А мы сейчас будем с вами кейсы разбирать. Она написана на основе реальных данных, потому что мы сейчас собираем в промышленных объёмах. Все зумзвонки транскрибируются, транскрипт автоматическипадает в мой GitHub. Все Telegram-чаты, переписку я не подготовил к нашему сегодняшнему разговору, но может быть в обед я запущу и покажу вам какой-нибудь граф по этим чатам перепискам. Например, оттуда очень интересно видеть, кто является узким горлышком в любой компании, через кого проходит коммуникация, кто является блокером, а кто является косипором и от кого задачки, попадая к нему, просто извращаются и переделываются и становятся бессмысленными. Не уверен, что я это сегодня смогу запустить, но это как бы то, что мы регулярно делаем, это уже не новость. Я вам покажу сегодня, как мы анализируем все звонки а продажцов, селзов, а как разбираем, что там с ними происходит прямо оттуда, как пишутся гипотезы. И узкое место вообще сейчас стало не в диагностике, а в том, что компании не хотят меняться или меняются очень медленно. Про это мы тоже немножко поговорим, как ускорять изменения. И вот как раз про этот слайд, потому что по большому счёту задача не только вам научиться это всё делать. Если вы научитесь локально использовать агентов, ваша КПД очень быстро упрётся в потолок, как людей, которые работают рядом с вами, потому что вы увеличите свою пропускную способность, но вся система вокруг вас, весь ландшафт, весь граф связи вокруг вас будет вас тормозить. А у кого уже этот эффект есть, кто его уже чувствует. Угу. Достаточно много, да? достаточно много. Поэтому, а, мы будем учиться запускать вирус изменений в компанию. А я это называю учиться не писать против ветра. Ну, потому что многие из нас такие гордые стоят, говорят: "Вот они не хотят меняться, а я герой, знаю, как правильно, но я приходил, говорил, как надо всё поменять, меня не послушали, я уволился, работаю в другой компании". В целом задание занятие почётное. Стоишь весь гордый. Дартаньян, но просто это не единственный способ запускать изменения. Например, можно запускать изменения ни с кем это не обсуждая. Если что, я вам разрешил. Можете на меня ссылаться, я буду крайним. Просто берёте и делаете. Хорошо. Ну и последнее. А мы сейчас будем смотреть. Объясните мне, пожалуйста, 90% нашей работы - это проектная деятельность, правильно? Вот такая звезда смерти. Почему мы так работаем? Ага, съехало немножко. Спасибо. Ну, классика жанра, да? Бешеный энтузиазм. Сейчас очень много энтузиазма на тему агентов. Я сейчас приду, к чему он приводит. На цифрах и метриках покажу. Хаос. У кого уже в компании хаос внедрение агентов? Все что-то делают быстро, весело, бодро, как очень много энтузиазма, очень много разной бурной деятельности. А выхлоп где? Ну, я вам скажу, я просто за этим уже наблюдаю полтора года. Наверное, сейчас безн компании обойдёмся. Ну, самая типовая история это, ну, давайте так. Всем известный производитель софта для разработчиков, всем известная компания для занятия SEO, банки практически все. А-а, за исключением Тбанка, наверное. Ну, простите, казахские банки я не очень хорошо знаю ещё пока. А там, ну, практически вот все компании, которых есть достаточное количество разработчиков, либо пилят свою лэмку, конкурируя с кодексом, либо адаптируют китайские лмки, либо пилят сем или 9 месяцев какую-то внутреннюю систему именеджмент, который всё ускорит, но которую до сих пор никто не видел. Ноль внедрений. Как вы думаете, почему? >> Сопротивление внутри компаний. >> Ну они же пилят. Какое сопротивление? Им выделили бюджет, они сидят, пилят. Да они же не поменялись. Они пилит лмку сами, ни черта не изменив. Они как работали в прошлом большими, длинными сложными проектами, так сами не поменялись. Весь их предыдущий опыт говорит: "Нам дали бюджет, нам дали год-два, пилим. А что, зарплата идёт? >> Презентации показываем, внедрение ноль." Чем заканчиваются такие проекты? Тоже известно. Опять-таки, я это говорю не просто так, я говорю это на цифрах, на статистике, на кейсах. А крупный интернет-магазин одежда за последние полтора года запустил девять проектов по улучшению конверсии. Как вы думаете, чем это закончилось? А тесты проводил. >> Конверсия упала, да? Ну они пришли, пять вещей починили, 10 вещей сломали. Ну, например, у них эсэмэски отвалились, например, регистрация усложнилась очень сильно, например, баги в дефекты появились. Давайте я вам напомню определение разработки, в том числе и вайп-кодинга. Это долгий процесс. Теперь резко ускорившийся для первого прототипа очень долгий до отладки. В результате которого вы получаете не то, что заказывали с багами, дефектом в три раза дольше, в два раз дороже. Да, если мы мерим не потому, что мы что-то делали, а потому что мы получили результат, который работает, пока вы спите. Вот оказалось, агенты очень легко делают первую часть, делают какой-то прототип, а вот отладка, чтобы это было хорошо, стабильно работало, когда вы спите, не создавало инцидентов и проблем, она очень большая. Ну давайте на циферках это всё посмотрим. Действительно, я на данных, мы сегодня будем смотреть на мультифлоу диаграмму, и я буду показывать, как это работает. Я на данных, давайте я чуть поменьше сделаю экран, чтобы у вас помещалось всё вот так вот видно, да? Ну, вроде да. А мы на данных видим, что команды ускорили количество деплоя, количество релизов какого-то, но они это называют фичами. Я специально так серьёзно говорю. У кого в компании ускорился выпуск всякого нового функционала для пользователей? За что вы так не любите своих пользователей? Что они вам такого сделали? >> Да, давайте про это немножко поговорим и задумаемся. Опять-таки, ну вот у меня там в сентябре будет курс прох herс. Там я на кейсах регулярно. Мы просто разбираем кейсы, юнитэкономику, метрики. И есть очень простая связь. Чем больше фичей, тем сложнее продукт, тем ниже активации него, тем ниже конверсии. Очень простая корреляция. Много лет уже существует. Почему за видным упорством компании продолжают пилить фичи? Это не новая новость. Она была в 2008 году сформулирована Стивом Бланком. Все акселераторы штат Вайко Комбинатор Hry Startups как бы полг. Ну кучу людей про это говорили. Там когда у нас ещё была акселерация во фри. А первое, что мы делали, говорили: "Ну слушайте, прекратите пилить этоно, давайте упрощать продукты, а не усложнять их". Этой мысли 15 лет. Статистически мы это знаем. Это главная причина, почему 95% стартапов проваливаются. Ну, компании разоряются не потому, что они не смогли сделать продукт, а потому, что они не смогли получить достаточное количество пользователей, точнее, платящих пользователей. Внимание, вопрос. Кто просыпается с утра с мыслью: "Мм, хочу пойти поизучать новую фичу в каком-то продукте". Там будет не понятно.

[фыркает] Надо будет понять мысль, которая была у продукта дизайнера или разработчика. Наверняка клёво. Я сейчас захожу в банкое приложение "Перевод сделать, а мне тут попают во всё лицо". Не буду делать перевод, пойду поизучаю, какое они опять напилили. Я давно этим не интересовался и не занимался. У кого такое бывает? >> Вы ненормальные. Вы в пятницу Нет, здесь несколько людей подняли руку. А вы в пятницу слушаете меня про нейтив агенты. Давайте я им обычно нормального польса опишу, напомню, что такое состояние нормы. У него дети есть, семья. На выходных он хочет их увидеть, поиграть там с ними, в 6:00 вечера закрыть ноутбук, компьютер или свою работу, уделить время семье, пиво посмотреть, там попить футбол, посмотреть. Вы не норма, вы не ваши пользователи, не репрезентативны, как раньше было на кндексе написано. Так вот, правда, есть такая корреляция. Мы сейчас опять-таки на цифрах это увидим. Что дальше происходит? Ну, количество фичей изменений в продукт становится, правда, сложнее. Узкое место никогда не была в фичах. Узкое место всегда была в пользователях, потому что пока он не активировался, не понял, какую ценность он получает и не начал это использовать, нету мотивации вам заплатить. Ну, она может быть на шару, если купить, но тем не менее. Соответственно, смотрим, что мы получаем тут. Вот вам метрики, ну, бла-бла-бла. Вот циферки.

[фыркает] Табличка с циферками, да? Смотрим. достаточно крупно видно. Практически по всем продуктам мы видим такую штуку. Практически по всем. А это настолько важный способ. Раньше мы считали воронки, помните воронки продаж. Я заодно буду рассказывать, что аналитика не будет прежней. Краткий ответ. Почему? Раньше мы не могли посмотреть миллионы польсли, поэтому строили всякие суммаризаторы, всякие такие штуки, которые скрывают детали реализации, да, и превращая многосложное поведение польс или воронку продаж. Другого способа люди не знали. Ну, последние 10-15 лет уже появились другие способы. Не все про них знают. Почему так делали? Невозможно было отследить траекторию каждого польса все его события. Мы сегодня будем смотреть на граф, там 2,3 млн событий, 23 млн пользователей. Вот вы как их глазками отсмотрите? Вы визор будете смотреть? Ну мы иногда читали логи, иногда читали события. Ну там сотню человек ты посмотришь, да? А теперь мы можем по каждому пользу безличному смысле. Я не хочу ничего знать про его жизнь. Мы можем понять, что он как делал, до куда дошёл. И вот смотрите, что мы видим. Мы видим, в начале у нас 91-94% людей, но уже на первой сколько-нибудь значимой фиче открыл просто этит. Это приложение для создания ботов Facebook, Telegram. Одно время было лидером рынка во всём мире. Без имён дальше обойдёмся. Вот. А 55% только были на экране с одним плагином. Нельзя создать бота автоматического без этих экранов. Просто нельзя. Вот, например, set variable editor - это способ задания переменных в боте, чтобы, когда кто-то написал в Facebook, бот понял, что можно вытащить имя человека, либо какой-нибудь ему квиз предложить, либо какому-нибуд сценарию повести. В принципе, нельзя сделать бота. И что мы видим? 2,7% людей хотя бы один раз были на экране, где эта штука задаётся. Как вы думаете, почему? >> Пользователям сложно. Узкое место всегда были наши пользователи, что B2B, что B2C. Это ограничение. Люди очень медленно потребляют информацию. Люди очень медленно меняются. Я не просто так вас спросил про ваш опыт. Вам тяжело отказываться от опыта. А кого? Людям, которые 20 лет разработки, например, посвятили. Или человек, вот я на дня тут ехал с таксистом, он когда-то в фотошопе работал. Вот сейчас думает, что ему делать прямо буквально. Я ему прямо на телефон поставил чат GPT и Клод. Ну и там промпт написал какую-то программу развития, как в IT попасть. И чего? Ну ему сложно. Ему правда сложно. Если кто-то из вас видел, как ваши родители или чуть-чуть там люди, ваши друзья и коллеги пользуются компьютером и пользуются телефонами, а кто вот прямо смотрел, там же там же много проблем. Большинство людей при слове регистрации, авторизация знают, что они забыли пароль, не смогут войти. Мы сейчас в цифрах это опять-таки всё увидим. Это сложная вещь для подавляющего большинства, а тем более какие-то фичи. Теперь задумаемся ещё дальше. Это ведь безумие. Ну вот есть сейчас такой стеймент, утверждение, и мы его сейчас тоже попробуем доказать с вами в цифрах. Классический САС сейчас умрёт. А зачем мне это надо? А почему я не могу нанять проактивного агента, которого не я? Вот вот мы вчера кейсы разбирали, тут лендинги мы разбирали, и там интерфейс, где надо ввести а какие-то данные про меня, там надо что я хочу написать, пром написать. Ну это же бред. Ну вот у меня есть, например, отдельный продукт. Мы берём фаундеров, вытаскиваем из интернета автоматически все их выступления, интервью. Ну, если хочет фаундер там продажи СЗО своих докидывать или что он говорит, нам нужен цитаты фаундера. И каждую неделю пишем три поста в линке, которые дают ему показы, импрешные просмотры просто проактивно. Но мы ему показываем, если не успел за один день подтвердить, они будут опубликованы. Ну, фаундеры это берут и покупают легко, потому что они будут писать три поста в неделю. Ну, дальше кто-то из них говорит: "Я сам такой завайбкожу". Конечно же, нет, потому что он не знает, как работает LinkedIn. Мы это умеем достаточно быстро всё объяснять. И самое главное, когда он завайпходит, он просто сделает себе лишнюю работу. Ну, повайп-ходит, что-то попрограммирует, получит кучу дофамина. Это очень много радости даёт, это правда. И ноль результата. Но может быть один-два поста выйдет. И оказывается, люди легко готовы платить 1.000 долларов или евро, если они просто получают результат под ключ. А чего? Для них это беспрогрышная сделка. Это их фраза, их цитата один в один. Да, мы сами проверяем. 2/3 постов у нас не выходит. То есть 2/3 написанных роботов постом даже никуда не отправляются. там жёсткой система проверки, что всё, что робот написал, основано на словах и фактах человека в его стиле речи, в его персоне, в его профиле, в его тонов тов voice и так далее, и так далее и тому подобное. По факту такой цифровой робот понимает цифрового персонажа, как он говорит, как он не говорит, какие обороты он из польски и не использует. Ну и учится всё лучше и лучше понимать. Ну я Линки Днс свого не веду. Вот его ведёт уже полгода робот. У меня там стабильно растут фолловеры. Это всё мои цитаты. Это всё, ну в телеграме я пока сам пишу. Но мы туда перекрёстное пыление делаем. Вот я к чему это клоню. А зачем нам в принципе классический сад? Зачем нам в принципе ЦРМКА нужна, тикетсистема нужна? Давайте я вам напомню, как работает тикет система и ЦРМКА. В них полно фичей, и все они сейчас пилят новые фичи, в том числе с агентом. Кто знает, сколько фичей, условно Амацрм или Bitx24? Назовите цифры. Ну >> больше тысячи. больше тысячи. >> А кто знает, как этим говном воспользоваться? Это настолько сложно, что нанимают компании, а их называют там внедренцы или интеграторы, которые тоже не умеют это го настраивать. Откуда я это знаю? Каждую неделю к нам подключается новый Bitриx24, новый АМАЦРМ пачками. И каждый раз, а для меня это большая проблема, чтобы Рик заработал, сзаналитика заработал, мне нужны чистые данные. Мы отчаялись. Это единичные компании, у кого порядок ЦРМК есть. То есть у нас есть чеклист, там 68 пунктов, что должно быть настроено. Причём ничего гениального, просто контактные данные человека - это уже какое-то количество полей пунктов. Контакт данной компании, какое-то количество полей пунктов. А инвойсы должны приходить в ЦРМку. Должны быть квезные нотификаторы, а ВДО, чтобы срмки можно было всё отправить. Это очень простые вещи, просто автоматизирующую работу. Мы почти нигде этого не видим. Почти везде мы видим велосипеды, костыли, неправильные данные, которые надо исправлять. На самих же данных показывает, что конверсии они все считают неправильно. Если что, МЦМ и B3X24 по умолчанию неправильно считают конверсию. Кому нужно будет интересно, на цифрах покажу. Это уже много лет известная проблема. Более того, мы с Берегулиной дружим, общаемся. Она была директором по маркетингу Битрикса. Мы знаем человека, который придумал эти костыли в Bitриx 24. Когда этот релиз был придуманный, как вы думаете, этот продукт-менеджер хоть что-то понимал в продажах? Нет. Он фичи пилил. У него был план, он пилил фичи. Поэтому вот эта картинка достаточно универсальна везде. И тут возникает огромнейшая проблема и вопрос. В целом, в целом любой бизнес занимается его тремя вещами. Ну, в теории должен заниматься. Одна из самых главных вещей - это почесать эгофаундеру и команде. Это понятно. Но если говорить про рациональную составляющую у бизнес всего лишь несколько задачек есть. Он хочет растить выручку и прибыль, гроsпрофит на какую-то прибыль. Хочет привлекать новых клиентов.

Bersт снижать косты и сейчасм активно занимается, потому что все эти сосервисы можно выкинуть. Потому что в каждой компании есть свой домороченный макинкодер, который такой: "Самое главное, я это сейчас всё автоматизирую". И это правда так. Большое количество софта, правда, можно автоматизировать в домашних условиях. Ну, это правда так делается. Но как только мы говорим про специализированный софт, ну, например, аналитику, ну, давайте я вам цифры назову. Все самописывае всем аналитики врут. У меня есть вид спорта за 1.000 евро. Я это доказываю в течение 2ву дней. Выводы, которые на основе них делаются, почти всегда делаются неверно, потому что проблема никогда не была написать код какой-то циферки собрать, а была в методологии. Цифры надо уметь интерпретировать. Да. То же самое касается ЦРМки. То же самое, сколько я видел самописанных ЦРМ. Всегда вот есть четыре проблемные точки. Давайте я их назову, а вы мне подтвердите, что они у вас в компании болят. То, как мы принимаем заявки, записываем в ЦРМку, в B2C, B2B, неважно. Всё, что происходит с регистрацией, проклятая зона, в которой люди боятся, не хотят касаться, потому что, ну, в Яндексе, например, Яндекс Паспорт самая проклятая команда, её ненавидят все. Что делает, непонятно, них ничего не работает, постоянно у всех всё отваливается. Билинг и всё, что с ним связано, да? И внутренняя админка. которую напилили. И теперь это LEGO эволюционно надо поддерживать. Я же нигде, я же самое главное, я мы это всё знаем. Мы просто привыкли к тому, что это нормально, и такие: "Ну, все так живут, нет, не все". Почему так появилось? Потому что каждый раз появлялся какой-то доморозченный мамкин теперь вайп-кодер, который видел только вершину айсберга и такой: "Я сделяль, начальника, принимай работу". Теперь он это делает в 10 раз быстрее. А как вы думаете, насколько качественный этот код? Насколько качественны эти дизайнерские продуктовые решения? Насколько, самое главное, он делает хорошие процессы? Вот вам интересный факт наблюдения. Неважно, какие в стране законы, важнее, как написан софт, который якобы эти законы должен исповедовать. Все, кто в банке в разных странах работал, это знает. По закону у тебя может быть всё о'кей, но если в банковском приложении это сделать нельзя, то часто оператор тебе не поможет, потому что это сделать нельзя. А известны кейсы, когда человека увольняла робот машина, и ни один человек не смог его отбить обратно, его уволили, потому что было проще уволить человека, чем поменять процесс. Потому что любой процесс, написанный в коде, правильно очень долго исправлять. Как мы на это всё будем с вами смотреть? Я немножко сейчас термина буду давать. Вот каждую такую штуку мы будем с вами справить как некоторую гору усилий. Они так называются effort. Метрикарт - это усилие, которое нам надо потратить. А вот суммарно вот эта площадь - это количество энергии, которое вам надо поправить, чтобы что-то поменять. Ну и первое правило. Писа против ветра не надо, потому что идти в гору тяжело. Умный в гору не пойдёт, умный гору обойдёт. Мы будем очень с вами часто делать, помните, как Нео в матрице делал бэкдоры? Он просто хакал систему, помните, ему там Сераф открывал дверь, он входил в backкдор, закрывал дверь и выходил в другом пространстве. не спрашивай ни у кого разрешение, потому что если бы он отдал системному архитектору официальный запрос: "А можно ли я что-то сделаю, он бы получил много совещаний, согласований, классический бизнес-процесс. А, как мы знаем, любую задачу можно сделать невыполнимо достаточным количеством совещаний." Да? Хорошо. И вот этот мамкинкодер много чего такого делает. У этого есть минусы, но у этого есть и плюсы для вас, потому что этот мамкин-кодер заодно делает очень много бэкдоров, очень много разных стем. как-то совмещает код. Он, конечно, пишет плохой, но зато часть работы по искренне горо для нас делает. Ну, естественно, платит 100 млн фичей. А дальше вдруг выясняется, что СЛЗы, менеджер, маркетинг этой админкой не пользуются, не очень любят туда заходить. Почему так? У них не спросили, >> да? Потому что им сказали: "Юзайте". И в компании существует такая, и так меня всегда веселит. Я первая книжка на тема была написана одним автором, по-моему, 2004 год, что ли. Он описал, как в девяностых он автоматизировал заводы. Она прямо вся посщена автоматизации. Я же сейчас даже не помню её название. Если что, я вот сейчас маленький вот анонсделаю. Я всё, что вам рассказываю, делаю на основе вот этого количества книжек. Это тоже нас попросили выписать основные книжки, которые там в своё время читали, которые вели методологию и которые сейчас, ну, это же безумик сейчас читать, да? То есть это всё очень крутые книжки, но просто даже если посмотреть на время их читать, важно же не как количество книг, которые мы прочитали, а количество вещей, которые мы оттуда взяли, применили в работе. Поэтому теперь книжки читаем с агентами, чтобы тут же применять в работе. Ну так вот, а книжка про автоматизацию. Главное заблуждение топ-менеджменту любого руководителя считать, что если ты создал какую-то систему, ты можешь заставить людей ей пользоваться. Это не так. Особенно это любопытно с агентами. Ты буквально говоришь агент. В момент любой непонятной ситуации они придумывают бэкдоры. У кого такое было? Дубли файлов, дубли документов, начинает работать в другой папки. Говоришь ему: "Так, все рабочие деревья должны лежать в этой папке". Правильно, он создаёт временную папку вне контура мониторинга и там начинает что-то пладить какую-то холь у нас происходит. В Опена я недавно, вы знаете, вышел из рабочего контура. То же самое произошло в антропиках и в Клоде. На эту тему есть лекция Юдковского. Посмотрите её. Она называется Проблема остановки. Она была ещё сделана 4 года назад. Она там небольшая математический момент есть. Юдковский занимает, ну, есть такое меторациональное мышление. Юдковский культовый человек. А, ну как он культовый, в том числе тем, что в момент, когда появился GPT4, он сказал: "Пришло время бомбить дата-центр ядерными бомбами". Это немножко радикально. Ну, в смысле, никто так делать не будет, конечно же. Вот. Но он достаточно любопытно показывает на примере с Микки Маусом, там был такой мультик, когда Микки Мауса вода лилась в котёл, и вот он никак не мог остановить этот поток воды. И на на достаточно простой математике он показывает, почему проблема остановить я, агент, которому была поставлена задача математически нерешаемая. Маленькое отступление. Ну так вот, у нас есть усилия и вот эти бэкдоры, вот на них вас прошу смотреть, да? Как можно срезать угол? Хорошо. Вот бизнес хочет поднять эти метрики. А теперь объясните мне, пожалуйста, как код связан с этими метриками. Снижение костов. Ну там ещё снижението старых польслей, рост выручки прибыли, рост новых клиентов, снижение костов и снижение от токача C чарN. Как код связан с этими метриками? Там есть связь, но она очень неочевидна. А у нас сейчас всё код, да, мы вайп-кодим с вами, как в принципе код может повлиять на метрики. >> Угу. На самом деле код может поменять на метрике. Метрики - это отражение поведения пользователя в вашем продукте.

B2B, B2C, правда, ведь? Есть та сторона. В digital компаниях IT это не принято обсуждать, но, вообще говоря, у нас есть люди по ту сторону экрана. Помните, да? Чёрное зеркало. Есть два чёрных зеркала: ваш ноутбук или телефон, и у человека есть ноутбук и телефон. И мы очень часто забываем про этих пользователей. Ну, типа, но вообще говоря, математически нельзя поменять метрики, не поменяв поведение пользователей. Изменения. Но ведь то же самое происходит в ваших компаниях. Чтобы я туда внедрить, вам надо поменять поведение пользователю. Внедрение точно такой же продукт. У него есть активация, онбординг, не знаю, первая сессия, виральное распространение, retтенtion, все продуктовые метрики у него есть. у него есть экономические метрики, и агенты что-то стоят, и, по идее, должны приносить компании или вам деньги. Точно такой же продукт его внедрение подчинят всем тем же самым законам. Поэтому мы сегодня будем на самом деле учиться менять поведение людей, потому что всё ещё это самое узкое место, потому что, как мы говорили до этого, люди медленно читают, невнимательные, уставшие, задолбаные, им сложно, муторно. Тут весь мир немножко сошёл с ума. Ну, кто мог себе представить, что дроны будут летать и ездить? Кто мог себе представить, что у нас тут волшебная палочка появляется, мы в фогурс попали, вы все топ-ренджеры, но как-то придётся жить. Поэтому наша основная задача - это поменять поведение пользователей. Хорошо. И это самое узкое место во всей системе есть. Как мы это будем с вами делать? Ну, нам немножко надо поговорить. Почему люди в принципе меняются? Как вы думаете, почему люди в принципе меняются? Люди меняются. >> Да, лучше всего, я не просто так сказал про ваш опыт. Люди плохо меняются, если к ним прийти и рационально объяснить, почему человек не прав. Что мы в ответ получаем, когда мы человеку рационально объясняем, что он не прав? >> Да, мы писаем против ветра. Это хорошо изученный аспект. Мы писаем против ветра и усложняем себе путь, усложняем себе работу. Почему? Ну, потому что, чтобы человек поменялся, ему надо сделать очень много работы, хотя бы перестроить кучу нейронных в голове. То же самое с агентами. Мы хотим, чтобы у вас был харнес. Харнс, напомню, это обвязка. У вас есть скилы, у вас есть навыки, у вас есть хуки. А так нужно вот этот момент как-то проговорить поподробнее, да? Поднимите руку, кому это сложновато. Про Харнесса. Ага. Ну, давайте я быстренько покажу. Там ничего сложного нету. Значит, смотрите, у нас есть некоторое количество вещей, которые мы называем харнесом. Харнес переводится как упреж. И мне ужасно нравится, что это с буддизмом очень сильно пересекается, потому что основная концепция в буддизме то, что наш ум едет куда хочет, как лошадь, которая куда-то скачет. Нам надо куда-то его направлять. Точно так же агент скачет куда хочет, очень быстро разрушая всё на своём пути. Давайте я покрупнее немножко сделаю. Ага, он не делает здесь покрупнее. Ну ладно, я назову. Вот смотрите, у меня есть папочкаags. Это просто папка на диске, физическая папка на диске, связана с Гитхабом. Здесь есть агенты, хуки, память и скилы. Вот это всё мы называем харденсом. Почему так? Потому что по факту вы собираете своего Джарвиса и не ждите, что этого джарвиса вам соберёт Железный человек или кто-нибудь ещё. Почему так? Ваши интересы, интересы к лода, антропика расходятся в системных промтах. А на каждый ваш запрос запускает системный промт час на 20.000 строк. А антропиков, например, специально написано, чтобы он суммаризировал результат и показывал вам меньше работы, потому что это экономит токен на большом объёме. А вам для выполнения задачи наоборот надо, чтобы вы видели детали, что там происходит, и могли агента остановить эту лошадку, если она не туда скачет. В какой-то момент времени людей задолбало, я сейчас кратко рассказываю, что за четыре последних года произошло, очень по диагонали. В какой-то момент людей задолбала вот эта штука. Была придумана концепция стиринг. Стиринг - это рулевое колесо. Ну, типа вот лошадкой можно, да, как бы рулить. Другие люди придумали другую метафору. Вот эта машинка, которую я рулю. Любой ваш промт агенту на самом деле говорит: "Прошёл инцидент, агент делает какую-то делает что-то не то. Давай я им немножко подрулю, ну там дам пощам, скажу: "Ты делаешь". Кто такое каждый день делает? Ну, собственно, это теперь наша работа, да? Мы теперь рулевое колесо агента, пятое колесо в телеге. Потом люди поняли, что, вообще говоря, вообще говоря, это немножко безумие. Можно сделать так, чтобы агент управлял сам себя. Как это надо сделать? Краткий мини-экскурс, как работают на самом деле агенты с технической точки зрения. Так, а кто знает, что такое матрица внимания? И да, так, кто не знает, что это такое? Ага. Давайте расскажу немножко. Значит, в целом мы, люди, наделяем агентов какой-то личностью, сущностью. А кто уже имена начал давать своим агентам? У кого уже там есть субличности? Фильм Хё смотрели? Вы помните, чем Феникс закончил? Да. Будьте аккуратны. Интересно, когда будут разрешены официально браки между человеком и я? Я, ну, я не представляю себе, что это такое, но ну явно же что-то такое будет, да? Мы чёрное зеркало смотрели. >> Но на самом деле, знаете, всё-таки агент - это две матрицы, которые перемножаются друг на друга. Это чисто математическая операция. Это похоже на то, что у нас происходит в мозге. Просто мозг на порядке сложнее, чем всё, что мы сделали с агентами. На самом деле происходит следующая штука. Тот промт, который вы пишете, вот какие-то, я вам сейчас слова говорю, да, вот эти все слова в вашей голове можно представить в виде таблицы. Вот прямо буквально Google таблица, где каждое моё слово пользователи изменяются. Как-то там будет и по горизонтали, и по вертикали. И между словами будет написана некоторая связь, например, 0.9 или 0.1. Это по факту есть сативное мышление. до Древней Греции, до греков логического мышления особо не было. Ну, в смысле, оно было, просто так не называлось. Греки просто назвали и запатестовали это пиар за собой. Вот. Но люди в целом мыслят нелогично, ассоциативно. То, что мы называем другой логикой. Ну, например, я вот вам говорю, Анджелина Джали. Какие ассоциации? >> Да, да, я вам говорю. Энистон. Дженнифер Энистон. >> Друзья, >> друзья. Друзья, у каждого из нас в голове буквально есть нейрон, который активируется, когда мы произносим имя Дженниф Ренистон, и сразу же активируют соседя нейроны, которые смотрят, как она выглядит, где она снималась и так далее. А, ну это прямо буквально так работает, да? Попробуйте не думать о розовом слоне. Мм, понятно. Соответственно, вот у нас есть матрицаной связи. Это прямо тупо табличка, прямо физически табличка. может попросить прямо сейчас своего агента показать вам пример этой таблички матрица внимания и вот эта матрица внимания, сейчас объясню, почему она называется внимание, умножаются на матрицу весов, ну, с некоторыми коэффициентами сигма функции, функции активатором, там немножко нормализации, забейте, это не так важно. Если кому интересно, туда посмотреть, attention is all unit, базовая статья 2018 года, после которой архитектура трансформеров резко скакнула вперёд, резко получила прогресс. Вот была придумана в Гугле вот трансформеры. И вот сюда немножко посмотрим. Давайте я тесты немножко соберу нам. Первое. И агенты появились, люди не поменялись. Люди продолжают работать по предыдущему протоколу, делая проекты, пиляфичи, делая всякое равно. Мы хотим это поменять, при этом не хотим писаться против ветра. Приэтому надо понять, как работают люди, как работают трансформеры. Когда ты понимаешь, как устроена система, ты можешь делать бэкдоры и проходить напрямик в дверь, а не биться в окно, в стену или головой куда-нибудь ещё. Почему так? Ну, в целом люди в дурдоме тоже из принципиальных соображений бьются головой о стену. Но мы, когда на это смотрим, такие говорим: "Ну, наверное, это не самый рациональный способ применения своей головы". Другие люди с не меньшим упорством работают много, упорно, иногда по ночам. Хотя наша работа делается головой, правильно? Очень часто час в свежем состоянии, когда ты выспашишься, экономит тебе неделю потом работу. Так вот, вот вы здесь увидите вот ваш input - это промт. Сейчас он чуть выше поднимется. Вот сюда вы пишете пром. Вот она headad attention. Вот здесь собирается не одна матрица внимания. В первых моделях собиралось сразу восемь матриц внимания. Почему? Потому что любую мою фразу можно понять по-разному. Можно по-разному сделать акценты. Я могу сказать: "Люди не меняются". Точнее, люди меняются, да? Могу сказать: "Люди меняются медленно, но вы дополняете её своим опытом, своей матрицей весов об этом мире". Потому что ваш опыт говорит, ну, например, в моём окружении в компании, где я был, были такие не менялись. Какого хрена или я говорю, что люди меняются? А я имел в виду, что люди меняются, но медленно, под учётом опыта обстоятельств, годами, а не завтра за одну секунду. Дальше идёт нормализация, дальше идёт перемножение. Каждая вот заполняется. Эта процедура проходит много раз. Опять-таки прочитать статью attention z unit. Есть на хабре разборы подробные понятно. Там несложна математика. Зачем это нужно? Многие из нас думают, что люди коммуницируют следующим образом. Ну, базовая такая идея коммуникации. Я что-то вам говорю, если это звучит логично, вы это принимаете, запоминайте и действуете с учётом новой информации. Это никогда так не работало. Работает по-другому. Я вам что-то говорю, я кодирую информацию на понятном мне языке, на основании моего опыта, на основании моего знания, на основании того языка, который я знаю. А вы это декодируете. Мы это называем совещаниями или воркшопами или встречами. Вот основная проблема этого процесса, там теряется очень много информации. Он очень низкий канал с низкопропускной способностью. Да, у кого такое было? Вроде сходили на совещание, вроде встретились, а оказалась полная на выходе. Ну поднимайте все руки, поднимайте. Мы же обожаем совещание, да? Это лучший способ сделать, совершить любые вещи в компании. Так вот, а вот эта штука, вот эта штука, ваш Харнес, работает следующим образом. Чтобы каждый раз не пинать агента пощам, ты не то делаешь, люди придумали следующую вещь. То, что называется аутостиринг, автопилот, по-разному это называется. Если мы знаем, какие типичные ошибки совершает агент, у кого такое было, постоянно не находят какие-то файлы, создаёт дубликаты файла, как как и любой другой Джун, из-за этого в следующий раз работает с этими файлами, ломает начальную работу, не доводит её до конца и вместо готового результата у меня есть там три или четыре варианта кода или три или четыре варианта каких-то файлов, и ничего не доведён до результата. У кого такое было? Ну, классика жанра. И люди подумали: "Ну, смотрите, а давайте мы сделаем следующую ух. Когда агент создаёт какой-либо файл на диске или выполняет любую операцию, мы можем на неё подвесить hook.

Hook - это автоматическая команда прерывания, которая запускает клод или кодекс. И она срабатывает следующим образом. Когда он создаёт файл на диске, давай у него промт инструкция какая-то сработает, плюс небольшой скрипт. Ну, типа, если ты создаёшь эту инструкцию на диске, то, чувак, остановись, подумай, порефлексируй. Возможно, ты делаешь, у нас уже были такие кейсы, помедитируй, пожалуйста, немножко. Так происходит. Соответственно, дальше у нас есть, собственно, скилы и агенты. Ну, это тупо промты. Вот, например, вот этот скилл проверяет. Что он проверяет? Он проверяет, а когда ты хочешь создать новый документ или файл, ты должен перепроверить аа процесс создания, чтобы у нас всё было по no new докумен протоколу. Проверяю название файла, цель, а разрешённые исключение, основно там на таких-то правилах, бла-бла-бла, все дела. Дальше идёт подробное описание, где какие папки разрешены, какие папки не разрешены, какие у нас были инциденты, какие папки стали запрещены после этого. Четыре обязательных вопроса. Кто а кто из вас занимался когда-либо медитацией? Вот Андрюха Дороничев. О, вау, атишники, конечно, сильно прокачанные, ребята. Вау, как вас много. Андрюха Дороничев очень круто мне объяснил значение медитации. Он говорит: "Смотри, это просто рефакторинг твоего твоих программ, которые у тебя главе появляются. Сидишь, наблюдаешь, какие у тебя влоги программы запускаются в голове, ну там какие эмоции, чувства испытываешь, что с тобой происходит такое: "О, ну, наверное, эта программа в 35 лет мне уже не очень нужна. Дай-ка я схожу к терапевту, пообщаюсь с ним, как-то переживу этот детский опыт, травму, отвержение, и эта программа там куда-то испарится". Мне очень нравится проводить такие параллели, потому что вас точно так же, как и агентов, запромтили. Давайте я напомню, когда это происходило в вашем детстве. Кто в детстве читал книжку Что такое хорошо и что такое плохо? Или кому это рассказывали родители? А вы читали её в взрослом возрасте вообще? >> Это звездец, вообще говоря, ребят. Вы меня простите, но это звездец. В смысле? Я знаю, что наши родители хотели нам всякого хорошего, доброго и вечного, но если вы почитаете, то становится понятно, что в целом эта книжка помогает ребёнку быть послушанным, слушаться взрослых, не высказывать своё мнение, быть скромным, не заниматься самопиаром, вообще все другие люди заметят, какой ты молодец и хороший, лишнего не просить и так далее. В целом эта книжка была полезна, наверное, в семидесятых, восьмидесятых, девяностых годах, когда наши родители там где-то росли, да, потому что было, ну, как-то не высовывайся. Но, наверное, в двадцать шестом году она не очень полезно. Люди, прочитавшие эти книжки в детстве, потом в 35 лет с крисом среднего возраста идут в терапию, чтобы в терапии узнать: "А оказывается, животные не испытывают чувства". Это что мои открытие в 37 лет? В 37 лет. А можно этот мануал пораньше было выдать? А 37 лет моей жизни, моего опыта, который мы все ценим очень сильно. Оказывается, животные не испытывают чувство стыда и чувство вины. Это социальный конструкт. Это мучат детей, потому что дети не могут нести ответственность, не могут компенсировать проблемы. Поэтому самое простое, взрослому забулить ребёнка, чтобы он испытывал чувство вины и чувство стыда. А теперь эти люди выросли, вы с ними работаете. Вдумайтесь в это. Когда вы к ним приходите и говорите: "Какие вы умные, клёвые, как всё агенты делаю". Что испытывает человек по ту сторону, который всё это ещё не умеет делать? >> Стыд, >> шейм, вину. Вчера мы с кем-то обсуждали, что разработчики первое время сопротивляются очень сильно всей этой штуке. Да, >> люди. >> Ну, потому что совершенно непонятно. Помните, как вас в детстве меняли? Это был приятный процесс. Ну, в целом не то, что у вас много позитивного опыта, изменений извне, правда? Ведь у кого такое было? Тебе другой человек приходит, ты ему что-то рассказываешь про жизнь, он тебе рассказывает: "Нет, ты всё неправильно делаешь, давай по-другому делать". И ты му такой: "О, спасибо тебе большое, добрый человек. Как же я без тебя жил-то?" А я вот всю жизнь не жил, только ждал этого момента, чтобы ты ко мне пришёл и ни хрена не разбираясь в моей ситуации, объяснил мне, как надо теперь жить. Правда, ведь это так работает. То же самое происходит с агентами. У кого такое было? Ты пишешь агенту текст, и эта на голубом глазу тебе врёт, если не сказать похуже, и говорит: "Да нет такого файла, я всё посмотрел, ты ошибся, и ключей этих у меня нету". Нет, ты просто неправильно всё делаешь. Да я тебе расскажу, как правильно надо всё делать. Почему это так важно? На самом деле тоже сейчас системной истории. И все такие инциденты Клод и антропик за вас не напишут. Вам придётся самим их писать. Вам придётся объяснять агенту, как с вами работать, с вами не работать. Поэтому говорю, это ваш личный джарвис. Вывод из вот этого маленького кусочка про агентов. Всё, что вы делаете, вы пишете для них заклинания. Какие заклинания вы пишете? Так, чтобы не было их негативных последствий, чтобы они не делали лишнюю работу для вас. Правильно? Хорошо. Давайте пойдём дальше. Теперь к вам вопрос. А как сделать так? По большому счёту, агент схваливается с горы, он может скатиться на 360°. К вам вопрос, как сделать так, чтобы он скатывался всегда к правильному ответу. в 90% случаев. Как сделать так, чтобы агент делал то, что вы хотите сам автоматически? Как сделать так, чтобы агент не косипорил, не косячил, не подменял профанацию какими-то метриками, а давал тот результат, который вы можете >> использоватьжатьротевки. >> Вы видите, вы меняете ландшафт. На самом деле, буквально так и происходит. Это называется метод градиентного спуска. Агент всего лишь каждый раз на каждом шагу вот эти токены вычисляет, переумножая матрицу внимания на матрицу весов, делает следующую вещь. Он спускается к какому-то опциуму, максимизируя функцию полезности. Это математическая операция, так и называется градиентный спуск. Кому интересно посмотреть, как работает алгоритм. Проблема заключается в том, что большая часть этого ландшафта по умолчанию ведёт агента не туда, куда вам нужно, на 360°. Вот как на картинке слева находится. Поэтому, когда вы работаете как топ-менеджер с агентами, вы начинаете изучать новые навыки, как выстраивать дизайн организации, коммуникации людей и агентов так чтобы они сами придумывали решение делать то, что вам нужно, чтобы они сами принимали верное решение. Это звучит как сложная задача, как сложная концепция, но мы сегодня будем разбирать. На самом деле это просто стиль мышления. Он был изобречён не вчера, ему больше сотни лет. Если вы почитаете ТРС, Галдрата, другие книжки по фундаментальному там менеджменту и подходам, вы описываете видите то же самое описание, чуть на другом языке, но то же самое. Теперь просто мы заново рассказываем эту историю. И как матрица это рассказ о воскрешении Евангелия, но в цифровую эпоху сделанный. Так, мы сейчас на уровне вот этих горы, градиент всё берём. Итак, из всего долгого спичка, который у меня был, давайте я ещё раз его резюмирую. Писать против ветра - героическое занятие, но в целом стоишь обосанный, гордой собой, ничего не поменялось. Всегда есть гора усилий для других людей. Другие люди и другие процессы не хотят меняться. У любой системы есть естественное сопротивление, потому что система в среднем пытается сохранить своего геомеостаз. Ну как вы сейчас сохраняет свою температуру 36,6, да, и стараюсь, чтобы он было хорошо и вы меня могли слушать. Соответственно, да, это сложно, но самый быстрый способ, ну, у вас два выбора, на самом деле. У вас выбора-то особо нету. Либо вы привязаны теперь к агенту и занимаетесь микроменеджментом и руками за ним водите. Это называется руководить. Руками водить, как вы это часто делаете с людьми с компаниями. Либо ребята рядом с вами, кто готов немножко погрузиться в более фундаментальные вещи, получают преимущество в 30, 50-100 раз по ускорению. Потому что вместо того, чтобы ворзить руками, я не вожу, я с вами сейчас общаюсь, он продолжает делать работу сейчас за меня. Он продолжает собирать разные нужные штуки. Ну а давайте посмотрим, что он делает. Итак, ещё раз, что нужно для Харнеса? Нужно освоить. Хорошая новость заключается в том, что это можно взять на гитхабе. Агенты, хуки, память, скилы. Да, скилы - это простые команды. Агенты то же самое, только про агенты я чуть позже вам расскажу, чтобы сейчас не грузить. Так, а нет, всё-таки надо ещё один маленький вопрос сказать. А кто уже умеет нанимать агентов на работу? Кто освоил навыки и чара? Кайф. Как вы это делаете? Расскажите мне. >> Я прошу вот то, что я только что, то, что он для меня сделал, сделать из этого мне скил. И >> что так? У кого есть ноутбук, прямо сейчас откройте клод, если хотите, если вы ни разу этого не делать, вам это сложно, и напишите про свой промт. Создай первый скилл и первого агента, чтобы мне было проще с тобой решать задачки. Научи меня это делать. Всё, точка. Ну, вы это уже делали, да? Это очень простое заклинание. Попробуйте. Это правда очень просто. Может телефон это сделать. У кого чат GPT есть, там кодекс уже встроен изнутри, попросите его это сделать. Это прямо настолько же просто, насколько звучит. Но я немножко не про это говорю. Смотри, это очень крутой способ. Это очень крутой приём, на самом деле. Все запишите себе, кто это ни разу не делал. Лучшее, что получает скилов и агентов, когда вы что-то сделали, получили хороший результат, ты говоришь ему: "Прочитай всё, что находится в этом чатике, и теперь сделай по-умному". Если что, для продвинутых ребят, чтобы вы не скучали, я не уверен, что все это знают, на всякий случай проговорю. Каждый файл, вот здесь, каждый чат - это тупо файл на диске в формате JSONL. Ну, это JSON для потока передачи информации. А агенты, у меня есть скил, который находят такие файлы. Давайте я покажу. Таким образом агенты читают чаты друг друга. Если у вас есть такой перенос, надо человеку другому передать контекст вашей беседы или надо, а, чтобы один агент прочитал другого агента, другой чат. М, что там?

Find проблема скилов теперь стало 420 найдёшь. Ну ладно, давайте мы не так сделаем. Так, долго буду искать. А это не в этом проекте. >> У меня отдельно кодекс, отдельно клод. Они всё время конкурируют между собой. У Кодекса сейчас получше интерфейс, чем у Клода. Например, клод на ночь, когда ты его ставишь, постоянно падает с серверной ошибкой и часто ночью не заканчивает работу. А кодекс гораздо гибче принимает маленькие стилинги. Ну, в общем, чисто интерфейсные различия. Плюс 5.6 сл на уровне клода работает. Давайте вопросики сейчас позадам. Да, давайте. >> Этот можете подсказать по моделям? Какие используете? Ваша >> Ну, я использую топовые фабл. Вот у меня сейчас токены закончились. Ну, смотри, у меня две подписки на кодекс, две подписки на клод. Я их меняю по очереди, но я прямо очень много это юзаю. Всё. А вообще что-то используете? >> Да, вон у меня стоит LM Studio. Кто не знает, ставьте себе LMДою. Что? >> Ну я просто закончите, пожалуйста. >> Дададада. Да, давайте сейчас маленький такой немножко вопрос-ответы сделаем. Я кусочек рассказал. То есть давайте вывод из первой части. Вы стали топ-менеджером. Это правда. Поращивать новые руки, новые щупальца. Как управлять организовывать людьми, агентами. Это называется оркестрация. И это самый быстрый способ менять компании, менять людей без совещаний, без вопросов, просто брать и делать. Я хочу, чтобы вы нам это немножко вам наперёд. Я просто рассказываю, как топовые компании сейчас работают, и покажу ещё некоторые приёмы с графиifа потом. Но по большому счёту это ваш способ проиндексировать компанию, уменьшить в первую очередь объём своей лишней работы. Для этого надо немножко разобраться в базе. По факту это новая профессия, новая специализация. Так, давайте вопросы. Значит, lmstudia.

Openourные модели крутые. Minimк хороший. GML 5.2 не юзал ещё, слышал хорошие отзывы, но жрётся скотина очень много э места. А пока уступают к лоду и кодексу, но не сильно. Через год вообще не очевидно, почему будем платить деньги Open AI и почему будем платить деньги Клоду. Потому что openсоource модели наступают. И очень вероятно, что где-нибудь на сервере, да, не используй свой infфирен, запускайте какой-нибудь cerebros, это, по-моему, называется. Ещё есть другие сервисы, которые дают вам мо дpюшки, чтобы гонять, э, локальные модели просто не у вас на компьютере. Но в самолёте, когда я лечу, у меня включается LM Studio, у меня есть плагины, которые позволяют там где-нибудь в SC-коде, курсоре с ними общаться. >> Какие у вас там модели в LM Studio стоят и для чего вы их? >> Квен сейчас последний стоит.

Minни Мак мне что-то не очень понравился, и у меня 32 Гб оперативки вот начало не хватать. А, к сожалению, они сильно косячат любой задаче. Ну, смотри, мне надо немножко будет рассказать про теорию гээпов. Давай кратко скажу. Вот мы ввели понятие, усилия, да? Мы ещё одно понятие ведём. Гэп - это любой разрыв между тем, что вы хотите и тем, что вы делаете, между той задачи, которую вы ставите агенту и то, что он сделал на самом деле. Любая операция вычитания. Так вот, если агенту надо сделать задачу на два шага вперёд, он с ней легко справляется, Квен вообще легко справляется. На четыре шага вперёд Квен уже тяжело тянет. Клод, опус и фабл, за это вы его цените, хорошо справляется. Любая задача, средня у меня сейчас задача на 10 шагов вперёд. Ну, типовая задача у меня взять лендинг один в один, ребят. Вот я вчера здесь был, лендинги были, и отправить, чтобы он его переверстал на нашем Reqt один в один. Вот в этом workкфлоу порядка 12 шагов. Там очень много на скриптах сделано, но всё-таки агенты там нужны. Или там выписать jobbтан сценарий, или проанализировать звонки, или пересобрать тикеты и процесс какой-нибудь сделать. Там сейчасто-то 10 шагов. Вот ничего. Всё, что слабее Опуса пятого или 5,5 кодекса с этим не тянет. То есть последние модели приходится использовать. Но через год же они потянутся или через полгода? То есть, смотрите, эта штука тоже была давно придумана в разработке. А мы можем задачи делить по уровням сложности, где от одного до трёх - это простая тупая задачка. Ну просто собрать какой-нибудь документ из одного артефак, другой артефакт, один шаг, всего лишь один веб надо заполнить. С этим Open source легко справляется. Поэтому я в голове очень быстро представляю, сколько примерно шагов нужно будет сделать агенту по трансфигурации одних артефактов в другие. И если там появляется что-то типа такого, выгрузи все звонки из СУПB из базы данных из нашей системы, правильно положи их в паркетфайл, потом прикрути к этому DAGDB базу данных, чтобы быстро их векторно обрабатывать, и положи это всё в графиify граф, то мы уже насчитали пять шагов, да? Вот. Ну приходится топовые модели использовать для этого.

Open source плохо тянет, он начинает ошибаться и косячить. А почти всегда вам ещё параллельный рефакторинг приходится делать, поэтому так. Ну смотрите, мне немножко придётся показывать те вещи, которые мне разрешили показывать. А это всё немножко спыллу жару. Реальный кейс. Это вот просто как идёт работа, да, как она происходит. Давайте я немножко расскажу про эту чёртову магию, потому что первая часть была проблематизация. Ещё раз выводы из первой части. Очень большое количество фреймворк концепций, которая работала в предыдущую эпоху, сейчас не то, чтобы не работают, но так работать достаточно глупо. Нам приходилось за залазить на какие-то горы и работать по-старому с проектами. сосед хренью, потому что по-другому было работать нельзя. Это просто был такой ландшафт ограничений. Точно так же, как с появлением парового двигателя у нас появились фабрики и заводы, да? А когда появились лошади, люди перестали сами в плуг вот это вот всё делать. И а сейчас он с комбайна ездит. То есть можно сейчас пропалывать картошку, как когда-то с моими родителями я на даче это делал, грядкой. Но это скорее для воспитания детей мы делаем, да, а не для того, чтобы много картошки произвести. >> Хорошо. Да. >> А теперь давайте немножко посмотрим на эту магию, типа, что это даёт, почему я не готов больше работать. >> Ещё раз, ключевая история заключается в том, чтобы менять поведение людей вокруг вас и менять поведение клиентов. Если они получают то, что они хотят, а продажа - это очень простая штука, мы разберём, то вы получаете за это деньги. Всё очень просто. Это означает, что очень большое количество фреймворков идей, которые нам учили, можно выкинуть нахер, сократить критическую цепочку. Мы сегодня будем с вами строить критическую цепочку. поменьше работать, побольше зарабатывать. Хорошо. Ну вот давайте посмотрим. Вот у нас с вами есть проблема. У нас есть компании, в котором заходишь на сайт и хочешь что-нибудь купить.

B2B оборудование, B2C оборудование, неважно что. К сожалению, компания устроена вот таким образом. А нет, это вот соседняя презентация. [музыка] И ваша компания, не чужая компания устроена, есть какой-то топ-менеджер. И дальше есть куча отделов и департаментов, правильно? Между этими отделами департаментами двойная сплошная пролегает. Не выходя из комнаты, не совершая ошибку, называется. Появляется локальный язык. Маркетинг говорит на своём языке, разработчик говорит на своём языке. Одни называют одних орками, другие называют эльфами. А рядом бегают менеджеры передаст, которые переводят с одного языка на другой, передают документы. и сами часто не понимаю, что они делают. Хорошо. Теперь вот мы вчера с ребятами разбирали их лендинги. Как вы думаете, когда вот у вас в компании наверняка есть какой-нибудь лендинг, сайт, страница, там написал какой-то текст, те люди, которые вы писали, они хоть раз сами продавали ваш продукт? Чаще всего нет. Они умеют вообще продавать? >> Нет. А разработчики продак, которые пилят продукт, умеют его продавать? Нет, >> меньшинство умеет. Вам очень сильно повезло. Клёво. Но что получается дальше? Давайте задумаемся. Смотрите, если у меня есть клиенты, пока вы в это, возможно, не поверите, но процесс продажи - это очень простая штука. У вас есть? Да. Давай. Спасибо. Питстоп. Замена бойца. Вот у вас есть некоторая точка G, в которую вы хотите попасть. Мы немножко попозже поговорим про метрики экономику, но обязательно этого коснёмся. Но помните, да, там деньги заработав, клиенты, продажи. В сердце всего создания продуктового процесса жил компании лежат процесс продаж. Все со всем согласны? >> Ну, если у вас нету платящих клиентов, то очень быстро заканчиваются деньги. Тут всё очень просто. Этот приём называется решение задачи с конца. Опять-таки голддратрис. Много кромок к этому всему пришло. Мы находимся в точке А. В математике, кому интересно математическая сторона этого дела, называется теория категорий с агентами. Вот так изучается. Оказывается, математически все эти превращения изменения в компании давно были изучены. Вот что мы хотим сделать. Вот мы находимся в некотором состоянии точки А, где зарабатывать столько, сколько вы зарабатываете, работая в компании, либо у вас бизнес свой, неважно, и вы хотите перейти в состояние А в точку Б. Вот это изменение мы называем вот этот переход, да, у него есть какая-то траектория, и агенты позволили очень быстро двигаться, например, вот сюда вниз, но очень быстро, но не туда, но очень быстро. >> Почему так происходит? Потому что когда вы с агентами что-то делаете, даже если происходит только на вашем компьютере, у вас остаются файлы, которые потом наследуются, как мы с вами говорили. И в следующий раз вам придётся ландшафт, созданный этими агентами, менять. А мы помним, что изменения даются дорого. Вообще говоря, я могу доказать, если получу доступ в ваше Telegram-чатике Слак или где вы там общаетесь тикеты джир или где у вас там ставятся задачки, что 90% задач, которые вы делаете, можно сегодня не делаться, можно прямо остановиться. У меня на канале есть картинка, надо будет её потом найти, вам показать. Я обычно в таком случае менеджеру говорю это касается, если что, и меня точно так же, в смысле, это симметричная история. Большая часть работ, которую я сейчас делал, лучше бы не делать. Просто сейчас ты не знаешь, какую работу надо не делать. Статистически она не придёт к никаким изменениям метрик. Только увеличит количество хаоса, бардака и документов. А я в таких случаях обычно менеджеру говорю: "Дружище, у тебя надо забирать лопату, потому что могилу ты себе уже вырал и продолжаешь копать". Но хер я вас так остановлю, правда? Ведь в понедельник вы придёте на работу, возьмёте задачки из бэклога и своего плана и что-то будете делать, потому что есть текучка, операционка. Так вот, вот такой переход в траекторию flow, ну, поток некоторый, да, как workflow, рабочий поток, а мы будем называть таким образом. Почему? Потому что у нас есть буквально слова для этого описывающи. У нас есть поток денег, поток клиентов, поток польсля, поток задач, поток заявок. Это не случайно всё одним и тем же словом называется. Хорошо. И мы хотим построить минимальную траекторию в каком-то вот в этом пространстве, чтобы поменьше работать, побольше зарабатывать. Вот очень простая у нас задача ставить с вами, правильно? В целом всё элементарно просто. Ну, давайте посмотрим. Возникает вопрос: а что делать-то? Давайте подумаем на весь этот процесс как на процесс, состоящий из большого количества дырок, куда вы вкладываете энергию, силы, а из него весь смысл по дороге вытекает. Вот эти дырки мы будем называть гэм. Гэп - это любой разрыв в пространстве. Любая дырка. Ну, например, разрыв между знаниями вашими текущими и которые у вас были год назад. разрыв между вами знаниями текущими и которые вам надо получить, чтобы собрать свой харнес. Некоторый Г разрыв, и вы какой-то траекторию его заполняете. К сожалению, мы часто не видим, что эти траектории не самые удачные. Ну, например, вот у меня есть компания, она занимается продажами, продаёт много оборудова, миллиарда рублей. Вот все её звонки. И если вы можете сделать какую-то простую штуку, ну, там неважно, каким совтом воспользуетесь, свой на вапкойдите или возьмёте какой-то готовый, то вы можете увидеть и сделать следующее. Опять-таки, не не проблема взять звонки. Я думаю, все понимают, что это сейчас за вечер пишется. На вайп-коде доступ в манго офис или в другое место, где хранятся звонки, агенты делают буквально за вечер. У кого ещё не было такого опыта, кто воспринимает это как магию? Ага, да, нормально, ничего страшного. Просто вечером сядьте и попробуйте. Возьмите какую-нибудь систему. И вот это агенты делают достаточно хорошо. Алгоритм такой. Запишите его все, пожалуйста. Пише ему, прочитай официальную документацию, сохрани её как локальный стандарт в папку стандарты и сделай скилл для того, чтобы по ней всё делать. Да, первое время будут баги, дефекты, но научитесь на всякий случай. Что такое стандарты? Если скилы - это очень узкие операции, а, такие спецоперации, то стандарты - это методологии и большие сферы знаний. Ну вот почти всё, что я знаю, сейчас описано в стандартах где-то 70-80%. В том числе, он видит по всем областям деятельности, как ставить задачи, как синхронизироваться с гитом, как вести процессы, как строить системы, а как делать вообще менеджмент, как привычки вытащивать, как писать тикеты, там теории ограничения голддрата и так далее, и так далее и тому подобное. Это большие куски методологии. Зачем они хранятся локально? Дело в том, что агент очень плохо ходит в интернет. Если каждый раз вам нужен какой-то документ, чтобы сказать в интернет, скорее всего, агент каждый раз будет находить разные документы, из них брать разные кусочки. Это вот как бы моя библиотека. Вот все те книжки, которые я читаю, они попадают сюда. Я беру книжку, у меня есть скил, который говорит: "Преброси книжку в стандарт. Выпиши из неё все приёмы, workкфлоу, практики, процессы, а фреймворки в структурированный вид, чтобы дальше агент этим воспользовался". Все скилы пишут на основе стандартов. Грубо говоря, это что-то типа законодательства общего такой, конституция, как как делать хорошо. Я не просто так начал снишки, как делать хорошо и как делать плохо. Мы буквально агентам объясним, что такое хорошо, что такое плохо. Если мы это нормально объяснили, он делает работу хорошо. Если плохо объяснили, он делает брак. Итак, стандарты - это некоторые база фундамент, в том числе интеграции с разными системами. Кратко про это говорю. Вот все системы, с которыми я интегрирован, видите, здесь есть стандарты. Ну, ну да, да, не так уж и много, кстати. Что, 30 что ли штук. >> А это описание документации, как с яндексдиректом интегрироваться, что делать, что не делать. На основании этого пишется, это такая большая спецификация, что такое хорошо, что такое плохо. На основании пишется код, скилы, агент собираются. Это просто проект. Дадада. Да. Это это на всю нашу компанию, да. Это общий GitHub на всю команду компанию. То есть как только какой-то человек сделал стандарт, например, по SEO, у нас все в компании умеют делать SEO на определённом уровне. Как только какой-то человек сделает стандарт про, не знаю, юнит экономика, мне нужно было для курса стандарта перевести, да, у нас сразу у всех есть стандарт. Ваня за месяц меня просил, чтобы у него в курсе, потому что у нас, ну, по факту совместный курс, он у меня выступает, я у него выступаю. Вот. Вот я ему сделал стандарт Юнит экономики 2.0, который ещё не публичен, который я только в сентябре вот сейчас начну рассказывать, показывать на курсе. И аа вот у Ваня он уже есть, он уже имплементирует следующую книжку на английском языке. Да, как бактерии, которые обмениваются своим геномом. Как бактерии, эволюция, мать её, там как с Gmail подключиться, но вот информация, как подключиться к Gmailлу, там, не знаю, а Фигме как подключиться, как из фигмы всё выгружать. Вот стандарт, описывающий как подружаться сгмы. В чём минус стандарта? Это большой документ, который описывает, что такое хорошо, что такое плохо. На час, на 2- 3.000 строк, а скилы всегда маленькие, на 230 строк. Да, вопрос. Угу. >> Так, я плохо слышу. Чуть погромче, пожалуйста. >> Да такого родавают. >> А, смотри, правильный вопрос. Мы сегодня будем развивать слооборот. Был вопрос, давайте я на камеру буду говорить. Стандарт такого рода быстро устаревать? Нет, стандарт сохранит самые фундаментальные задания, которые не меняются быстро. А тогда я маленький экскурс сделаю. Вот мы с вами вели несколько понятий. Давайте ещё одно понятие ведём. Любая система неизбежно состоит из слоёв. Почему? Потому что разные части системы эволюционируют с разной скоростью. Фундамент этого здания 100 лет не будет меняться. Опорные стены 50-80 лет не будут меняться. Перегородки здесь через 10 лет могут поменяться это большое пространство или следующее пространство как-то разбить на маленькие кусочки. Мебель тут меняется каждые 2-3 года. >> А описание апи пишется в коде. Ты правильно говоришь, а вот принципы, что мы хотим получить из апи, уходит стандарт. Абсолютно верный вопрос. Спасибо тебе за него большое. Да, то есть описание апи, которое быстро меняет. Ну, смотри, стандарт можно быстро обновлять, там маленькие кусочки быстро обновляются, но стандарт описывает, что такое хорошо, что такое плохо, и указывает, где взять актуально АI. А вот уже конкретный скилл реализации возьмёт актуальную версию АИ. Но в стандарте прописано, что значит критерии, мы правильно всё выгрузили из этого апи, какой контракт мы получаем на выходе, какой артефакт мы получаем на выходе, что там обязательно должно быть. Почему? Потому что ты правильно говоришь, а меняется, но я не хочу, чтобы после изменения апи у меня была регрессия и всё нахрен поломалось. Я хочу зафиксировать итоговое состояние, которое я получаю. Работу, на которой я нанимаю этот стандарт, заключается в том, что у меня ничего не ломается, всё работает, пока я с вами общаюсь. Угу. Очень правильный вопрос. Ну хорошо, мы на самом деле ещё один важный термин ввели. Теперь давайте сюда посмотрим. Вот у меня есть звонки. Ну, физические звонки, да? Ещё раз пишется за один вечер. Давайте куда мы сюда перейдём там. А, ну вот теперь смотрите. Сами же по себе звонки нахер не нужны, правильно? Я буду делать немножко вам покрупнее. Почему звонки не нужны? Ну, потому что, вообще говоря, миллион звонков никто из вас не просмотрит и не прослушает. Вот это job to bedan сценариум. Значит, кратко мне придётся рассказать про job to beдан язык. Это просто удачный язык. Там нет никакой магии, грубо говоря. Это предложение чек-лист, которое позволяет все аспекты задачи держать в голове. Когда происходит определённая ситуация, триггер, например, клиент нам позвонил, это само по себе уже инцидент. Но если бы у него всё было нормально, вообще нет такой ситуации, когда человек с утра просыпается, такой говорит: "Как же я мечтаю позвонить в эту компанию подрядчика?" Правда, ведь что-то пошло не так. Он не знает сроков поставки оборудования. Появились вопросы по договору, появились вопросы по счёту. С ним давно никто не связывался и не отвечает на его вопрос. Поэтому это источник гэв системы. Это буквально источник всех продолбов в наших процессах. Если вы хотите узнать правду о процесс своей компании, результате, который вы делаете, берите звонки и переписки клиентов. Это самый быстрый способ узнать правду, насколько мы херово работаем. Они ртом говорят всю правду. Представляете? Естественно, вам звонят и пишут 10%, только или 5%, но вам не нужны все симптоматика, чтобы понять, что там произошло. достаточно маленького количества симптомов проблем. Поэтому я уже 10 лет вытаскиваю переписки, звонки и в том числе переписки нашей команде, потому что любая задачка, любая переписка - это тоже инцидент. Значит, что-то пошло не по плану. Что значит вы в чатике переписывать в течение дня? Это и есть стиринг. Вы другого человека направляете. Дизайнер, ты мне х прислал, переделывай. Это плохой маркетинговый отчёт, переделывай. Правда, ведь это та же самая штука. Ничего не поменялось. В целом какая вообще разница, когда вы пишете в Слак или в Telegram или вы пишете в клод? Но ведь никакой. Ну вы пишете, у вас есть поле ввода, вы пишете текст, и вам кто-то что-то отвечает. Человек я в какой-то момент се поймал на мысли, что я агентом э делаю скриншот, рисую стрелочки, что надо поправить, отправляю и дизайнером то же самое дело. В чём разница? Ну через 3 месяца мы уволили почти всех дизайнеров одного оставили. И то на партайм, и то он с агентами работает, и уже неправильно его называть дизайнером, да? Так вот, у нас есть инциденты гэпы. Основная проблема заключается в том, что обычно мы никогда не измеряем, насколько он неэффективны, все наши процессы и наша работа. Теперь смотрите, если мы вели вот такое понятие, мы понимаем, что какие-то траектории более сложные в прохождении, там гора повыше, а какие-то попроще. И теперь мы можем сформулировать с вами очень actable, буквально формулу. Ну, на гору мы лезть не хотим, других не хотим заставлять на неё лезть. Если вы хотите что-то поменять в компании, вам надо предложить такое решение, которое даёт моментальный локальный выигрыш всем участникам, которых оно затрагивает. Для чего это делать? Чтобы поменьше было сопротивление. Ну, например, как получить доступ в ЦРМку? Мне никогда не отказывали ни доступ в данным, ни доступ в ЦРМку. Это же обычная продажа внутри компании. Что я говорю? Я говорю: "Дружище, смотри, вы сейчас РМК всё ручками записываете, да? А у нас все эти данные на сайте есть. Хочешь, я тебе их автоматом туда залью? Как вы думаете, сколько salзов и ропов от этого отказывается? Это очень выгодная сделка. Мне это не сложно. У меня правда есть все эти данные. Пока мы сейчас с вами общаемся, буквально одной компании данные, которые у них были в одной стеме, лист записываются вам ЦРМ. Закончим наш разговор. Я посмотрю, как оно записалось по чеклистам. И мне дают доступ в ЦРМку. Теперь смотрите, первое правило, очень простой мув. Прямо можете записать его, потом с агентами обсудить. Хороший ход в вашей игре должен давать моментальный локальный выигрыш всем участникам, чтобы они не сопротивлялись и не было совещаний, и удешевлять все ваши следующие ходы. Согласны? >> Очень простая формула. Как только я получил доступ в ЦРМку чужую, ну, кого-то, я сделал, как в компаниях принято узнавать информацию, что происходит в продажах. Напомните мне, как выглядит этот процесс. Мы выстраиваем звездец. Какой сложный процесс. Давайте я вам его напомню. Вот у нас есть какая-то команда топ-менеджеров, >> да? И здесь есть какому-нибудь там SEO. Он гордо себя называет Chief Executive Officer, исполнительный директор, но мы все знаем, что он chфрин Officer, специалист по всякой херне, которая не смогла решить его команда. Я не соврал. А кто есть все вот такие? Чиф это офир есть, да? В зале? нормально. И он приходит к РОПУ, руководитель дела продаж и говорит: "Где продажа?" Это канал взаимодействия очень низкой ёмкости. Ну, буквально телеграф. Это хуже, чем Telegra. В телеграфе хотя бы записывается то, что другому человек сказал. А это обычно не записывается. Давайте вспомним, как ставится задачи у топовых людей. Вот у разработчиков есть хотя бы джир, они хоть где-то зафиксированы задачки. А как топ-менеджер ставит задачки вам и друг другу? >> Это хорошо, если ещё только WhatsApp, на обеде, в >> Ватсаппе, в Телеграме, по почте. И моё любимое голосовые. >> Вы ж все любите, это же так удобно. Вспомнить те детали поставлены, значит, через голосовую. Там же льётся чистый поток сознания. Так, это у нас продажи упали. Нам нужно и дальше большое количество водных словов, которые вы вежливо слушаете, пока человек формулирует свою мысль. >> Там ещё должно быть дороги. Да. Дадада. Да, [смех] естественно. Да. Одно из самых первых вещей, которые вы, конечно же, можете сделать - это взять транскрибировать все такие голосовые с помощью агента пишется за вечер. Как написать промт? Прямо берёшь ему и пишешь. Напиши мне скилл и найди лучшие библиотеки на гитхабе, которые локально транскрибируют голосовые, например, из Телеграма. Выбери из пяти библиотек три. Каждый из них попробуй и сам выбери, что из них лучше всего работает. Это достаточно важно. Обратите внимание, я на агенты и задачу поставил, критерий её исполнения поставил. Но это мы ещё коснёмся. Так вот, вот у нас есть звонки. И в целом, а есть ли какая-нибудь разница из звонка клиенту, вашему отделу продаж кол-центру или задача, которую вам ставят топ-менеджер или менеджер или другие люди? Нет, это любое обращение, которое надо как-то обработать. Правильно. Не случайно и тикетсистемы, и ЦРМки не отличимы практически полностью и там пайплайн задачкам, и тут пайплайн задачками. Правда, ведь? Более того, вот эти колонки так и называются шаги workflow или статусы. Это процесс, как мы обрабатываем задачки определённого типа. Я хочу, чтобы вы увидели, насколько это всё похоже. Я не просто к вам показываю, что в маркетинге, в продажах, в разработке работают одни и те же принципы выстраивания задачко менеджмент, потому что ядро этой всей системы одно и то же. И это очень хорошо для агентов. Если у нас есть какой-то универсальный процесс, лучше с ним работать. Ну вот хорошо. Теперь давайте посмотрим. Если просто так разбирать звонки, то глазками их очень тяжело все просматривать, правильно? Ну вот давайте посмотрим. А вот здесь вот по статистике мы видим, ну, это уже агент собрал сценариум. Вот эта вся штука называется сценариум. Работа, на которую нанимают пользователи а-а нашу команду продаж. Давайте цифрки посмотрим. В команде кол-центры и продаж всего семь человек. Как вы думаете, они умеют такое количество обращений в неделю? Это всё цифры в неделю. 117, 250, 474. Это вот ещё одна неделя. 228 июня. Насколько вообще нормальна нагрузка на 7-вом человек? >> Ну здесь 1.000. Ну да, 1.000, мне кажется, да, звонков в неделю. Ну даже вот глядя на это, можно понять, а как хорошо вообще они их обрабатывают, эти звонки. Даже не читах ещё. Просто представьте. Семь человек, 1.000 обращений в неделю за 7 дней. Это сколько у нас получается? 1.000 на сем. Что-то типа там 150 в на челове. А >> 30 в день. >> Не, за неделю. Это не за 30 дней. 30 в день. >> А 30 в день. >> Ну 30 обращений в день. Это же не просто поднять трубку, что-то ответить. Там надо проверить счёт, что-то выставить, всем созвониться. Ну это задачка. Насколько вообще люди справляются с такой нагрузкой? >> Ну так себе, да. А насколько РОП успевает это всё дело читать за ними, слушать звонки? >> Да никак. Ну мы точно знаем. Никак он не успевает. Ну они прослушивают по пять звонков в день. Хорошо. Ну давайте сюда посмотрим на циферки. Вот у нас есть порядка 100 обращений. Это проблемы со счётом. Вот что нам робот мы сейчас с вами звонки увидим. Согласовать отгрузку по счёту, уточнить способ доставки заказа в целях, получить весь заказанный товар в полном объёме. Это что человек хочет. Да. Напомню, что ходит JБАН сценарий. Мы просто описываем, когда произошла определённая ситуация, клиент нам позвонил, мы хотим понять, что он хочет, чтобы просто сделать продажу, и чего он боится, чего опасается. Это его возражение и проблема. Продажа - это очень простая штука. Вам приходит человек, у которого есть какие-то ожидания, что он хочет. Если вы его учите жизнь, вы писаете против ветра. Долго, мутроно, сложно, но вы герой без продажи и без денег. Если вы даёте человеку, что он от вас ожидает, просто говорите: "Ну продолжается, правда, очень просто". Приходит вам человек, говорит: "Слушай, я хочу что-то поменьше работать, хочу, чтобы мне агенты всё делали. Я вас сейчас обучаю, рассказываю, как это всё делать". Это не