ХАЙП! Модель JEV може замінити ChatGPT та Claude? transcript

Уявіть модель, яка не згенерує вам ні стрічки тексту, не згенерує вам ні зображення і не поговорить з вами в чаті. Але модель, яка за кілька десятків секунд проаналізує вам тисячі рекламних оголошень. Модель, яка за кілька десятків секунд проаналізує вам купу новин, які сталися в світі. Модель, яка спалить мільйони токенів, але зніме з вас центи. І це не нова модель від ChatGPT чи Claude. Це є Jeff від Type Safe. Модель, яка не генерує, а модель, яка приймає рішення. Тому в цьому відео я хочу розібрати, чому сьогодні бумить інтернет, чим відрізняється Jeff від LLM, на власному прикладі розбору ранкової пошти показати, як працює Jeff, а так само де та швидкість та ефективність та на яких задачах ми можемо отримувати суттєвий виграш. Що ж таке той Jeff від Type Safe? Автором цієї моделі є Дієго Альмейда, який свого часу працював ChatGPT, точніше, він створював такі механізми, за якими сьогодні працює всім нам відомий ChatGPT, він працював в OpenAI, колись працював в Google Brain і, власне, ті знання, ті навички, коли він інструктурував, яким чином має працювати ChatGPT, він переніс на свій винахід, на свою нову модель State One Model, яку він разом зі своєю командою винаходив два роки, яка використовує принцип, який відрізняється від того, як ми типово працюємо з великими мовними моделями LLM. І як наслідок, він отримав в десятки, в сотні разів швидшу взаємодію, він отримав у десятки, сотні разів дешевші ціни, в той самий час оплата йде тільки за вхідні токени, за вихід ми нічого не платимо. Я поясню далі у відео, чому так відбувається. Мова йде про System One Model Jeff. Це перша публічна модель, яку вони випустили. Ось тут ви можете подивитися з точки зору грошей, як вона відрізняється від топових лідерів за одиницю роботи і з точки зору швидкості, де вона є. Ось тут, власне, і різниця, що типово для великих мовних моделей використовується reinforcement learning, типу тренування з винагородою. І типово людини є частиною цього процесу. Він же зробив алгоритм, який називається reinforcement learning for calibrated decision. Тобто, по великому рахунку, модель не генерує вам текст, не генерує вам контент, модель приймає рішення на основі тої інструкції, я покажу, як це робиться. Модель дивиться на задачу, на ваш електронний лист, на рекламне оголошення, на відео в Ютубі, на конкретну сторінку на вебсайті, ну, на будь-що, що ви дасте їй на вхід, і згідно тої інструкції модель приймає рішення. Так, ні, підходить, не підходить, сімейний лист, персональний лист, свого роду ось такі от рішення, і тому вона не вимагає того, щоб ми платили за аутпут. Ось, бачите, зліва Jeff вже давно відпрацював, ось його ціна, ось його швидкість. Справа класична типова LLM від OpenAI чи від Claude відпрацьовує, і ви бачите, наскільки різниця швидкості взаємодії. Ось тут є ще кілька графіки, де ми можемо побачити з точки зору одиниці виконання роботи і ціни, де є Jeff, тобто по якості він на рівні з Солом, з Опусом, власне, по тим задачам прийняття рішень. Зараз мови не не йде про агентивний фреймворк, де модель може виконувати якісь дії, писати код і інші речі. Власне, йде мова про класифікацію, по прийняття рішень. Знову ж таки, вони говорять, що Jeff, він 0% галюцинації. Ну, це теж питання відносне, поговоримо теж про нього сьогодні, але дійсно Jeff це та модель, яка буде на виході давати вам чорне-біле, одиничку-нолик. Червоне-зелене. Лист від компанії А, лист від компанії Б. В залежності від тої інструкції, яку ви дасте, Jeff, він буде справлятися. Тобто, він буде давати детермінований результат. Це його одна з сильних переваг цієї моделі. Ну, і тут далі вони трошки описують, як вона працює. Ось тут в них демо, де ми бачимо, що можна вибрати приклад з кількома опціями, тут можна заповнити. І на виході, ось бачите, що на виході нам модель дає. На виході нам модель дає просто оцінку. Звичайний, короткий текст, який не коштує там мільйони, десятки мільйонів токенів, це звичайне вірогідність того, що опція А, вона краща за опцію С і Б. Все, крапка. Таким чином, Jeff дуже швидко повертає результат. Свого роду, це як машина станів. І Jeff має оцю от System One екосистему. Власне, в основі цього лежить ця їхня комерційна модель System One, яка має три стани. І цей підхід суттєво відрізняється від класичного підходу з LLM, де LLM генерує наступне слово. Згідно патернів навчених, вона робить prediction, що має бути згенеровано. Наступне слово чи наступна дія, чи наступний виклик. Вона вгадує, згідно своїх зв'язків між графами, де сильніший цей зв'язок, там відбувається виклик. В Джеффі воно по-інакшому діє. В нього є три примітиви. Це є choice, відповідно, коли у вас є питання з кількома відповідями, обери. Він обирає одну відповідь і ставить вірогідність, з якою він це обрав. Є оцінка, наскільки там клієнт незадоволений. Наскільки, з якою вірогідністю ти відніс цей лист в колоночку personal, ніж family. Ось, будь ласка, тобі отака оцінка. І black and white, чорне-біле, так-ні. Чи правда, що тут потрібно зробити refund? Чи правда, що цей лист є спам? Чи правда, що ця карточка відноситься до банківської системи? Ось, на цих трьох примітивах і побудований Jeff. І на основі інструкції, яку ви даєте на вхід, контексту, який ви даєте, який він має аналізувати, він буде в рамках цих трьох примітивів працювати і генерувати вам швидкі відповіді. Але, як то кажуть, краще один раз побачити, ніж 100 разів почути. Ось тут кілька прикладів, що люди в інтернеті реально вже встигли зробити. Класифікатор податкових документів разом з Jeff, який в 30 разів дешевше і в шість разів швидше, ніж типове використання комерційне LLM. Подивіться, з якою він швидкістю працює. Тобто, він реально розпарсує і по принципу свого цих трьох примітивів визначає, до якої категорії відноситься той чи інший документ згідно тої форми, яку йому надали. Або ось ще один приклад, де Jeff-у надають на вхід ряд рекламних оголошень і він їх має розпарсити по певним категоріям. Знову-таки, знову-таки, чи таке чи така, така чи така, така чи така і вірогідність, і ставить вірогідність. Ще один приклад з новинами. Зліва ми бачимо Jeff, справа ми бачимо Claude Opus 5. На вхід отримують потік новин з інтернету, назва, короткий опис і знову-таки сортування по компанії, по типу новини, по важливості. Тобто, по іншим іншим рейтингам, тут бачите, шість рейтингів сортування новин. Наскільки Jeff швидко працює і це все коштує копійки, копійки центів виконання такої задачі. Ще одна реалізація це є контроль роботи користувацького інтерфейсу. Тобто, не просто комп'ютер use, який є в ChatGPT чи в Claude, коли модель довго процесує, робить скріншот, щоб зрозуміти, куди клікнути, що зробити. А Jeff передає моделі свої структуру, код цього сайту. Далі LLM-ка, єдине, що вводить це цей текст, далі Джеф це знов процесує, перед знов генерується нова сторінка і знов оцінює результат. Тобто і за рахунок цього швидкодія дуже і дуже є висока навігації через комп'ютер юз. Ну і остання річ, тут автор попросив News від Meta використовувати Джеф, щоб вибрати 100 найкращих питань з імунології без відповіді з 10 тисяч кандидатів. Тобто об'єми дуже великі. І Джеф насправді за секунди з тим справився, от бачите, він визначив питання, він визначив стадію, він про проранжував, чому таке, а не таке. Тобто Джеф, він власне в цьох в цих трьох патернах, в цих трьох примітивах працює і генерує дуже швидко, за малі гроші, ось такого роду класифікації, такого роду відповіді, які далі вже можна давати моделям на виконання. Тобто Джеф генерує свого роду маршрут. Це є лист такий-то, поле таке-то, класифікація така-то, треба викликати інструмент такий-то. Ось тобі ті чотири компоненти, LLM, іди виконуй. Але тут треба розуміти, що Джеф це не заміна LLM. Це є надбудована LLM. Це є система, яка може дати семантичне судження на основі тої інформації, яку ви надали на вхід, вона може прийняти згідно тих трьох парадигм, примітивів рішення, яке ви далі передасте LLM. Зараз я вам на прикладі покажу, як ця вся система працює в мене. Ось так виглядає агентний інтерфейс Джеф. На разі поки що працює по запрошенням, але можна попросити через waitlist, заповнивши формочку, щоб вам прискорили і надали це запрошення. Ось тут в них є playground, який я вже показував, де ми можем протестувати ці команди, надавши якийсь власний скрипт. Ось тут можна побачити usage, використання. Бачите, вночі отримав доступ, давай зразу тестувати і сьогодні зранку теж активно продовжував. Вони нараховують 5 доларів і я спалив лише 13 центів за всі свої тести, які я тестував. І ось тут ви бачите, скільки мільйонів токенів я спалив, майже 3 мільйони токенів. Ось тут є, знов ж таки, в них можливість скопіювати агентом промт, я його, відповідно, копіюю і йду до себе в свій кодекс. Ось тут в мене є кодекс install script і, власне, так виглядає десь мій процес налаштування. Я скопіював цей промт і сказав: "Слухай, дивись, я хочу використовувати Jeff. Давай сконфігуруй його. Е-е, давай налаштуй, я в якийсь момент часу дам тобі API ключ і ми зможемо з ним працювати". Відповідно, він це все зробив дуже швидко і далі, через якийсь момент часу, я е-е, розробив ось таке от тестове середовище. Тобто, на вхід я приймаю свої листи. Це є реальні листи з моєї Gmail поштової скриньки і, відповідно, я використовую Jeff зліва для того, щоб він розпарсив листи, і справа я порівнюю GPT 5 і 6 Luna Low, яка теж ці листи розпарсила. Тут внизу в мене якраз є потік листів, де ідентифікується, що це за лист, чи це є персональний, чи має бути задача в todo листі, чи має бути повідомлення в ка- в календарику. І Luna відпрацьовує. І ось тут видно, що Jeff вже відпрацював 26, 27, 28, 29 листів, Luna лише на п'ятому листі, 32. Ось, в середньому швидкість Jeff оброблює 1.3 листи за секунду. В свою чергу, швидкість Luna це за 4 секунди лише один лист. І, відповідно, тут ми бачимо прогрес, тут ми бачимо, що в мене відбувається, як воно оновлюється. І таким чином, Jeff якраз виконує роль цього побудови маршрутизатора. Тобто, він не просто, вот, Ігор, такий лист, такий лист, такий лист, такий лист. Він каже: "Дивись, для цього листа є певний маршрут, який я обрав згідно твого скрипта, а ось так виглядає інструкція для нього, ось так виглядає скрипт. Тобто, в рамках цих е-е, примітивів choice, зокрема, тут лише choice використовується, тому що в мене є певна вибірка. Я кажу, дивись, це є лист сімейний чи персональний? І він з назви намагається це зрозуміти. Це є лист, який треба, по якому треба створити нагадування в todo листі чи не треба? Задачу в todo листі. Це є лист, по якому треба створити нагадування в календарку чи не треба створити? І відповідно, аналізуючи це, проходячи ці сотні листів за швидкий час, за секунди, він створює такі маршрути. Далі, ці маршрути по цим листам, де вони є валідні, тобто він відсіяв спам, він відсіяв все сміття, він лишив тільки вижимку, нехай там 20 листів з маршрутами. Далі ці маршрути я вже дам звичайні LLM, Луні, яка викличе свої інструменти і створить необхідні речі. Задачу в todo листі чи в календарику, е-е, нагадування. Ось така зв'язка може працювати між Jeff і між класичною Claude чи GPT.

Jeff доступний окрім їхньої платформи, вже є Never sell, ви можете Jeff прям тут Typeface API і до 25-го вересня користуйтеся безкоштовно. Тобто, можна користуватись ним безкоштовно на цій платформі і пробувати інтегрувати свої власні use case. Давайте тепер зараз поговоримо про обмеження і без всякої ейфорії подивимося на реальну картинку світу. Ось тут є приклад, який зараз віруситься, бачите, мільйони переглядів про те, що Jeff використовується для компакшену, для стискання вашого контексту в типовій LLMці, чи це ви працюєте в GPT чи в Claude. І ось тут автор каже, дивіться, ми тут майже мільйон токенів контекстного вікна заповнили, я тут запустив Jeff у цей компакшен, вони прям викликали цей скрипт на, е-е, GitHub репозиторії і він мені стиснув в 10 разів до 76 тисяч. Ок, який Jeff молодець. І тут Tio виходить зі своїм постом і я десь з ним солідарний. Тобто компакція це не є фільтрація. Ми не можемо просто по назві сказати, це треба, це не треба. Компакція вона ж робиться стискання по суті, по формі. Вона дивиться, що було викликано, що який був результат, навіщо це було зроблено і тільки ті речі вони зберігаються в історії. Так само він каже про те, що ну, Jeff він просто-напросто не знає, над чим ви працювали, які ви рішення приймали. Він цього взагалі не знає. Далі він розповідає про інші речі, які стосуються міркування. Він говорить про критику щодо того використання кешування і то, що ми взагалі таким підходом втрачаємо ті можливості, які нам дають LLM і я з ним 100% згодний. Тобто треба розуміти, на яких задачах ми можемо використовувати Jeff. Ми не можемо просто-напросто, не залізши в суть задачі, сказати: "Класифікуй, приймай рішення" лише по одній стрічці коду або лише по назві. Знов-таки, ми як люди, коли такі рішення приймаємо, треба теж розуміти, чи ми заходимо всередину і дивимося, чи не заходимо. Якщо ми заходимо, ну, відповідно, недостатньо лише одної назви листа, щоб прийняти рішення. Можливо, треба зайти всередину, взяти кілька речень і тоді їх теж прокласифікувати і вже на основі цього прийняти рішення. Тобто класифікація листа по назві це має бути комплексний процес. Це назва, це від кого, це ж зайти всередину, розбити на речення і їх прокласифікувати. Такий комплексний підхід. Або будь-які інші речі, які треба класифікувати по такому підходу. Тому тут треба дивитися обережно. Тут треба дивитися, чи ми можемо дійсно відправити Jeff у вільне плавання, щоб він зробив цю класифікацію, побудував нам маршрут, безпечний маршрут, який ми могли вже делегувати LLM. Якщо так можна, якщо у вас є такий usecase, прошу дуже, використовуйте. Це суттєво швидше, суттєво більше економить токени і дійсно в зв'язці з класичними LLM, воно може дуже добре працювати. Якщо у вас такого випадку немає, не натягуйте сову на глобус.

Jeff це не є заміна класичної LLM. Це є надбудова, яка стоїть збоку, яка може ось такого роду речі, прийняття рішень, чорне-біле, нулик-одиничка, лівий-правий, брати на себе і далі делегувати їх вже на LLM. Я думаю, за технологію систем прийняття рішень є досить велике перспективне майбутнє. За технологію, яка дуже швидко на льоту, за малі гроші може сказати, рухаємося в ліво чи вправо, робить такі рішення, сякі рішення, дуже велике майбутнє. Це дозволить реально акселерувати той прогрес, який вже маємо з LLM. Це дозволить реально направляти LLM правильним шляхом, особливо, коли йде виконання довгих задач на довгому контексті, особливо, коли потрібно розуміти, чи ми дійсно йдемо от в ту сторону чи в цю сторону. Ось тут, мені здається, Jeff, він буде виправдовувати себе. Знову ж таки, це є дуже рання перша розробка. Тобто, людина сиділа з командою два роки, це тренувала, дотреновувала і от зараз вийшла тільки перша версія. Тому давайте дамо трошки часу. Хай цей інфопривід він осяде, інфошум він осяде. Подивимося на реальні usecase, на практичні usecase. Ну, бо поки що такі демки емуляції, щось працює, щось не працює. Будуть практичні кейси, буде воно вбудовано в екосистему продуктів, там на десктопі, на мобільному і тоді вже можна робити якісь суттєві висновки, чи ця технологія дійсно це прорив, інновація, яка допоможе покращити швидкодію, скоротити видатки на виконання однієї одиниці задач, чи це просто чергова приблуда, яка зараз пошумить, пошумить і про яку всі забудуть. Тому давайте час цій приблуді Jeff. Я обіцяю, що буду продовжувати тестувати, ділитись в нашій AI майстерні якимись своїми практичними досвідом, гайдами, інструкціями по використанню зв'язки між Jeff та LLM. Тому доєднуйтесь, там у нас цікаво, корисно. Ком'юніті росте, наповнюється. За вами був Ігор. Дякую, що додивились це відео до кінця. Залишайте свої думки в коментарях. Що ви думаєте про цю технологію? Можливо, ви вже спробували і протестувати в себе і у вас є якісь власні use case. Всім па-па. Бережіть себе і до зв'язку.