[시즌 3] 분류 모델, Jev 어떻게 써야 좋을까? 입문자 실습 가이드 transcript

안녕하십니까. 재브 많이들 궁금해하고 계시죠? 오늘 그 댓글에도 몇 분이 제를 어떻게 쓰는지 좀 궁금하다라고 하셔 가지고 제 나름대로의 그 답이라고 하기 좀 그렇고 그냥 이런데 쓰면은 좋다 정도의 아이디어 정도만 공유하려고 이렇게 영상을 열었습니다. 전혀 기술에 대한 얘기라기보다는 아이디어를 그냥 던져 드리기 위해서 감을 잡아드리기 위한 예제라고 보시면 될 거 같고이 썸네일에서 보이듯이 섬유에 대해서 메일을 받았을 때 또는 문자를 받았을 때 이게 그린라이트인지 아닌지 그런 것들을 이제 파악을 하게 해주는 앱을 만들면서 재를 쓰는 법에 대해서 그리고 재가 얼마나 빨리 처리하는지 그리고 왜 빨리 처리할 수 있고 그게 성능의 문제가 아니라 동작 방식의 문제인지 문제라기보다 그 원인의 거기 원인이 거기에 있는지 그런 것들을 알아보는 시간이 되겠습니다. 자 일단 제부에 대한 개념을 리캡을 해야 되겠습니다. 시스템과 시스템 2가 있습니다. 시스템 원은 이제 입력을 해석하기만 하는 녀석을 얘기하고 시스템 2는 지금 현재 우리가 쓰고 있는 오퍼스 뭐 에스트라 아니면은 뭐 그롭 같은 이제 프런트어크급 모델들을 얘기를 합니다. 얘네는 이제 입력을 해석하고 출력을 생성합니다. 이제 입력을 해석하고 분류하기만 합니다. 그래서 출력을 하지 않습니다. 채팅을 만들거나 이미지를 만들거나 이런 걸 안 한다라는 거예요. 출력에 시간을 들리지 않기 때문에 시간이 절약이 되고요. 그다음에 토큰을 쓰지 않기 때문에 토큰이 절약이 됩니다. 여러분들 다 아시겠지만 입력 토큰보다는 출력 토큰이 더 비쌉니다. 제브가 분류한 결과를 우리가 어떻게 쓸지에 대한 아이디어가 중요하고 이것을 이제 보통 이제 라우팅을 어떻게 할 거냐에 대한 전략을 짜야 된다라고 얘기를 많이 하고 있습니다. 이제 그거에 대해서 오늘 아이디어를 얻어 가시는 시간이 되면 됩니다. 여러분들이 아직까지도 이것에 대해서 이제 아리까리하다라고 생각하는 이유가 있습니다. 제부가 뭐 이제 새로운 모델이니 아니면 이게 나와 가지고 이제 뭐이 모델을 다 쓰면 되니 뭐 그런 얘기를 하시는 분들이 보통 헷갈려서 그렇죠. 시스템과 시스템 2의 구분이 명확하지 않아서 그렇습니다. 지금 프런티어 모델들은 어쨌거나 해석과 생성 생 생성을 반복하면서 원하는 결과를 보여주는 방식으로 동작하고 있어요. 예를 들어서 여러분들이 여자친구 아니 섬녀죠. 여자친구가 아니라 썸녀에게 오늘 카톡 메시지가 긍정인지 부정인지 구분하라고 이제 우리 LM한테 시키게 되면 이렇게 동작합니다. 여자 친구 메시지를 분석해 보니 좋아. 그런데 잘 모르겠어라는 메시지가 반복돼요. 뭐저 이렇게 막 출력을 막 한단 말이죠. 그래 가지고 그 점을 미루어 보았을 때 부정인 것 같다. 이렇게 혼자 생각한다면 그 다시 이제 스스로 해석을 해 가지고 결론은 부정적입니다. 이렇게 출력을 해 준다는 거예요. 이렇게 토큰을 툭 툭툭 툭툭 뱉으면서 토큰에 대한 비용을 쓴다는 겁니다. 그리고 그 비용을 다시 툭툭 뱉은 걸 다시 이제 스스로 먹어요. 그래서 다시 해석을 합니다. 그래서 다시 툭툭 부정적입니다. 이렇게 출력을 해 주는 과정이 있는데 이렇게 토큰을 소모하는이 토큰을 소모하고 다시 그걸 먹는 출론 과정을 통해서이 소 그 소비되는 그 토큰에 대한 비용이 있다는 거예요. 물론 이제 그렇게 출력을 해 주니까 다양한 형태로 출력이 되고 정답에 가까운 뭔가가 나오긴 하는데 얘가 나한테 사람이 말을 걸어 주는 것처럼 채팅의 결과가 나오니까 이제 기분은 좋습니다. 하지만 그 시간과 토큰의 비용은 엄청나다라는 겁니다. 예를 들어서 이렇게 한다라는 거예요. 제가 받은 메시지는 이건데 오늘 진짜 재미있었어라고 얘기를 해 주고 다음에는 민수도 불러서 같이 놀러 가면 더 좋을 것 같아. 민수랑 놀면 정말 재밌지 않아? 아무튼 또 재밌게 놀자. 오늘 만나면 너무 좋았어라고 이렇게 얘기를 해 주는 걸 보면은 아마도 이제 아리까리하긴 하지만이 친구는 저보다는 민수를 더 좋아하는 거 같습니다. 그래서 이제 민수를 더 좋아한다는 생각해서 이제 사람이 봤을 때 그 혼자서 이렇게 추론 과정을 거쳐서 나를 별로 안 좋아하는 거 같아라고 이제 결론을 내리지만 실제로 L lm한테 시키게 되면은 이렇게 토큰을 다 나눠 가지고 분석한 결과 이렇게 툭툭 뱉어 준다는 거예요. 보다 친구 메시지를 분석해 보니 민수 이름이 반복되고 있대. 이렇게 한 다음에 스스로 혼자 그걸 생각해 가지고 그래서 결론은 이렇게 토큰을 당 하나 둘 셋 넷 다섯 여섯 일곱 이렇게 소모를 해 가면서 결과를 저한테 추론을 해서 알려 주려고 하고 있습니다. 그래서이 만드는이 출력 토큰이 비싸다라는 거예요. 근데 사실은 이거 읽고 나서 좋다 나쁘다 이렇게 결론만 내려 주면 좋을 것 같은데이 중간 과정이 있다라는 거죠. 이거를 안 하게 하겠다는게 시스템 원입니다. 그래서 재은 이제 어떤 식으로 하냐면요. 입력을 해석하면서 출력을 미리 정해 줍니다. 예를 들어서 좋으면 1이라고 하자. 안 좋으면 0이라고 하자. 이렇게 답을 정해 둔 다음에 해석을 시작하고 바로 그냥 마킹을 해 버립니다. 이렇게 한다는 거예요. 메시지 들어오면은 미리 답을 정해 줘요. 이게 좋다. 여기에 싫다. 여기에 마킹. 근데 여기에 마킹을 했다는 겁니다. 그럼 싫다라는 거죠. 저한테 싫어하는 거 같습니다. 이런 거 보여 줄 필요도 없다라는 겁니다. 이제 그걸 하는게 제라는 거예요. 그래서 저는 실제로 이제 제가 진행해 본 작업이 이제 5,000권의 메일을 분류를 시켰고요. 이제 결과만 이야기하자면 5,000권 분류에 1.64달러를 썼습니다. 여기 보이시죠? 1.64달러를 썼고 13분 정도 소유가 됐는데 이거는 Gma 메타데이터를 읽고 이제 그 과정 읽는 그 과정 읽어 드린데도 시간이 필요하거든요. 쭉 메타데이터 읽어 드린 시간 이런 과정을 포함을 한 거고요. 실제 분류에는 더 짧은 시간을 썼을 거라고 이제 생각이 됩니다. 총 4,225만 토큰을 사용을 했습니다. 여기 보이시죠? 자, GWS CLI와 조합해서 분류를 했는데 이건 나중에 궁금해하시면 한번 보여 드리도록 하겠습니다. 재미는 없어서. 네. 그래서 분류 결과는 저는 개인적으로 되게 만족을 했습니다. 실제로 제가 거의 한 900건에 읽지 않은 메일이 쌓여 있었는데 제가 실제로 메일을 안 읽어서 그런 건 아니고요. 제가 AI로 메일을 이제 읽고 나서 답을 하는 과정을 이제 반복을 하다 보니까 메일이 좀 많이 쌓여 있어요. 그래 가지고 그런 것들 저 광고 같은 것도 안 읽고 그냥 넘어가니까 안 읽금으로 계속 쌓이죠. 근데 그걸 이제 싹다 정리해서 이제 0이 돼 있는 걸 볼 수가 있습니다. 그래서 여기 보시면 이제 분류도 굉장히 잘해 줬어요. 보면은 알림 종류도 세 종류로 따로 분류를 해 줬고 물론이 분류 기준은 제브가 세운게 아니라 오퍼스가 세워줬습니다. 오퍼스가 분류 기준을 세워주고 그거에 맞게 점수를 먹기는 분류를 하는 거를 이제 재부가 했다는 뜻입니다. 재브를 세팅하는 방법은 아주 간단한데 이제 이따가 저랑 그 여자친구 메시지 분류기 한번 만들어 볼 건데 일단은 제부에 회원 가입하신다면 웨이리스트 거셔야겠죠. 그다음에 하루 정도 지나면 통과일이 온데 인증하시면 되고요. 인증 후에는 이렇게 사이트에 접속할 수 있는데이 제브 콘솔 타입 세이프 AI라는이 콘솔 화면에 이제 오실 수가 있고 여기 API 키스에 들어오시면은 크리에이트 API 키로 이제 키를 받으실 수 있습니다. 그 키를 그냥 이용하시면 되는 거고요. 따로 충전을 하거나 하는 데가 없어 가지고 지금은 무료로 쓸 수가 있습니다. 그래서 유죄지를 보시면은 여기 이렇게 비용이 나오게 되는데 제가 무슨 실제로 돈을내는게 아니라이 정도의 비용을 너는 썼을 것이다라는 이제 보여주는 그 계기판이라고 보시면 돼요. 나중에 이게 이제 정식 서비스화가 되면은 크레딧을 충전을 해 가지고 쓰는게 되겠죠. 그래서 이제 입력에 대해서 다양한 분류를 해해보고 싶으신 분들은 이제 타입 세이프에서 제공하는이 재브라는 모델 이제 발전을 앞으로 더 하게 될 텐데 그때 이제 여러 가지 이제 테스트를 해 보시면 될 것 같습니다. 당연히 지금 하셔도 상관은 없고요. 지금 무료고 아무튼 과도하게 많이 요청하면 되기 시간이 생기는 거 같습니다. 자, 이제 간단한 실습을 같이 해 볼 건데 메시지 입력에 대해서 다양한 카테고리를 미리 설정을 하고 그것에 대해서 제 재으로 분류하는 실습입니다. 자연스럽게 그냥 오퍼스한테 그냥 우리 이런 앱을 만들고 싶고 메시지를 이렇게 분류를 해가지고 네가 점수를 먹겨서 결과를 이제 보여 주는 걸 해 줬으면 좋겠어라고 이제 할 건데 이제 그거에 대한 설계를 이제 오퍼스한테 맡기고 실제 메시지 분류 작업만 제브가 진행하는 방식입니다. 녀 메시지를 분류를 해 가지고 바로 답을 내주는 앱을 만들어 보겠습니다. 자 일단은 프로젝트 폴더를 준비를 해야겠죠. 저는 제브 테스트라는이 폴더를 하나 준비했고요.이 인바이어먼트 파일에는 이제 제브에서 받 아니 그 타입 세이프에서 받은 API 키를 미리 입력을 해 놨습니다. 그 당연히 모르시면은 입력할 수 있게 점인발먼트 파일 준비해 달라라고 하시면 될 거 같고요. 저는 오퍼스 5로 이제 준비를 하고 나서 이렇게 이제 프롬 프로팅을 하겠습니다. 썸녀에게서 메시지가 날라오면 이것을 앱으로 판단해서 어 점수를내는 앱을 만들고 싶어 웹을 만들고 싶다라고 하겠습니다. 이제 문서 같은 경우는 여기 제브 이제 도큐먼트를 그냥 그대로 주면 됩니다. 그래서 이렇게 도큐먼트 있고요. 녹스 타입세이프 AI 들어가시면은 여기에 이제 다양한 제 사례와 함께 설명들이 있거든요. 그래서 얘 얘 보고 이걸 보고 나서 알아서 코딩을 하라고 하겠습니다. 이제 나온지 얼마 안 된 거기 때문에 오퍼스는 모를 수도 있거든요. 당연히 모르겠죠. 여기를 보고 제부 사용 방법을 알아낸 다음에 코드 작성해. 섬료에게 오는 메일을 분석하고 메일에 아 메시지에 대한 점수 기준은 네가 알아서 세우고 분류 작업만 내부에게 시키면 돼. 예를 들어서 호감이 있는지 없는지 어 또 뭐가 있을까요? 다음에 날 또 만날 뭐 얘는 그냥 들지 않겠습니다. 부르게 알아서 하라고 하겠습니다. 사실 뭐 좋으냐 싫으냐 이것만 알면 되는데 이제 얘한테 맡기면 뭐 다양한 카테고리로 분석을 시킬 수 있을 것 같아요. 뭐 예를 들어서 그래도 너한테는 예의를 갖추고 있다. 뭐 이런 거라든지 뭐 그런 걸 할 수 있을 것 같은데 그냥 시켜 보겠습니다. 웹을 그냥 만들어 보라고 하겠습니다. 그러면은 이제 얘가 앱을 만들어 주겠죠. 아, 근데 제브가 얼마나 빨리 해석을 하고 분류해 주는지 알기 위해 타이머 기능도 넣어서 직관적으로 메시지를 분리하는 시간을 내가 볼 수 있게 해 줘. 대충 이렇게 넣어 주겠습니다. 그럼 오퍼스가 타입세이프에 이제 도큐먼트를 보고 나서 이제 코드 이제 생성을 좀 해 줄 거고요. 제가 메시지 예시를 넣어 주진 않았어요. 썸녀의 메시지를 넣어 주진 않았는데 얘가 이제 스스로 아 이런 썸녀 메시지에 대해서 카테고리 분류 같은 거 예를 들어서 예의를 차리고 있는지 없는지 아니면 다음에 너랑 또 만날 가능성이 있는지 없는지 뭐 이런 것들을 다 알아서 분류 기준을 만들어 주고 난 다음에 제한테 시켜 가지고 이제 세 가지 타입 여기 있죠. 어디 있죠? 여기 보이시죠? 예. 제가 저번 영상에서 설명을 했었는데 저기 보이시죠? 초이스로 할 건지 스코어로 점수를 매일 건지 노일로 0에서 1 사이의 값을 내뱉지 이제 뭐 그런 걸 정해 가지고 알아서 코드를 작성을 해 줄 겁니다. 그러니까 오퍼스의 역할은 이런 코드를 작성할 때 이런 question션스요 안에이 구성들 있죠? 급한지 안 급한지 실망한 건지 아닌지 디파트먼트 이거는 이제 저번에 얘기했던 그 업무 처리 부서 이제 결정을 할 때 처리 부서를 뭘로 할 건지 이제 이런 기준 설계를 해 주겠다는 거예요. 그래서 이제 나머지 분류는 자 이제 제부 네가 해 메시지 줬으니까 이거 이거 이거에 대해서 네가 분류한 다음에 다 점수 알려 줘. 그거 하는 걸 제한테 시키겠다라는 겁니다. 그 이제 분류에 대한 설계 작업 그다음에 애플리케이션 만드는 작업만 오버스가 하겠다는 얘기예요. 그래서이 구분을 정확하게 하셔야 됩니다. 일단은 앱이 다 만들어지고 나면 실행해 보면서 우리가 결과를 한번 같이 살펴보겠습니다. 자, 그래서 애플리케이션 결과가 이렇게 나왔습니다. 테스트를 막 혼자 진행을 막 혼자서 막 그냥 열심히 하고 있고요. 어쩌고 저쩌고 그래서 앱을 이렇게 띄워 줬는데 앱을 한번 보면서 얘기를 해 보겠습니다. 자, 일단 썸녀에게서 메시지를 뭐 입력하라고 하고 있네요. 아, 내가 이제 직전에 보낸 메시지와 썸녀의 메시지. 그래서 썸녀의 메시지를 아까 전에 받았던 거를 그대로 넣어 주겠습니다. 자, 여기서 이게 아니네요. 여기죠. 여기서 이제 썸녀가 예를 들어서 이런 메시지를 넣어 줬다라고 하겠습니다. 그리고 저는 이렇게 얘기했습니다. 오늘 어땠어? 뭐이 정도로 보냈다라고 하겠습니다. 그래서 재로 분류하기를 하면은 자, 요렇게 0.596초만의 596초만에 분류 작업이 끝났고요. 점수 계산도 빠르게 해가지고 입력 토큰은 1650을 썼네요. 보면은 썸지수는 역시 별로 안 좋습니다. 애매합니다. 결과를 굉장히 잘 불 분류를 해 주는 걸 볼 수 있습니다. 이게 일상적인 거는 금방 잘 분류를 해 준다는 거예요. 그러니까 매일 작업도 잘 해 줬겠죠. 보면은 약속 부채성 좋고 다정도 좋고 장난도 좋고 뭐 장난 플러팅 있는지 모르겠습니다. 근데 이건 좀 잘못한 거 같아요. 아무튼 이렇게 해 줬는데 선극기가 너무 크다. 마이너스 11점을 줬습니다. 그러니까 안 좋다는 얘기예요. 그래가지고 정성도 있고 자기 오픈도 어느 정도 하는데 뭐 점수 낮고 종결형 어쩌고 저쩌고 그래서 요런 식으로 이제 분류해 주는 걸 이제 재밌게 여러분들이 해 볼 수 있는 건데 뭐 예를 들어서 이런 식으로 영혼 없는 답장에 대해서 이렇게 왔다라고 해 보겠습니다. 그럼 이제 어떻게 하냐면 분류 이제 썸주수 거의 뭐 빵입니다. 예 오지 답하지 말라는 뜻이에요. 플러팅 이런 식으로 만약에 메시지를 하면은 이런 식으로 엄청 잘해 줍니다. 아 썸지에서 이것도 별로 안 좋네요. 어 플러팅인데도 별로네요. 애매한 썸 좀 아쉽네요. 이런 거는 이거 썸이 좋은 건데 그죠? 이렇게 착각하면 또 이제 안 되는 건가요? 아무튼 속마음 아 이것도 좀 낫고 성극기 아 역시 성금면 이렇게 약속 잡기 아 이건 좋네요.이 보니까 약간 좀 정직하게 답을 해 줘야 점수도 좋게 나오는 거 같습니다. 아 이건 좀 이해가 안 되네요. 이건 그래도 좀 괜찮은 거 아닌가? 제가 그래서 그 안 좋은 그 사례의 남자가 됐나요? 아무튼 네. 그래서 요런 식으로 분류해 주는 걸 볼 수가 있습니다. 보시면 아시겠죠? 굉장히 빠르게 분류를 해 주고요. 그리고 좀 이제 이런 약간 애매한 그 한국의 그 애매한 표현 같은 거 있죠. 이런 거에 대해서는 명확하게 이제 안 돼 있으면은 잘 이렇게 표현을 아 점수가 좀 애매하게 나오는 것도 좀 있는 거 같습니다. 보면 속마음 이런 거 하면은 사실 썸이거든요. 이건 썸 아니고 이거는 솔직 솔직히 제가 이거 오해하는 거 아니잖아요. 그죠? 근데 이거 46점 이거 좀 너무한 거 같습니다. 이거는 한 70점 되는 거 아닌가? 아무튼 요런 건 좀 아쉬운데 어쨌든간에 그 평균치는 좋다라는 거예요. 그래서 이런 거 보면은 완전히 긍정적이고 완전히 부정적이고 이러면은 완전히 잘해 준다는 겁니다. 그래서 명확한 분류를 해야 될 때는 제브가 지금 괜찮을 수 있다라는 생각이 좀 들어요. 그래서 좀 약간 일상적인 그 얘기긴 하지만 여러분들 보시면은 굉장히 잘해 주는 걸 볼 수 있고 0.5초 걸렸죠. 자, 근데 이런 거를 만약에이 LM한테 시키게 되면은 지금 이제 물론 오퍼스가 굉장히 잘해 주고 빨리 해주는 녀석이지만 답을 보면 이렇게 시간이 좀 걸려요. 그죠? 고민하고 막 이러고 있단 말이야. 이러고 있으니까 이런 거 이런 쓸데없는 얘기를 하니까 이런 거에 이제 드는 비용이 크다는 거예요. 점수만 딱딱 주면 되는 거예요. 이거에서 몇 점, 이거에서 몇 점 이런 거 주면 되는데이 쓸데없는 소리 하면서 이제 해석을 한단 말이죠. 예를 들어서 이렇게 이런 메시지가 왔는데 무슨 신호야? 원래 이렇게 하셨잖아요. 그럼 이제 구체화 중, 해석 중, 뭐 하고 고민하는 중 뭐 이런 난리를 친단 말이죠. 이렇게 할게 아니라는 거예요. 그래서 이제 그런데 이제 쓰이면은 약간 심박한 애플리케이션도 좀 나오지 않을까 싶어요. 이제 이런 썸녀 측정기 이런 앱 같은 거 만들어서 이거 바이럴하면 잘되지 않을까요? 뭐 저는 할 생각 없는데 한번 해 보세요. 근데 얘가 보면은 무슨 신호냐? 뭐 나한테 썸 있다는 거야? 계속 물어봐야 됩니다. 그죠? 계속 해석한다는 거예요. 그죠? 아까 내가 봤던 메시지 못 봤거든. 이렇게 왔다고 이놈아. 선극기 쪽이랍니다. 그렇죠. 데 이렇게 얻어낼라는 거예요. 그냥 선 긋기 90점 너한테는 완벽하게 선을 긋고 있다. 이렇게 90점 이렇게 주면 끝난다는 거예요. 이런 메시지를 줄 필요가 없다는 거예요. 이거 다 토큰이거든요. 이게 다 돈입니다. 여러분. 그래서 그런 거 할 필요 없이 하게 하면 어떻겠냐가 이제 제부의 컨셉이라고 보시면 됩니다.이 직관적인이 애플리케이션을 통해서 여러분들이 좀 이해를 하셨길 바라고요. 저는 또 유용한 영상으로 또 돌아오도록 하겠습니다. 오늘 영상은 여기까지입니다.