[시즌 4] 소넷 5.5는 얼마나 일을 잘할까? 쏟아지는 모델 속에서 정신을 잃지 않으려면? transcript

안녕하십니까. 오퍼스 5.5가 등장한지 일주일도 안 됐는데 소네 5.5가 나왔습니다. 그래가지고 뭐 소네 5.5가 좋으니 뭐 일부 벤치마크에서는 오퍼스 5.5를 를 뭐 뛰어 넘었느니 뭐 이런 얘기가 나와 가지고 제가 실제로 정말 그런 거 당연히 오퍼스보다 소이 좋을 리가 없는데 일단은 소넷끼이 얼마나 좋아졌는지 보고 나서 이제 나중에 오퍼스랑 비교를 해 보려고 이거 등장하자마자 제가 거의 한 두시간 넘게 작업을 해서 이것저것 좀 만들어 봤는데 뭐 사실 이것저것이라고 해 봤자 지금 2두시간 짧게 만들어 볼 수 있는 거는 사실 어 웹사이트 예시밖에 없어 가지고 하나는 이렇게 상품 이미지를 소개하는 이제 저는 차량을 이제 판매하는 이제 차량 하이엔드급의 차량을 이제 소개하는 라는 페이지 요거 세 개를 만들어 보라 그랬고 그다음에 하나는 그냥 정말 막연하게 그냥 3D랑 너의 그 최선의 성능을 내 가지고 최고의 결과물을 내보라고 하는이 결과물이 나왔는데 어 요게 상당히 의미 있는 결과가 나온 거 같아서 여러분들한테 보여 드리려고 이렇게 영상을 열었습니다. 그래서 일단은 영상에 이렇게 쭉 보시면 아시겠지만 3D 영상을 도전적으로 만들어라고 한 거는 보이시죠? 상당히 잘 만들어 준 걸 볼 수가 있고요. 하더라도 이제 웹사이트를 만드는 거에서는 충분한 성능이 될 거라는 생각이 들었습니다. 근데 이제 그 출론 정도에 따라서 이제 토큰 소모량과 그다음에 시간 이런 것들이 좀 차이가 있어 가지고 여러분들한테 이거를 보여 드리면서 비교를 한번 해 드릴 시간이 좀 필요하다 생각해서 이렇게 영상을 준비를 했고요. 그리고 이제 저는 오늘 이제 저의 주요 목표는 뭐였냐면 자 발표자로 넘어가겠습니다. 오늘 저의 목표는 뭐였냐면 바로 공심 문서를 여러분들이 어떻게 읽어야 하는지 벤치마크가 이제 계속 등장을 할 텐데 여러분들이이 벤치마크를 도대체 어떤 기준으로 봐야 되고이 벤치마크의 특정 그 용어들은 무엇을 의미하는지 그리고 마케팅 포인트에 따라서 이제 어떤 거는 걸러봐야 되고 어떤 건 좀 주요게 보는게 좋은지 뭐 이제 이런 걸 소개시켜 드리는게 오늘 영상의 목표입니다. 그래서 사이드 잘 만든다 뭐 이제 이런 얘기 하는 거는 마지막에 하고요. 여러분들하고 공부를 해 보면서 모델 성능과 그다음에 선택 가이드 요거를 이제 같이 진행을 해 보도록 하겠습니다. 네. 근데 뭐 이제 벤치마크 요약 같이 보고요. 그다음에 무엇을 언제 써야 되는지 함께 좀 이야기를 해 보면서 생각해 보는 시간을 가지는게 오늘의 목표입니다. 자, 벤치마크라고 하는 거는 이제 다들 아시겠지만 특정 영역에서 얼마나 일을 잘하는지 각종 점수 지표들을 보여 주는 건데 일을 이제 잘한다의 의미를 좀 쉽게 그냥 낮춰서 얘기를 하자면 성능이 얼마나 좋냐, 그다음에 속도가 얼마나 좋으냐, 가격은 얼마나 싸냐, 이제 이거를 다 합친게 우리가 진짜로 봐야 되는 일을 잘한다의 의미입니다. 그래서 벤치마크를 보실 때는 이거에 이제 주요 목표를 두시고 같이 보시는게 맞습니다. 자, 일단 소 5.5 공식 문서는 이제 언제 아 그렇죠. 손해 5.5는 이제 언제 쓰는게 좋은지 공식 문사에서 이제 소개해 준 내용이 있어 가지고 말씀을 드리자면 공식 문사에서 이렇게 얘기하고 있습니다. 오퍼스는 깊은 판단과 복잡한 일을 해야 된다. 그리고 소은 이제 범위가 명확하고 이제 일상은 뭐 버그 수정 뭐 문서 그러니까 어 쉽게 말하면은 지시를 내릴 자신이 명확하게 없다라고 하면 오퍼스를 쓰시는게 맞고요. 나는 지시를 명확하게 내릴 자신이 있다. 그러면 소대을 쓰라가 이제 그 엔트로픽에서 공식적으로 이제 얘기해 준 이때 이때 이렇게 써라라는 기준입니다. 그래서 일단 이렇게 써야 써야 된다는 생각을 가지고 접근을 하는 거는 맞는 거 같아요. 자, 가격은 이제 공식 문사에서 주장하는 걸로는 오퍼스 대비 이제 반이라고 하는데 근데 이건 좀 자세히 들여다봐야 됩니다. 그건 이따 같이 볼 겁니다. 자, 그리고 벤치표가 이제 계속 나와요. 이런 것들이 이제 계속 나오는데 여러분들이 이거 보시면은 그냥 뭐 뭐냥 이게 좋은가 보다. 그래서이 파란색 표시된 것만 보고 이렇게 넘어가시죠? 그러면은 막 우와 소네 5.5가 오퍼스보다 훨씬 좋은네. 이제부터 소네 5.5 써야 되나? 근데 이건 뭐지? 모르겠고 이게 좋다고 하니까 쓰자. 이렇게 하시는 분들 대부분일 겁니다. 근데 그러시면 안 됩니다. 자, 일단 표해석을 좀 같이 해 볼 건데 제가 최대한 쉽게 설명을 드리겠습니다. 자, 여기이 여러분들이 이제 오늘 보셨던이 소넷이 오퍼스를 뛰어 넘었어요. 자, 일단은 치수로 봤을 때는 그래봤자 4% 좋아진 겁니다. 4% 좋아진 건데 지금이 터미널 벤치라는게 이제 중요한 용어예요.이 아래 있는 용어를 용어를 보셔야 되는데이 터미널 벤치라는 건 뭐냐면요. 여러분이 이렇게 터미널 환경에서 얘한테 작업을 시키게 됐을 때이 작업을 시키게 됐을 때 결과물이 나오잖아요. 그래서 그걸 끝까지 잘 수행하는 능력을 이제 터미널 벤츠라고 합니다. 그래서 쉽게 말하면 그냥 바이브 코딩 잘하냐? 요즘 바이브 코딩이라 하면 뭐죠? 시키면은 얘가 서버 세팅하고 개발도 진행하고 필드도 하고 그다음에 버그 수정도 하고 테스트도 하고 그래서 끝까지가 가지고 다 했어요. 해서 이렇게 내보내는 그걸 우리가 이제 터미널 벤츠라고 한다는 거예요. 그래서 그게 손에 5.5가 오퍼스에 대비해서 이제 4% 좋아졌다라는 걸로 이제 보여지고 있는데 아 이거 좀 자세히 봐야 됩니다. 일단 자세히 볼 겁니다. 자 그다음에이 프런티어 코드라는 거는 무엇이냐? 그래서 그 코드가 실무에 쓰일 정도로 진짜로 좋은 거냐에 대한 얘기입니다. 그래서 여기서부터는 점수가 당연히 떨어지죠. 그죠? 당연히 5퍼스 5.5가 좋을 수밖에 없습니다. 그리고 여기는 이제 좀 약간 쫄리는지 이게 좀 특이점입니다. 맥스로 했을 때는 오히려 떨어졌어요. 맥스가 훨씬 더 추론을 깊게 하는 거거든요.

Xi는 출론을 맥스보다는 덜하는 건데 얘가 좀 더 잘 났습니다. 그래서 이게 약간 어 소은 그래서 진짜로 코드가 좋으냐 그럼 물음표가 맞을 것 같습니다. 자 그리고 커서 벤츠라는 거는 여러분들 그 커서 프로그램 아시죠?요 그리고 커서 프로그램 여기에서 이제 내부적으로 이제 또 점수를 먹기는 그 기준들이 있는 거 같아요. 근데 이제 점 대충 설명을 하자면 커서치 같은 경우는 꽤 막연한 작업들 아니면은 막 좀 어지러져 있는 그런 작업들을 얘네가 얼마나 잘 처리할 수 있는가 그거를 보는 건데 아무튼 그냥 커스에서 평가한 점수라고 합니다. 당연히 오퍼스가 훨씬 높고요. 여기가 이제 소네 5.5죠. 그래서 점수는 근데 거의 비슷한 거 보니까 소이 좋아진 거 같기는 해요. 근데 이것도 자세히 봐야 됩니다. 그다음에 GDP 밸류 이제 AA라는이 평가는 뭐냐면 44개의 직업 아홉 개의 산업 아홉 개 산업 아홉 개가 아니라 아홉 개의 산업에서 실무 과제 평가를 하는 거예요. 그러니까 실무 작업을 해 보는 겁니다. 코드 작업을 한다기보다는 진짜로 우리가 사무 업무에서 하는 실무 작업을 하는 건데 직업을네 44개로 나눠 가지고 평가를 하는 건데 이게 좀 특이한게 순위 비교에서 점수 매기는 방식이 있어서 이해로 방식이라고 합니다. 그래서 이해로 방식은 뭐냐면요. 그 리그 오브 레전드 좋아하시는 분들 이제 아시는 이제 그 그 랭겜임 시스템에서 옛날에 점수 줬던 겁니다. 그래 가지고 이게 쉽게 얘기하면은 이제 둘이 경쟁을 붙여요. 모델끼리 이제 다이다이를 뜨게 합니다. 다이다이를 뜨게 해 가지고 이기면 점수를 주는 거예요. 근데 못하는 놈 이기면은 점수를 많이 안 줍니다. 하는 놈 이기면 점수를 많이 줘요. 그런 방식으로 이제 점수를 먹긴게 이해로 방식이라 이건 상대 평가입니다. 그래 가지고 뭐 점수가 넣다가 막 압도적으로 좋고 비슷하다고 해서 그게 진짜로 그럼 잘한 거냐 이걸이 알 수가 없어요. 왜냐하면은 얘가 경쟁을 붙은 애들이 예를 들어서 확률적으로 따져서 봤을 때 못하는 놈들만 잘 이기다가 잘하는 놈 못 이겨 가지고 점점 확 떨어질 수도 있잖아요. 그래서 그거는 이제 그냥 참고용으로만 보시는게 좋습니다. 근데 어쨌든간에 근데 높으면 좋은 거겠죠. 누구를 잡고 올라오든 점수가 계속 점수 따가지고 올라오면 좋은 거니까. 그래서 오퍼스가 이제 소에 비해서 한 2점 정도 높은데 별로 차이가 없어 보이는데 이제 실제로 내부적으로는 어떻게 경쟁을 붙였는지 모르기 때문에 그냥 MMR 정도라고 생각하고 보시면 될 것 같습니다. 그다음에 AA 브리프 케이스 같은 경우는 긴 호흡의 지식노동 벤치만큼입니다. 그래서 코드 작업을 거의 안 하는 거고요. 그래서 여기 보면은 얘도 점수가 거의 비슷합니다. 자세히 봐야 됩니다. 그리고 여기 이제 휴머니티 레스트 이그잼 같은 경우는 학문 분야 전문가 문제입니다. 그래서 보면은 한 2% 정도 3% 정도 높죠. 그래서 뭐 이렇게 높다 이렇게 보시면 될 거 같아요. 그래서 이제 전반적으로는 오퍼스가 이제 근소하게 높지만 어 소의 노점 모도 상당히 괜찮은데 이런 것처럼 지금 표를 지금 보여 주는게 지금 엔트로픽에서 주장하는 표입니다. 스월드 같은 경우는 이제 여러분들이 아시는 컴퓨터 유즈고요. 컴퓨터 유저는 이제 아시겠지만 컴퓨터 조작해 가지고 실제로 뭔가를 하는 거. 그래서 보면 1%밖에 차이가 안 납니다. 그다음에 이제 차트 차트라피 같은 경우는 이제 비주얼 차트레 recogn이션 여기 이제 레코니션이죠. 보면은 요것도 한 3%밖에 차이가 안 납니다. 그래서 이제 이미지 해석 능력이라고 보시면 될 것 같아요. 여기는 컴퓨터 요죠. 진짜로 컴퓨터 사용하는 거예. 이렇게 그 예전에 우리 G 채 GPT에서 얘가 마우스 커서 막 이렇게 가상을 띄워서 막 이거 누르고 저거 누려서 하는 그거 있죠? 그걸 컴퓨터 유저라고 합니다. 별로 차이 없어 보입니다. 근데이 표에 있는 거는 하나 숨겨진 사실이 있습니다. 그게 뭐냐면 바로 에포트가 이제 여기서 노노력이라고 하죠. 노력 노력이라고 하는 거 여러분들 노력이라고 한다면 여기 요걸 얘기합니다. 요거 노력 이거를 맥스로 했을 때 이제 대부분의 표에 표시가 나와 있기 때문에이 맥스로 그러니까 토큰을 다섯 배 이상 사용한다라고 하는데 중간에 비해서 다섯 배 이상 사용한다는데 이거랑 이제 비교를 한 거예요. 근데 오퍼스는 맥스를 썼을까? 저 미드 미디엄 쓴 거 같은데 제가 공식 문서를 더 뒤져보고 왔어야 되는데 일단은 어 제가 봤을 때는 아 일단 어차피 근데 볼 겁니다. 그 그래프에서 볼 거니까 이제 같이 보면 되겠네요. 제가 그거 같이 보려고 미리 표로 정리를 안 해 놨습니다. 어쨌든간에 엔트로픽의 주장대로면 오퍼스보다 훨씬 싸고 대부분의 작업을 비등비등하게 이제 쓰는 이제 손내 5.5가 등장을 했다라는 것인데라는 것인데 이것도 아마도가 아니라 이거는 일단 같이 그래프를 보면 정확하게. 자, 근데 이제 제가 여기서 이제 의문을 삼았던 건 뭐냐면 여러분들이 실제로 저거 맥스 모드를 항상 쓸는 아닙니다. 왜냐면 비싸거든요. 토큰을 다섯 배나 쓰는데 예를 들어서 뭐 저 같은 사람이야 뭐 100달러도 썼다가 200, 200달러도 썼다가 왔다 갔다 하면서 이제 쓰고 있지만 어 사실 지금 일반 유저분들은 20달러 요금들을 쓰시거든요. 그러니까 손에 5.5가 아무리 싸다고 해도 맥스 모드로 하게 되면은 토큰을 굉장히 많이 쓰게 됩니다. 그래서 비싸기 때문에 성능과 비용을 이제 같이 둔 그래프도 같이 봐야 돼서 이제 이거를 지금 같이 볼 겁니다. 가지고요 그래프를 지금 같이 보려고 제가 사이트를 같이 띄어 드겠습니다. 제가 무슨 뭐 내내 망상을 하는게 아니라 실제로 공식 문서에 나온 그래프를 좀 같이 볼 겁니다. 자, 이걸 보시면 되는데. 자, 터미널 벤츠 아까 뭐였죠? 바이브 코딩 얼마나 잘하냐. 자, 여기 보시면 소넷이 이제이 하늘색이고 오퍼스가 이게 주황색입니다. 보시면은 맥스에서 뛰어넘기 했습니다. 맥스에서 뛰어넘었는데이 가격을 보시면은 1달러 정도 차이가 나요. 그러니까 한 4% 정도 자라면서 4%가 아니라 한 6% 정도 자라면서 맥스를 써 가지고이 코스트 어템트라 해서 이제 시도마다 쓴 코스트가 제일 많이 쓴게 소 5.5예요. 그러니까 성능은 한 6% 정도 좋아졌을 수 있지만 코스트는 제일 비싼 겁니다. 그러니까 돈을 제일 많이 들여서 한 거기 때문에 이건 제 생각에 오퍼스 5.6에서 조정이 되면 이렇게 다시 올라갈까 싶어요. 어쨌든 그 엔트로픽에서 봤을 때 이게 좀 이상한 거거든요. 이게 소네을 그렇게 만들면 안 되는 건데. 그래서 어쩌면은 오퍼스의 성능 상승을 또 기대를 해 볼 수 있는 그런 그래프라고 생각이 됩니다. 어쨌든 이거는 소닉이 잘했다라고 하니까 오케이 맥스로 해 가지고 바이브 코딩 시키면 어쨌든 소이 좀 끝까지 잘하나 이제 싶을 수 있습니다. 근데 여기 에이전트 코딩 프런트어 코드 그러니까 진짜로 보면 그 코드가 쓸 만하냐 그럼 이제 보시면 이제 아시겠지만 맥스에서 확수가 떨어집니다. 그러니까 이거는 오퍼스 5.5가 헌업에서 쓸 수 있는 정도의 코드를 더 잘 뽑아 준다는 거예요. 그러니까 돈을 많이 썼는데 끝까지 작업을 잘했다라고 이제 처음에 이제 볼 수 있는 처음에 이렇게 딱 면으로 보여주면 잘했다라고 느껴지긴 하지만 실제로 그거를 이제 실무에서 쓸 정도로 좋으냐 예를 들어서 보완적으로도 좋으냐 뭐 이제 이런 걸 따져 보면은 돈은 딜이다 썼어요. 20달러 썼는데 46%라는 거죠. 얘는 상대적으로 6달러 쓰고 54%입니다. 그러니까이 두 개의 밸런스만 생각해 보면 솔직히 말해서 소넷을 가지고 맥스를 쓸 이유는 전혀 없다는 겁니다. 오퍼스 그니까 맥스를 쓸 거 오퍼스 5. 쓰는게 맞다라는 거죠. 그리고 여러분들 대부분은 사실 맥스를 쓰진 않을 거고 엑스트라 하이나 아니면 하이를 쓸 겁니다. 그죠? 그래서 엑스트라일 같은 걸 이제 비교를 해 보면은 소넥 같은 경우가 결국 떨어집니다. 그러니까 사실은 이제 오퍼스가 무난하게 좋다라는 거는 어쩔 수가 없는 거 같아요. 여기서도 이제 근소한 차이로 이제 소시 앞서고는 있으나 또 에이전티 터미널 여기에서는 점수가 낮기 때문에 밸런스를 생각을 해 보면은 어쨌든 오퍼스가 좋다라는 거 어쩔 수가 없는 거 같습니다. 커서 벤츠 같은 경우도 마찬가지고 커서 벤츠 같은 경우도 당연히 이제 오퍼스가 소에 비해서 난해하고 복잡하고 어지럽혀져 있는 여기 써 있죠.이 이 커서벤치는 이제 이밸레이 이제 비교 검증을 한다.이 평가를 한다. 비교를 한다. 엠비규어스 모후하고 멀티파일 테스크 이제 이런 걸 시킨다는 거예요. 이제 복잡한 거 좀 시켜 보겠다는 겁니다. 약간 정신 없는 거 해 봤을 때 오퍼스가 좋다라는 겁니다.이 비용도 보면은 손해 맥스랑 이제 요런 거 비교해 보면은 당연히 여기 돈 많이 썼으니까 이제 근소하게 앞서는데 우리 쓰고 있는 엑스트라이 같은 거 이제 이제 써 보면은 차라리 엑스트라 하이나 하이 같은 거 쓰는게 맞지 않을까 이제 이런 생각이 들 정도로의 이제 차이가 보여집니다.

AF 케이스 같은 경우도 마찬가지고요. 여기도 보면은 오퍼스가 훨씬 더 싼 가격으로 잘 해 주고 있는 거를 볼 수가 있습니다. 그래서 이제 여기이 표에서 에이전트 코딩에 있는이 70.6%라는 거는 사실 여기에 있는이 하나의 지표만 이제 평가를 해 준 겁니다. 그 여기 보면은 5버스 66.4%라고 하니까 제 생각에는 여기 엑스트라 하이하고 이제 소의 맥스를 비교를 한 거 같습니다. 그렇죠? 그래서이 표를 보실 때는 여러분들 자세히 보셔야 돼요. 자세히 이거만 보시고 우와 소네 5천가 진짜 좋아졌나? 저는 종합병을 평가했을 때는 무작 무작점 좋다라고 기 좀 모한 거 같아요. 우리 우리가 사실 우리 봐야 될 부분은 여기 맥스가 아니라 돈을 이렇게 많이 쓰는 쪽이 아니라 진짜 많이 쓰면 엑스트라 쓰시겠죠. 보통은 미디엄이나 하이를 놓고 많이 쓸 텐데 미디엄하고 하이에서 얼마나 잘하는지 봐야 됩니다. 근데 소이 역시 미디엄하고 특히 미디엄 같은 경우 가면은 거의 뭐 형편 없거든요. 그래 가지고 이제 일상 작업 20달러 하시는 분들은 그래도 이제 만족스러운 거는 이렇게 그립 그래 그래프가 일상 작업 쪽에서 A 브리프 케이스 같은 경우에서는 오퍼스랑 굉장히 비슷해졌기 때문에 일상 작업할 때는 이제 미디엄 상당히 괜찮지 않나 이제 뭐 이런 생각이 들 수 있는 그런 벤치라고 보시면 될 것 같습니다. 여전히 오퍼스가 상여하고 있는 거는 그거는 뭐 자명한 사실이에요. 그래서 제가 이제 굳이 오퍼스하고 이제 소넷을 이제 사이트 만들기 비교 안 한 것도 있고요. 뭐 사이트라는게 사실 또 비교해 봐도 또 이렇게 막 티가 많이 나지도 않고요. 그래서 이제 그래프를 같이 한번 살펴봤으니까 여러분들 그 가이드하실 때 어느 정도 참고가 되셨으면 합니다. 자, 이제 성능 테스트를 제가 해 봤는데 아까 전에 이제 오프닝 때 제가 사이트를 보여 드렸죠. 이제 미디엄과 엑스트라 하이와 맥스로 이제 총두 두 번씩 작업을 시켰는데 프로트를 말씀을 드리겠습니다. 자, 저는 이제 요렇게 미디엄과 엑스트라 하이와 이제 맥스에다 동일한 걸 넣었습니다. 하이엔드 급의 자동차를 판매하는 기업에 상품 소개 페이지를 만드는게 목표였고요. 이미지를 당연히 못 만들기 때문에 이건 제가 GPT API를 빌려줬습니다. 그래서 선버스트 모델을 쓰라고 2.5의 선버스트 모델을 쓰라고 명확하게 지시를 해 줬고 나머지는 그냥 알아서 끝까지 해서 사이트를 띄워라는게 목표였습니다. 자, 그래서 이제 여기에서 만든 사이트는 로컬 호스트 3,000에 띄었고 얘 같은 경우는 어디 띄었죠? 로컬 호스트 4173에 띄었고 얘는 작업을 엄청 길게 해 가지고 얘는 사이트를 어디 뛰었지? 아, 3,100에다 띄었습니다. 그래 가지고 이제 비교를 해 보겠습니다. 일단 3,000번이죠. 3,000번 보시면은 요렇게 사이트 만들어 줬어요. 그래서 만든 거 보면은 좀 그냥 그렇습니다. 뭐 이렇게 대단한가? 근데 예전에 우리 그 사이트 그 밤던 시절을 또 생각해 보면은 괜찮아진 건 또 사실입니다. 그래서 이게 미디엄을 해도이 정도의 간단한 사이트는 그니까 일상적인 우리가 뭐라 해야 될까요? 일상적인 그냥 랜딩 페이지 만드는 정도에는 그래도 충분하다라는 생각이 듭니다. 여기도 잘 다 동종 동작하고요. 뭐 랜딩 페이지니까 당연히 안 될 리가 없겠죠. 그리고 이게 이제 4173이죠. 이게 이제 엑스트라 하이에서 시킨 작업입니다. 엑스트라 하이. 뭐 조금 이제 화면을 넓게 쓴다. 그다음에 다양한 그리드를 쓴다. 이런 거에서 좀 차이가 좀 느껴졌습니다. 확실히 더 좋아 보이긴 하죠. 그래가지고 대부분 사이트에서 있는 이런 막 소재를 결정하는 거라던가 이제 이런 것들 페이지를 좀 더 성익게 해주고 마지막에 프라이빗 상담 요청까지 이게 자세히 나오는데 보면 약간 퀄리티 차이는 확실히 있는 거 같아요. 그렇지만 뭐 이거를 해서 막 월등하게 좋아졌냐 그러면은 뭐 화면 좀 넓게 쓰는게 좋은 거 같고 나머지는 뭐 그냥 비슷해 보입니다. 그다음에 마지막 대망의 맥스입니다. 맥스를 썼을 때는 요렇게 인터랙액션도 살짝 넣어줬고요. 지금 내려갈 때 보면은 삭하고 뭐가 한번 지나갔죠. 그리고이 쭉 내려가면 여기 있는 사이트 이제 랜딩 페이지인가 다 비슷한데 화면을 넓게 쓰면서도 다체롭게 쓰려고 하는 그런 경향성 섹션마다 다른 것을 보여주기 노력한게 보입니다. 그래서 맥스를 했을 때는 뭐 소네 맥스 레딩 페이지 만드는 거 괜찮은 거 같습니다. 잘 만드는 거 같고요. 솔직히 말하면은 요거 두 개는 차이 좀 그렇게 크게 느껴지지 않았어요. 왜냐면 디자인이 비슷하고 이제 당연히 이제 디자인은 전문적인 디자인이 그 용어라든지 그런 부분이 좀 건드려주고 해야겠지만 이렇게 세 개를 비교했을 때는 그렇게 결과가 나왔습니다. 그러면 이제 비용하고 시간은 어떨까요? 자, 이제 여러분들 이제 보시면 아시겠지만이 미디엄 같은 경우는 소요 시간이 1분 46초 걸렸습니다. 되게 빨리 작업을 했어요. 그리고 토크은에 약 54,000 토큰 정도 썼다라고 합니다. 그러니까 54,000 토큰 써 가지고 이제 작업한 거예요. 얘는 어떻죠? 15분 작업하고 20만 토큰 썼습니다. 거의 네배를 썼죠. 맥스는 어떨까요? 시간 38분입니다. 거의 넘어갈 때마다 여기서 한 15배 늘어서 또 두 배 이상 늘어납니다. 토큰은 또 얼마나 썼냐면은 출력과 신규 입력 합치면 73만 토큰을 썼어요. 그러니까 토큰을 진짜 많이 씁니다. 그래가지고 맥스가 시간도 시간이지만 토큰을 정말 많이 써요. 여기 보면은 뭐 제가 뭐이 이거를 다 비교를 하면서 이게 디테일하게 얼마 얼마냐 이렇게 할 순 없지만 실제로 이렇게 모델이 올라가면은 토큰을 써야 되는 거는 배수로 막 증가를 해 버립니다. 시간은 말 말할 것도 없고요. 그래서 시간을 많이 들리고 이제 토큰을 많이 사용한만큼 당연히 결과물이 잘 나온다가 제 생각인 거 같아요. 그래서 이제 비교를 해 봤을 때는 이런 차이가 있습니다. 토크는 거의 여기서 여기로 올라갈 때 두 배가 늘어났습니다. 엑스라이에서 맥스가 딱 한 개의 차이거든요. 여기에서 여기 차이는 한 두 중간에 미디엄 파 엑스트라 그니까 한 달리 걷는 거죠. 한 달이 걷는 거 얘는 그냥 아니 두 달리 걷는 거라고 하죠. 두 달이면 여기 한 달이 걷는 거죠. 그래서 두 다리 건는만큼 많이 늘어났고 한 달리 건만큼 그만큼 또 많이 늘어났습니다. 그래서 이제 뭐 장타는 뭐 그냥 목표가 제가 대부분 명확하게 줘 가지고 이제 브리프가 이제 디테일했죠. 디테일한 브리프를 줬을 때는 뭐 결과가 그렇게 나왔습니다. 그래서 이제 명확한 브리프를 준 이제 자동차 사이트가 그랬다는 거예요. 그래서 이제 정리를 한게 여기 있습니다. 그래서 보면은 5.4만 토큰 20만 토큰이라 그랬는데 여기 지금 이제 좀 수정을 해야 될 것 같아요. 제가 아마 이걸 보고 20만 토큰이라고 한 거 같은데 얘 다시 물어볼까요? 그래서 몇 만 토큰 썼다는 거니? 물어보면 됩니다. 테스트를 할 때 제가요 표를 잘 또 여러분한테 또 오해가 있으면 안 되니까 혹시라도 모르니까 20만 도크냐고 했는데 다시 표를 보니까 아닌 거 같아서 물어보겠습니다. 제가 오디수 20만 토큰을 봤는데네 훈란을 들여서 죄송합니다. 아무튼 70 73면 토큰인 거 같아요. 맞는 거 같습니다. 73만 도큰으로 일단 생각을 하겠습니다. 그래서 얘가 뭐 헷갈리게 해서 미안한다 뭐 이래 가지고 얘기해 주고 있는데 73만 토큰일 것 같습니다. 73만 토큰 아 여기 아 여기 엑스트라구나. 아 제대로 썼네요. 73만 토큰입니다. 그래서 제대로 썼네요. 제가 잘못 보고 얘기했네요. 죄송합니다.이 보면서 영상 보시면서 어 바보 같은 사람 이거 제대로 적어 놓고 왜 그래? 죄송합니다. 예. 량 기준 47만. 약 74만. 숫자 정체. 다음에 이중 집게드. 아, 이중 집계다. 47만이다. 오케이. 47만. 47만 토큰 썼습니다. 두 배 정도 늘어났네요. 그래서 시간 두 배 토큰 두 배. 시간 15배 토큰은네 배. 뭐이 정도라고 보시면 될 거 같아요. 자, 그럼 이제 약간 모호하게 지시를 했던 3D 사이트를 보겠습니다. 진짜 모호하게 지시했습니다. 뭘 하라고 얘기도 안 했어요. 그냥 인터랙션 굉장히 다양하고 복잡 복잡하면서도 균형 있게 어우러지는 웹사이트 만들어 봐라. 3D 효과까지 사용해 봐라. 모델 성능 평가 중이다라고 해서 약간 도전적인 과제를 줬고요. 나머지는 뭐 그냥 알아서 하라 이제 토큰 보고 하고 경쟁사 모델 대비 테스트 중이다라는 얘기를 넣어 가지고 얘가 이제 좀 약간에 빠직할 수 있게 뭐라고 열심히 해 주겠어? 이런 효과가 있다라고 해가지고 요거 한번 넣어 봤습니다. 그래서 동일하게 넣었을 때 예, 요것도 결과를 보면은 이제 일단 결과를 보겠습니다. 일단은 굉장히 좀 실망스럽게도 이제 미디엄 같은 경우는이 마우스 커서가 안 움직여요. 지금 여러분들이 가운데이 점 보이시죠? 안 움직입니다. 그래가지고 버그가 있습니다. 아무리 새로 고치면도 안 움직입니다. 근데 쭉 내려가면서 보시면은 도전적인 과제를 줬을 때 훨씬 더 괜찮아 보이는 결과가 나와요. 그래서음 이제는 그냥 애매하게 넘겨 주고 그냥 받은 다음에 수정을 하는게 맞나? 그런 생각이 듭니다. 근데 뭐 되는게 없어요. 지금 보면은. 그죠? 그래서 얘는 의미가 없다. 그래서 아까 전에 그 얘기를 했던 그 터미널 벤치와 그다음에 나왔던 그 평가 평가 뭐죠? 여기 요거 터미널 벤치와 프런트어 코드 확실히 다르다. 프런트어 코드가 진짜로 좋으냐? 동작을 안 하니까 완성은 했는데 동작을 안 합니다. 그래 가지고 예 그런 결과가 있는 거 같고요. 그다음에 요게 이제 엑스트라이입니다. 엑스트라이로 맞는 거는 여러분들 좀 깜짝 놀라실 수 있습니다. 엑스트라이는 이렇게 소리가 있냐 없냐 없는 걸로 들어가 보면은 쫙 펼쳐지면서 도전적인 이런 걸 만들었습니다. 멋있게 화려하죠. 아주 3D가 쓰여지고 막 드래감 막 공도 굴러가고 막 아주 그냥 난리가 났습니다. 하면서 이제 행성을 소개하는 거. 3D라고 하면 다 행성을 만드나 봐요. 그래서 행성을 이렇게 소개하는 이런 멋있는 사이트를 만들어 줬습니다. 정말 대단하죠. 여러분들은 이제 이런 사이트 만들 때 그냥 좀 더 도전적으로 프롬프트를 구성하셔도 좋을 것 같습니다. 그래서 보면은 아주 멋있는 인터액션이 감이 된 이런 사이트가 나왔습니다. 이게 엑스트라 해입니다. 맥스 아닙니다. 자 맥스는 어떻냐? 자, 맥스는 이렇게 만들어줬습니다. 맥스는 마우스 커서 이렇게 좀 신경을 좀 써 줬고요. 얘도 내려가면서 보시면은 얘도 소리를 켤 수가 있어요. 소리를 들으면서 우주를 살펴볼 수 있는 얘도 또 우주 우주와 시간을 만들어 줬습니다. 그래서 내려오면서 보시면이 뒤에 있는 모델링을 un 분리하는 것까지 얘는 그러니까 이렇게 좀 디테일하게 싹 이게 스크롤바가 내려가면 이런 핵 뭐 좌우선 톱니열 다이얼바 이런 거를 가상의 물질을 소개하는 이런 멋있는 영상을 만들어 줬습니다. 그래가지고 보면 이걸 누를 때마다 저 뒤에 있는 모델링 구성이 다르게 옮겨가요. 그래서 이걸 파는 거라고 생각했나 봐요. 그래서 이런 오브젝트를 파는 이런 사이트를 만들어 줬습니다. 엄청나죠. 그래가지고 보면 누를 때마다 이런 효과가 달라지고 그래서 맥스로 했을 때는 확실히 그만한 뭔가가 나온다. 시간 배속도 이렇게 굴리면은 빨리 돌아가는 거, 돌아가는 거. 그래서 렇게 해가지고 결과를 만들어 줬습니다. 그래서 어떻게 이런 물질을 만드는지 이런 사이트를 뭔가 판매한 사이트 만들어 줬어요. 보 보이시면 놀랍죠? 그래서 이렇게 해가지고 약간 뭐 천체 오브젝트를 보는듯한 그런 거를 얘가 만들어 줬습니다. 그렇기라고 하면 음악도 나오고 음악이 나옵니다. 아 오르골 같은 거네요. 아주 하이 엔드급의 오르골을 만드는 그런 사이트 뒤에 쫙 사라지면서 요런 걸 만드는 걸 해 줬기 때문에 얘랑 얘랑 비교한다면 솔직히 말해서 어 처음에 별 차이가 없나라고 느껴지겠지만요 작은 오브 하나하나를 맥스로 구성을 한 겁니다. 그래 가지고 이거를 사이트에서 인터랙액션에 따라서 이거 합쳐지게 만들어 줬기 때문에 얘가 조금 더 잘했다라고 볼 수 있는 거겠죠. 그래서 돈을 들만큼 잘했다. 그럼 이제 얼마나 돈을 들여서 잘했냐? 자, 일단은 처음에 동작도 안 하는 힘 우주 관측소 얘 같은 경우는 이제 토큰을 얼마 썼냐면 7만 토큰 썼고요. 2분 30초 작업했습니다. 그니까 미디엄은 여러분들 그 아주 도전적인 과제가 있는 그런 프롬프트 웹사이트 한해지만 잘 못 한다는 얘기예요. 빨리 하긴 했지만 하지만 빨라쫄죠. 엑스라엘 같은 경우는 굉장히 잘 나왔는데 34분 작업을 했습니다. 34분 작업했고요. 검증과 디버인 과정 진행을 해 줬고요. 그리고 나서 이제 토크는 그래서 얼마나 썼냐라고 하면은 예 거의 신규 입력 출력 토큰 이거 합치면은 캐시일게 빼고요. 그럼 35만 토큰 35만 토큰이라고 하는데 그 정도 쓴 거 같습니다. 아 57만 토큰이네요. 57만 토큰 썼습니다. 얘는 57만 토큰 썼고요. 얘 같은 경우는 이제 작업을 엄청 길게 했고요. 어 작업 시간은 거의 어디죠?에 에 시간이 어디지? 얘가 보고를 너무 길게 하니까 58분 걸렸습니다. 거의 1한시간 작업을 했고요. 한시간 작업하고 거의 100만 토큰을 썼습니다. 100만 토큰 쓰면이 정도 한다는 거예요. 소네도 이제이 정도 한다는 겁니다. 근데 100만 토큰 아시겠지만 컨텍스트 윈도 다 쓴 겁니다. 컨텍스트 윈도 싹 다 썼습니다. 그래 가지고 작업을 한게 요렇게 나왔다는 겁니다. 그래서 이제 결론이 뭐냐면은 여러분들 이제 모델이 이제 등장을 새로 했을 때는 항상 저 앞에 있는 벤치마크를 한번 보시는게 좋고 이제 만약에 내가 시간이 없어서 좀 볼 시간이 없다라고 하시면은요 그래프는 한번 꼭 보세요. 이게이 앞부분이 이게 앞섰다라고 해서 진짜로 반드시 좋은 건 아니고요. 맥스 같은 거는 이제 비교를 해 보면은 이런 복잡한 웹사이트 만드는 것도 소이 상당히 잘합니다. 이제 보통 이렇게 막연한 거 시킬 때 오퍼스만 써야 된다라고 생각하시는 분들 많은데 소도 상당히 이제 잘해 주는 걸로 보이니까 얘네 주장이 그렇게 틀린 건 아닌 거 같아요. 근데 돈을 많이 쓴다는 점에서 다른게 없으니까 평상시에 그냥 오퍼스 그게 이게 뭘 할 때는 오퍼스 쓰고 뭘 할 때는 소네 쓰고 막 이것도 엄청 귀찮거든요. 아 뭐 이런 사용성이나 이런 걸 실제로 따져보고 나서 생각을 해 봤을 때는 그냥 오퍼스를 두고 쓰는게 맞지 않나? 굳이 뭐 소네 이거 좋다고 한 것 때문에 소네을 계속 써야 되나? 그럼 뭐 이거 할 때는 소네 쓰고 뭐 이후에는 막 오퍼스 뭐 조정해 가면서 계속 써야 되나? 그런 생각이 막 드니까 이제 이러면 귀찮음을 이제 그냥 겪고 싶지 않으시면은 그냥 오퍼스를 쓰는게 맞지 않나 싶고요. 그 소넷이 지금 5.5가 뭐 이게 벤치마 마킹이 뭐뭐 터미널 벤치가 더 좋아졌다고 해서 뭐 난린데 제가 봤을 때는 그냥 여러 가지 이것저것 뭐 사용성이나 따져 봤을 때는 여전히 오버스가 좋은 거 같고요. 그다음에 저희 같이 이제 토큰을 200달러 쓰시는 분들 특히 200달러 개정도 많이 쓰시는 분들 있는데 그러면은 그분들한테 뭐 의미가 있나 싶기도 하고 근데 뭐 사실 하이나 미드에서 왔다 갔다 하는 사람들 입장에서는 무지인가 싶긴 합니다. 여기 성능이 너무 안 좋아서 특히 미디엄 같은 경우는 성능이 너무 안 좋아서 신인 거 같긴 하지만 과거를 또 생각해 보면 굉장히 좋아진 거 같네요. 그래서 이제 정리를 하자면 일반 작업 소는 거 같습니다. 뭘 써도 오퍼스에 준환 성능이 나오는 거 같고 퍼서멘츠나 이제 코딩 성능 같은 거 이제 종합에서 따지 보면은 여전히 오퍼스가 엑스트라 하이나 하이에서는 좀 앞서는 면모가 있기 때문에 그냥 오퍼스를 쓰시는게 맞을 것 같아요. 자, 그래서 영상은 여기까지 준비를 했고요. 오늘 전격 비교를 해 가지고 여러분들하고 벤치마크 이제 요런 용어들 같이 살펴보고 그다음에 성능 비교해 보는 시간을 가졌는데 어 알찬 시간이 되는지 모르겠습니다. 여러분들한테 계속 알찬 지식을 전해드리기 위해서 저도 이제 고민을 좀 많이 하고 있는데 어 좀 쉽게 설명을 하는게 맞나 싶다가도 이제 알려줄 건 좀 제대로 알려 주는게 맞지 않나라는 생각이 들어서 조사를 한다면 이렇게 알려 드리는 시간을 가져봤습니다. 영상은 여기까지고요. 저는 또 다음 영상에서 유용한 소식으로 찾아오도록 하겠습니다. 영상은 여기까지입니다.