判断特化型AI・Jev：知っておいたほうがいいこと全部共有 transcript

これ今後のAI自動化の未来だと思うん ですよね。タイプ政府という会社 からジェブJEBというAIが最近 リリースされました。タイプ政府は判断に 特化したAIを作っている新しい スタートアップで創業者の1人はオープン AIの出身チャATGPTが人の指示通り に答えるようにする研究に関わっていた人 なんですけれどこのジブというAIは だいぶ特殊なAIで判断に特化している ほぼ業界初のAIということになります。 で、これの面白いところは文字のデータ なら大体読めるんですけれども、文章を 書いたりとかそういったことは全くでき ないんですね。じゃあ一体何の役に立つん だっていう話になると思うんですけれど、 このAIは3つの決まった出力しか出せ ないんですね。1つはyesノンサー つまりかいいかで、この時ですね、ハの 確率が何パーセンの自信があるのかって いうのを一緒に返してくれるという出力に なります。で、2つ目が決まった選択肢の 中から1つ選ぶという出力も可能です。で 、3つ目何段階かの物差しで点数をつける 。ま、こう1から5のレーティングの中で どれくらいいるか、ま、そういった形で 点数をつけてくれると、ま、そういった 主力も可能。この3つの中の1つしかでき ないというですね、非常に面白いAIに なってます。あの、私以前の動画で20名 ぐらいのAI社員でAIの組織を回して いるという話をですね、何度かさせて いただいたんですけれども、そこで何度も 話してきたのが人間の判断がボトルネック になるということなんですね。AIの処理 スピードはものすごく早い。でもAIは まだ正直ちょっとバカで倫理的に問題の ある判断をしたり、本当に賢いモデルでも バカな判断をしたりする。だから大事な 決断はどうしても人間がやらなきゃいけな いっていうですね、問題があるんですよ。 こういうAI自動化を進めていくと。で、 そこで私はですね、ものすごく賢いAI モデルを私の代わりに判断してくれる いわゆるAI上司、要は中間管理職をです ね、立ててで大事な決断以外は任せるよう にしたんですね。で、それでだいぶ、ま、 判断とかですね、楽にはなったんですけど 、やっぱりですね、ビジネスがスケールし たり時間が経ってくるとですね、だんだん やっぱり人間が判断しなくちゃいけない ものがやっぱり溜まってくんですよ。で、 そうなると私の認知負荷がですね、 どんどんどんどん上がって私の脳を破壊し にくる。もう頭がすごく痛くなる。この 問題はですね、やっぱりどうしても今の AIをですね、導入したワークフローでは 完全には解決できない問題だったんですね 。で、そんな中で出てきたのがこのジェブ ですよ。ジェブは判断決断に特化していて 、従来の高性能モデルとは比べ物になら ないぐらいの速さと安さで回ります。 で、私、あの、今までフェイブルとか オーパスだとか、非常に高級で水論に時間 がかかるモデルをAI上司として使ってい たんですね。で、これをまるまるこの安い 判断特化型AIに置き換えることによって 、ほぼ24時間コストとかトークンの リミットをほとんど気にしないで本当に 自動化でぐるぐる回せる、ま、最後の ピースと言えるようなものなんですね。と いうわけで今回ですね、私のAI組織に このジェブを組み込んで実際に業務で ぐるぐる回してみたんですよ。で、今日は その結果と私の結論そして知見を皆さんと 共有しようと思います。 で、私あのジェブを導入する時に色々考え た結果、最も役に立ちそうな部分を絞って いったんですけど、私ですね、以前にAI 使うためのタスク管理ソフトエアフローっ ていうのを作ったって話をしたんです けれども、ま、これは要はですね、AI用 のやることリストでAIの エンジニアリング系のタスクだったり、 AIがチェックしなくちゃいけないこと だったり、私にリマインダーをかけなきゃ いけない内容だったり、そういったことを 追跡するためのシステムなんですけれど、 以上ですね、最も最優先のいわゆるP0と 呼ばれるタスクだけは非AIを通じて私の ところに運ばれてくるようにはなってるん ですけれども、いわゆる最優先じゃないP 1とかP2とかま、呼ばれるもんなんです けれども、そういった最重要じゃない タスクはですね、私は全くノータッチでで 、しばらく私エアフロー見てなかったん ですね。そしたら気づいたら私当ての タスクが200個ぐらい溜まってたんです よ。で、これジェブに全部もう処理させれ ばいいんじゃないかって思ったんですね。 エアフロー全体のデータベースを要は ジェブに見させて人間の判断なしでやって いて判断ができるものはAIに投げさせる 。要はコーディングエージェントだとか コワークだとかAIエージェントにも勝手 にやってもらうと。で、本当に人間が判断 しなきゃいけないものは私の秘書AI経由 で私に戻す。このタスク管理アプリの整理 制度の判断をですね、基本的にジェブに やらせてみたんですね。で、色々テストし たんですよ。で、結論から言うとジェブは ですね、思った以上にものすごくこういっ たタスクで優秀でした。今まではタスクが どんどんどんどん私のとこに溜まる一方 だったんですけど、今はですね、もう たまらずにコンスタントに片付いていって 、で、なおかつ私のところには人間が本当 に判断しなきゃいけないものだけが決済と して、ま、毎日7発酵回ってくると、ま、 そういう形に落ち着いたんですね。1回 ですね、あの、ジェブをテストした時に 同じタスクをですね、3回判断させたん ですよ。なんとジェブはこの3回同じこと を聞いた時にですね、ジェブはほぼ全部で 3回とも同じ答えを出したんですね。これ 本当にAIかAIではものすごく珍しい ことで、AIって同じ入力でも出力が安定 しないことで有名で同じ質問を投げても 同じ回答だとは限らないんですよ。そう いう特性があるんですね。例えば私が自分 のパソコンで動かしてるローカルAIの 現マというAIで言うと毎回少しずつです ね、答えが変わるんですよ、やっぱり。で もジェブは安定した判断基準を持ってると いうことが、ま、このテストで実証された んですね。しかもハイの判断だとジェブは 自信がない時は自信がないと深刻してくる んで、だから人間にも分かるし、ま、自信 がないものだけ賢い別のAIに回してで、 2段階目の判断をしてもらう、セカンド オピニオンをもらうという動作もさせる ことができるんですね。で、このジブを 動かした時のコストなんですけれども、ま 、この2日間ぐらいですね、ジブに、ま、 いろんな判断を1万5000件以上させ ました。で、かかったのは19000。 日本円で約30円だけですね。で、この 同じ量をオパスに通常料金でやらせたら およそ4000円ぐらいかかるんですよ。 時間で言うと大体この1万5000円の 判断を大体合計12分ぐらいでやって しまったのに対して、ま、ローカルAIの ですね、現場とかだと半日から2日ぐらい かかる。オパスとかでも3時間とかかかる ものなんですね。もうコストベースで 1/1時間になるんですね。こんな感じ でジェブにデータベースの整備をさせたん ですけれども、ま、特に問題は起きなかっ たんですよ。で、大量のデータを整理させ てカテゴリーを分けして、何が大事で、何 が大事じゃないかを決める。ま、この辺り はですね、あの、人間がやると認知負荷も すごいかかるし、AIのコストも重むもの で、ま、今までですね、その大規模にこう いった作業ってのはさせにくかったんです けれども、大規模なデータをこう仕訳けさ せるとか見下ろしさせるっていうのは かなりジェブに向いてる仕事で、ま、AI のインフラ回りの自動化にはですね、相当 貢献できるんじゃないかと思います。で、 これと同じ話がですね、ま、 オブシディアンとかでもできるんですね。 オブシディアンは、ま、ノートを貯めて おくでAI用のデータベースとして、ま、 セカンドブレインとかよく言いますけれど も、ま、使ってる方も多いんですけれども 、当然時間が経つとこのオブシディアン ゴミやノイズのノートがですね、いっぱい 溜まってしまったり、1つのノートが すごく長くなってしまったりして、 やっぱりどこかで保守、要はメンテナンス をしなきゃいけないんですね。で、これ やっぱりすごく大きなデータになるんで、 私はメンテナンスにゲマ4の12Bって いうローカルAIで回してるんですけれど も、この保守のタスクもですね、全部ジブ に任せられないかなってテストしてみたん ですよ。なんでかと、やっぱり現マ4って すごく遅いし、メモリもすごい食うし、 それに何よりもですね、ちょっと判断が 怪しい部分があったんで、ま、ジブに任せ られないかなと思ってテストしたんですよ 。で、例えばこの2つのノートは、ま、 ちょっと違う書かれ方してるけど、その 内容が重複してる内容なのかどうかとか、 このノートは大事で人間の判断が必要な もんなのか、それともそうじゃないのかと か、そういったですね、テストを19件 出したんですけれども、ジブは19件全部 正解しました。で、このうち現にも同じ テストを投げてみたんですけれども、19 件のうち11件だけ正解でした。で、残り はかなり怪しげな判断をしてたんですね。 ま、こういった保守のタスクも全部ジブに 任せれば相当安いコストで保守でき るっていうことが、ま、実証できたかなと 思うんですよ。こういうデータベースを 正しい形でですね、保守しておくとこれを 読むクロードだとかチャッピーだとか全部 のAIの回答の制度が爆上がりしますんで 、やっぱりジェブからですね、得られる 利益はこの使い方だとかなりでかいんじゃ ないかなと思います。これと同時に私の AIのエンジニアリングチームにも 組み込んだんですね。あの、前、あの、 AIの中華管理職、ま、エンジアリング 部長みたいなのを立てて、で、セーブルか オーパスをですね、使って、ま、 エンジアリング部長を務めてもらってたん ですけれども、それで、ま、コードを 例えばギッハubにマージしたりプッシュ したりする判断だとか、書いたコードを 実際に動いてるものに反映するかどうかの 判断をある程度このオパスフェイブルの エンジアリング部長に投げたんですけれど も、これもですね、やっぱりトークン コストが結構加算もんだったんですね。 やっぱりオーパスとかフェイブルが全部の 、ま、資料を精査してテストを精査してと かやらなきゃいけなかったんで、ま、こう いったものもですね、ジブに任せてみたん ですよ。そしたらこれもかなりいい感じに さばいてくれるってことは分かりました。 ただこのケースはちょっと運用変えてて ジブにですね、基本の判断を任せてで、 その短い判断そのものをエンジニアリング 部長を最終リビューするという形にして ます。エンジアリング系のタスクって やっぱり結構高度の判断が入ってくること が多いのでオーパスやフェーブル側の コストを抑えつつジェブと平行運用する形 で落ち着きました。これで私が寝てる間の エンジニアリングタスクを自動で回す時の 安定性がかなり増したと思います。一応 ですね、この賢いモデルとジブの平行運用 っていうのはリスク高めの判断とかでも ですね、お勧めできる運用方法なんで、 もしですね、興味がある方は試してみると いいかなと思います。 そんなわけでジェブかなり使えるなって いうのが正直な感想でこれからのAI自動 化のキーピースになっていくのかなと思う んですけれども、同時に現状で結構制限と か弱点も存在してて、それを共有していき たいんですけれど、まずJってクラウド モデルなんですね。タイプ政府のサーバー にデータを送ってそのサーバーにあるAI モデルに判断してもらうと。だから当然 判断を行う時データがサーバーに送られる わけじゃないですか。で、秘密データとか 個人情報とかそういう情報は やっぱりジェブには投げない方がいいかな と思います。タイプセフはですね、送られ てきたデータを学習には使わないと約束は しているんですけれども、ただやっぱり データはサーバーに残す、残しますって 言ってるんで、データを一切残さない契約 ができるのは、ま、エンタープライズ、 企業向けの大きな契約だけで、それ以外は 基本的に送ったデータはしばらく向こうに 残るっていう形になっちゃうんですよ。で 、あとタイプ政府っていう会社自体ですね 、まだ新しい会社なんでセキュリティの 実績とかですね、名星がまだできてなくて 、正直どう判断していいか怪しいところな んですね。なので現状では機密データなど を送るのは相当リスクが高いと思うので、 私の方でもですね、この件は気をつけて データを取りやすかってます。あとこれ JBの弱点というよりはですね、自分周り の話なんですけども、あのJVを使う時に APIキーっての作る必要があるんです けれども、Jabを自分のプログラムから 使うためのパスワードのようなもんなん ですけれども、これ私が最初作ろうと思っ た時に気づいたんですけど、あの ji.orgというですね、ページに最初 行ってしまって、ま、これは非公式の サイトなんですね、ジェブに関する。で、 こういった話題になるテクノロジーや アプリが出てくるたびにこういうですね、 非公式のサイトがいっぱい乱立して、要は 公式サイトと見つかないようなですね、非 公式サイトがボコボコボコボコ出てくるん ですよ。似たようなURLで。で、いくつ かは作業を仕掛けてくるような悪質な サイトだったりすることも多いので、あの 、私の概要欄に正しいタイプ政府のURL を貼っておきますんで、興味がある方は そちらから見ていただきたいんですけれど も、あの、ジェブを使う時はくれぐレも ちゃんと公式のサイトから使うように気を つけてください。今ですね、あの、 セキュリティ的に結構危ない状態なんで、 ま、その辺は気をつけてください。あと ですね、あのジェブの弱点としてやっぱり 日本語に弱いっていうのがあるんですよ。 英語ベースでやっぱりジェブは トレーニングされてるモデルなんで、日本 語を読ませて判断させるタスクを投げると 精度がちょっと落ちます。実際公式の ドキュメントにも英語が1番得意で他の 言語だと精度は落ちると公式に認めてあり ます。なので公式も認めてる弱点なんで気 をつけてください。もしジェブを使うん だったら英語ベースで使わせるのがベスト です。可能であれば日本語県の方には ちょっと使いづらいかもしれないですね。 ただエンジニアリングとかコーディングと かそういったものだったらほぼ英語ベース で使えることが多いので、ま、そっちで 使っていくのがいいかなとは思います。で 、もう1つジブはですね、高度な判断には 向いてません。で、高の判断って何かって 言うと、例えばハかの判断とか7個のうち から1つ選んでくださいみたいなものは かなり安定してやってくれるんですけれど も、例えば判断基準が3つとか4つとか あって、それを組み合わせて判断する、 いわゆるルーブリック判断って呼ばれる もんなんですけれども、これには向いて ないですね。これをやるには高い水論能力 が必要になるんで、こういった判断は 大なしく高級なモデル、オーパスとかソル とかを使いましょう。やっぱりですね、 現状のジェブの最大の強みはスピードと コストなんですね。従来のオーパスとか フェイブルと比べると100以下のコスト でなおかつ爆速で判断を下してくれる。で 、出力の質自体も悪くはないんですけど、 それは速さとコストに比べると悪くはない というレベルなんですね。タイプ政府の 独自の評価でも正当率がジブは67.8% なのに対して例えばオーパスは73.1% という性能の違いがありましてジブは判断 に特化していて早くて値段からすると非常 に優秀なんですけれどもただオパスとか フェイブルとかソルとかアストラに勝てる かと言ったらそうではないということは 十分認識して使っていただく必要があり ます。あくまでも大量の比較的単純な判断 をさきたいそういった時に使うべきモデル となりますんで十分注意してください。 というわけでジェブ色々解説してきました けれども現状ではですねAIガチ勢の おもちゃという感じはかなりあるんです けれどもそれでもかなり実用レベルで 使える非常に優れたモデルとなってます。 皆さんがどんどんAIの使いこなしを進め ていって、効率化とか自動化を進めていく と、どうしてもどっかで人間の頭が爆発 するぐらいの認知負荷。ま、その判断が 積み重なってAIが出してくるものを どんどんさいかなきゃいけないという ところにいつかは必ず到達するんですね。 こういった時に判断特化型のAIという オプションを持っておくことによってある 程度の判断を任せて自分は最も大事な判断 にフォーカスするという住み分けが可能に なりますんで、こういったものがあると 覚えておくことは非常に有要だと思います し、興味があるんであれば皆さんの取れる リスクの範囲で試していただくのは なかなか良い選択肢だと思います。 やっぱりこういったAIが出てくること 自体がやっぱりもうほとんど必然かなと 思いますね。やっぱり以前の動画でも言っ てたことがあるんですけれども、AIが出 てきたからって別に人間の仕事が楽になる かと言うとそうじゃないんですよ。単純に 人間に対する負担が判断決断側によるだけ なんですね。今まで手を動かすという負担 からもっと脳を動かして判断決断をすると いう側に負担が動いただけなんですよ。 結局このトレンドが何を意味するのか、 今後何が起こるのかと言うと、人間に残っ た仕事は判断とか決断だけだね。ってなっ た時に、じゃあその中でも最も大事なもの 、最も高度なもの、人間的な判断が必要な もの、例えば答えがないような質問に 答える。正しい回答が存在しない質問とか 問題を解決する。そういったものは人間が 行うっていうものに移行していくはずです 。なんでかって言うと、現実世界では やっぱり完璧な答えとか完璧な選択肢って やっぱりなかなかないんですね。選択肢が 123とあった時にその全てに理点があっ て欠点があると全てがトレードオフなん ですね。そういった判断を求められた時 最終的には誰かが自分のバイアスとか哲学 をベースに欠点を飲んでその理想的じゃ ない現実会を厳しい選択を選び取る必要が あるんですよ。で、その選択に責任を持つ 必要があるんですね。現実の選択っていう のはそういうもんなんですよ。だから結局 のところ判断特化型のAIっていうのは 責任があんまり発生しない判断を片わりし てくれるんですけれど答えのない質問に 人間はやっぱり今後も答えていく必要が あるのは間違いない。だから自分の環境を 整えてジェブとかそういったテクノロジー を使ってあまり重要じゃない判断はそっち に移管してでその代わり開いた時間空いた 脳内リソースで自分はそういった抽象的な 難しい問題に取り組む。そしてそういった 難しい問題に取り組む時にちゃんとした 判断を出せるように自分の軸を磨いておく 。自分の心備を磨いておく。自分の人間力 を磨いておく。 こういったことがこれから先だんだん大事になっていくんじゃないかと思います。研 放てのモンスター マニュアル通りのステップなんてけちらしてスポットライトがならないなら自分で自分を照らせば君民のステージのセンタはこだろう。