＃ 463 AI agent作りたい！！

この番組は、エンジニアの成長は楽しい学びからをモットーに、昨日より少しだけ成長できる内容をお届けするエンタメ系テックラジオでございます。

ございます。

ございます。

最近ですね、作りたいものがあって。

うん、うん。

ほお。

当てます？

な、なんですか。

えー、料理なんかの。

あー、まあ、それはずるい。

ずるい？

それずるいよ。あのー、料理って、あのー、人間とほかの動物を区別する特徴のうちの1つだからね、やっぱ。

はい。

だからそれはずるいっす。

そうなんだ。

なんかのツール。

なんかのツール？

はい。広い。早起きできるツール。

あー、うーん、まあ、広く言えば正解かな。

そう。

うん。

マジで。

まあ、実はね、AIエージェントを作りたいんですよ。

うん。

あー。AIエージェントを作る？

AIエージェントを作る。

なんの？

なんでもいいっす。

あ、なんでもいいんすか。

はい。

うーん。

ただ、AIエージェントというものを作るにあたって、いざ作ろうとしたら作り方が分からないので、作れるようになりたいという。

あー、はいはいはい。

ま、そういう目的っすね。

あー、なるほど。

はい。で、えー、4月のね、20何日かに発売されたOrileyの本で。

うん。

実践AIエージェント開発という本がございまして。

ほう、実践シリーズ。

実践シリーズ。シリーズなんだっけ、これ。

なんか実践〇〇って本いっぱいありますよね。

あ、でも確かにある。

やや骨太なイメージ。

あー、でもそうかもしれない。結構ね、こういうとこまで触るんだっていう気持ちではある、確かに。

うーん。

これね、表紙がいいんですよ。

え、当てれるやつ？

当てれるよ。あのー、うん、当てれると思うよ。

AIエージェントか。

え？ あ、いや、えっと、ごめん。えー、字面からは当てれないから、あのー。

え？ 字面以外にヒントある？

だ、動物。あ、そう、動物。Orileyといえば動物だからね、やっぱ。

え？ 字面ヒントじゃないんすか。

字面全くヒントじゃないわ。

カニ。

カニはラストやろ。

あ、え、何から、何から推理すればいいんや。

クロードが出てきちゃった。

まあ、動物の中で1番エージェントに近いかもしんない。

犬？

惜しい。

狼。

遠い。

え？

猫。

遠い。猿、正解。

へー、なるほど。

へー。

まあ、多分ね、生物上1番近いんじゃない？

うん、うん、うん。確かに、確かに。

うん。猿が2匹いて木を持ってるんですけど。

うん。

ま、この本読んでいてですね、あのLLM使うじゃないですか、AIエージェント作るときって。

はい。

うん。で、LLMって、まあChatGPTとかClaudeとか、まあ今そのへんが強いっすよね。

うん。

うん。で、ただ、え、それだけではだめですよと。

うん。

LLMだけを使ってちゃだめですよと言われました。

うん。

で、え、ほんとにちゃんとしたAIエージェントを作りたいのであれば、SLMも活用できないとだめだと。

ほう。

うん。ってことで、今日はLLM、Large Language ModelではないSLM、Small Language Modelについてお話をしてこうかなと。

おー、思ってなかった角度でいいですね。

うーん。

あんま知らなくないっす、SMLって。なんか存在は知ってるけどみたいな。

そうっすね。

うん。

まあ、なんかローカルだけで動かすときに使うやつとか。

うんうんうん。

そんなイメージちょっとありますね。

いや、ローカルっていうとまた難しいなと思って。ローカルはローカルでさ、ローカルLLMってあるじゃないですか。

なるほど。

うん。まあ、ていうのがあるから、ちょい、ちょいむずの、なんかかぶり気味のところもあるんだよな。で、まず、えー、Small Language Modelとは何、なんぞやというところからお話をしていこうかなと思います。

何、どうぞ。

お願いします。

まず昨今話題のLLMたち。

うん。

めっちゃ高性能じゃないっすか。正直、最近もうね、依存がすごいんですよ。

分かる。

うん。

うん。

これないとね、考えるのめんどくさくなっちゃうぐらい。

うん。

思考体力落ちてる気がする。

それも分かる。

うん。

うん。

で、えー、これの賢い秘密、こいつらって裏側に、えー、超大量のパラメーターっていうのを持ってるんすね。

うん。

うん。で、えー、まあパラメーター、よく聞くけど実際どういうものなのっていうところなんですけど。まあAIの仕組みって基本的にディープラーニングのときから、えー、基礎の基礎の部分は変わってないと思ってます。入力がまずあります、と。で、LLMだったら、まあテキストとかで入れたりとか、まあ場合によっては音声とか画像で入れる場合もありますねと。

うん。

で、それに対して、その入力に対して、えー、すっごい多層のいっぱい、なんか層が重なっていて。で、各層で、えー、重みをかけて、バイアスを足してみたいな、なんかそういう計算をして。なんかいろいろ最終的にこうデータを変換して、変換して、変換して、変換していくっていうところは、えー、基本同じですよね、多分。

うん。

もちろんもっと複雑にはなってるんですけど。で、えー、まあそういう変換とか、えー、いろんなことをする、まあなんか計算のタイミングの量みたいな感じなのかな、パラメーターって。

あれじゃないっすか。それこそ。

ん？

切片とか。

切片。めっちゃ切片が。切片とか傾きの話じゃないですか。

方向ぶりに聞いたかもしんない。

パラメーターって。違いましたっけ？

切片、バイアスのイメージだったけど。

あ、そう。バイアス、バイアス。そう、そう、そう。

あ、そう。でも重みとかもなんか全部含めてパラメーターと呼んでるから。

あ、そう、そう、そう。そう、そう、その認識です。

まあそうだよね。だから、えーと、まあこのパラメーター、でかければでかいほど、まあ要は計算めっちゃやってるってことよね？

でかいって言ってるのは数が多いですね。

うん。数が多い。

うん。

数が多い。

うーん。

で、これが要はLLMの、まあざっくりした仕組みですよと。

うん。

で、このSLMっていうのは、このパラメーター数が、まあ相対的に見てなんかちっちゃくねっていうジャンルのことを言いますと。

うん、うん、うん。

ふーん。なんか基準あるんですか。

えーとね、ないっす。

ほう、ないんだ。

基準はなくて。なんなら今のSLMのパラメーター数は、あの過去のLLMのパラメーター数ぐらいあります。

あ、ですよね、でも。だってめっちゃ増えてますもんね、今ね。

そう、そう、そう、そう、そう。なので、えー、基準は多分そのタイミングによって違う。

ふーん。

今だったらこれぐらいだよねっていう値はあると思うけど、まあそのへんとか変わりやすいと思う。

まあじゃあ雰囲気なんすね。

うん。

そう、だから相対的に見て小さいっていうところがポイントかなと思います。

うん。

で、えー、このSLM使う理由。

はい。

理由なんですけど、まずLLMの特徴。こいつはね、パラメーター、その膨大なパラメーターを武器にして、え、とても複雑な推論ができますと。

うん。

うん。

うん。

いや、難しいタスクをこなすことができる。しかし一方で、えー、計算するときのコスト高かったりとか、あと速度も重くなりがち。

うん。

っていう、まあ賢いけど重くて高いよねと。

うん。

で、一方SLMは特定のタスクには特化してて得意な領域がありますと。

うん、うん、うん。

ただ汎用的ではない。

うん。

で、そして、え、コストは安くて、え、速度も速い傾向にあると。

うん。

うん。っていうところで、まあロー、さっき順平が言ってくれた、まあローカルで動かすケースとか。あとは、まあローカルに近いけど、えー、エッジコンピューティングか。まあとかで動かすケースもあるし、あとは、えー、なんなら社内サーバーで動かすみたいなケースも考えられますと。

うん、うん。

なので、まあ向いてるシーンと向いてないシーンがあるんすよね。LLMとSLMそれぞれで。

うん。

うん。まあ広く深く考えて、すごい毎回ヒットを打ち出してくれるLLMと。ちっちゃい仕事だったらめちゃくちゃ速くて安くできますよっていうSLM。まあまずこの相対的な関係がありますと。

うん。

はい、はい、はい。で、えー、このSLM使うと。さっきあのAIエージェント作るときに、えー、SLMも知らないといけないですよっていうふうに、あのー、申し上げたんですけど。じゃあなんでこれが必要かっていうと、1つは、えー、コストを抑えるためっすね。こっちの運用側でかかるコスト。

うん、うん。

うん。えー、大体LLMってAPI使って呼び出すじゃないですか。

うん。

で、そうなったときに、まあ1回あたりの使用量とかなんかすごい安く感じるけど、実際にウェブサービスに組み込んで、そのAPIを呼びまくるってなると、結構トークンの課金が積み上がると。

そうですね。

うん。なので、えー、もしそんなに難しくないタスクなのであれば、えー、自分たちの会社で立てたサーバー上で動くSLMを立てて動かしてしまったほうが、えー、かなり安く回せる可能性が高い。

うん。

うん。っていうのがまずありますと。

ちなみにちょっと。

はい。

質問なんですけど。

はい。

なんかSLMって例えばこれとかみたいな話とか、こういうユースケースならSLMで十分だよみたいな話ってあとから出てきますか。

1個目はあれ、あの、どういう種類があるかみたいなやつ？

はい。

それはある。

うん、うん、うん。

で、こういうケースで向いてますよっていうのもあるっちゃあるか。うん、あるっちゃある。

あ、じゃあ楽しみに待ってます。

えー、というので1つ目はまずコスト的なメリットが出やすいと。SLMを、えー、使うと。

うん。

で、次に、えー、速度っすね。これも、えー、LLMを例えばじゃあ、えーっと、AIエージェント作るときって結構多段で考えたりするんすよ。ユーザーが入力して返答を作るまでに、えーっと、LLMに何回かこうやり取りを投げたりみたいな、裏側で。

うん。

うん。っていうことをやってるんですけど、えー、それを毎回毎回全部LLMにやると、LLMってまあ先ほど言ったとおりパラメーター多くて重、重い傾向があるんで、そこが、え、時間かかってしまいがち。

うん。

うん。っていうのがありますと。なんで、えー、適切な処理に使うのであればSLMを使ったほうが、えー、よりスピーディーに返答できるの、えー、返答できるので、えーっと、ユーザー側の体験が良くなると、スピードが速くなるんで。

うん。

うん。もちろんね、精度担保できてることを保証した上でですけどね。

うん。

っていうので、えー、速度的なメリットも出せますと。で、3つ目、プライバシー。で、あの、企業によってはあの普通にデータを外部のAPIに送れないこととかもあると思うんですよ。

あるでしょうね。

特に。そう、医療とかね。金融とか。

うん。

結構そういう厳しい。

患者のデータとかね。

ああ、そうそうそうそうそうそう。で、そういった処理とかっていうのはどうしても、えっと、LLMに送れないと。ってなったときに、えー、もし内容が適応してるのであればSLM使って社内サーバーで動かしてあげれば、まあデータを外に出すことなく処理もできますよと。

うん。

うん。まあこういうメリットがあるから、AIエージェントをじゃあ作ってくってなったときに、適切なタスクはSLMに投げたほうが、まあ最終的にコストも安くなるし、機能も良くなるし、えー、プライバシー的にも安全になると。っていうところで、え、結構ここらへんの使い分けが大事になってきますよと。

最新のモデルこそローカルじゃあ多分動かせないでしょうしね。どんなスペックいるでしょうね。

あー、え、あのー、そうね、あのー、ローカル、ローカルっていうのは。

Opus 4.7？だっけ、今。

はい、はい、はい。

とかって、ローカルじゃあ動かせるスペックじゃないと思ってて。

あー、仮にあのレベルのやつが公開されたらってこと？

あ、そうそうそうそう。

うん、うん、うん、うん。だから、なんか、そういう機密情報は使うことがほとんどだと思うので、ビジネスの場だと。

うん、うん、うん。

お客さんが本当に困ってるところを解決するためには。

うん。

このぐらいでいけるよねみたいなところの見極めとか。

うん。

あとは、新しい技術なんで絶対安全ですって。

うん、うん、うん。

言える根拠をエンジニア側が示してあげないといけないっていうところがあるなと思いながら話聞いてました。

確かに。

うん。

まあとは強み、弱みがそれぞれあるんで、まず使い分けようっていう話ですねと。

うん。

で、えー、じゃあ実際に今、えー、どういうSLMがあるのかという。

うん。

ちょっとモデルの種類についても学んでいきましょう。

え、お願いします。

はい。あんまりピンとこない。

はい、じゃあモデルの種類いきます。

はい。

はい。

で、まあモデルもね、まあ実は結構、なんて言うんでしょう、LLM作ってるところが、まあやっぱり強かったりするんですけど。

うん。

代表的なのはですね、まずマイクロソフトの、これ読み方Phiなのかな、多分。PHIって書いて。

ほう。

うん。

さすがにPhiじゃねえよね。

いや、知らんな。

初耳モデル？

はい。マイクロソフトって。

うん。

OpenAIってことですか。マイクロソフト？

えー、どうなんだこれ。元々資本関係はあるよね、そもそも。

あるはず。

だけど、このPhiがどう活用されてるかはちょっと分かんないな、そのOpenAIのあれが。

はい、はい、はい。マイクロソフトが出してるんだ。

ふーん。

え、製品ですか。

これね、あのー、製品というか、なんか、まあモデルの名前かな。

おお、おお、ああ、なるほど。モデルの名前なんすね。なるほど。

うん。

じゃあ、なんか、ハギングフェイスとかで使えるかもしんないし、使えないかもしんないして感じなんだな。

あ、えーと、多分ね、ハギングフェイスで上がってるやつをリストアップしてるような気がするわ、今。

ああ、じゃあ。

あれなんすね。

そう。

ハギングフェイスって結構一般的なんだっけ、今。

ゆっ、説明したほうがいいですね。

なん、なんとなくちょっと。

も、モデルがいっぱい書いてあるやつみたいな。

これの中のイメージ、あのー、モデル版GitHubみたいなイメージなんすけど。

あ、合ってます、はい。

うーん。

で、なんかそのハギングフェイス上でモデルを動かしてみることもできるし、ローカルに落としたりもできるっていう感じだよね。

うん。

うん。

うーん。

で、このPhi、今はバージョンだと4が1番新しいんですけど。

うん。

これはですね、えー、結構SLMの代表格っぽい存在ですと。

ふーん。パラメーター数どんなもんなんすか。

はい。Phi 4、パラメーター数14ビリオン。だから10、え、140億？

うーん。

え、少ない？

まあでも少ないっすね。

パラメーター数。

うん、だってね、今強いやつとかってなんかもう多分超とか言ってるよね。

超だと思います、はい。

うん。そう考えると、まあ相対的には小さいっていう。

うん。

うーん。

まあ十分意味分かんないぐらいパラメーター数多いっすけどね。

そうだね。

うん。

まあ小さいとはいえ結構でかいですと。で、このへんはテキスト生成とか推論とか数学とかコードとか。まあ結構まあLLMが得意としてるようなやつに近いというか、えー、なんなら多分これ言い方によっては小型LLMとも呼ばれている。

割と汎用的なんですか。

汎用的だね、これは結構。

へー。

うん、だからこれはむしろ属性的にはLLMに近いかもしれない。

うん、うん、うん。

うーん。

まあ、でもそのぐらいでもまともに動くものはあるでしょう。

うん、うん。

で、これが登場したときのね、論文がちょっとね、尖ってるんすよね。

論文が尖っている。

タイトルが尖ってる。

タイトルがめちゃくちゃ挑戦的だったりするんですかね。

あ、結構そう。

喧嘩売ってる系の。

いや、喧嘩なのかな。喧嘩とはちょっとなんか違う気もするんだけど。なんかAttention Is All You NeedっていうAI界隈で有名な論文があるんですけど。

はい。

そっからもじって、Text Books Are All You Needっていう、1番最新出たときそういう論文のタイトル出してるんすよ。

へー。

うん。

なんかブログみたいにタイトルちゃんと考えるんすね、なんかね、やっぱね。

ああ、そうね、確かに。

うん。

だから論文結構タイトルこだわってそうだよね。いろんな。

大学時代の論文のタイトルなんてそのまんま付けましたけどね、やったこと。

まあ大学生の論文はそうじゃない？

まあね。

うん。

このへんの人たちのやつってなんか結構伝説的なやつだろうからね、多分。

うん。まああとまあ、この自身の評価に直結するでしょうしね。

まあそうね。

うん。

そう、で、Text Books Is All You Needって、なんでText Booksって感じなんだと思う、だと思うんですけど。

はい。

これ、性能を上げるためにやったことがちょっと変わってて。

うん。

まあ変わってはいないか。LLMって学習するときに結構インターネット上にあるデータをバーって学習してるっていう噂じゃないですか。

うん。

なので。

うん。

えー、そのデータの内容について、整ってるものもあれば整ってないものもあるんすね。

うん。

なんですけど、このPhiを作るときは、あのー、めちゃくちゃ厳選されたデータば、ばかりを使って学習したみたいな。

うん、うん。

で、それをやったことによって、えー、小さいモデルでも精度を上げることができたっていう感じのモデルだったんすね、これ登場のとき。

くっそ泥臭いっすね。

そうそうそう。ん、でもあれかな。

うん。

えーと、多分LLMでそもそも学習データ作ってんじゃないかな。

ああ、なるほどね。

で、それできれいな学習データ作ってみたいな。

うん。

で、それを使って学習させることによって少ないパラメーターで高い精度を実現させたみたいな。

なんかあれみたいだな。事前学習モデルだっけ。

事前。

DeepSeekみたいじゃないですか。

DeepSeek、DeepSeek？

DeepSeek。はい。あれ？ 中国のやつ。

はいはい。

あれもGPUのスペック悪いのに、あのChatGPTとかと同じレベルのやつ、1/10のコストでできたみたいな、その質のいいデータばっか食わせたとか。

うんうん。

なんかそういう話ありますよね。

あ、そうなんだ。

うん。なんか上流したデータしか食わせてないみたいな。上流をなんかさらに上流してみたいなとか、なんか似てるなって思いました。

ああ、上流は多分モデルの上流なのかな、多分。

うんうんうん。

データは多分上流って言わないから。パラメーター数を、えー、同じ性能が出る状態でパラメーター数減らすみたいなのを多分上流っていう。

うーん。多分合成データじゃないかな。

合成データ使ってたんすか。

合成データと呼ばれるテクニックな気がする。

そんなのがあるんだ。

うーん。

これあとで出てきます。

先生、ちょっとふわっとしてる。はい。

これあとで出てきます。

なるほど。

で、上流も別のテクニックとしてあります。

うーん。

うん。別じゃないか。ま、とりあえずでも1旦ちょっとモデル紹介してくとですね。

うん。はい。

まずそのPhi 4ってのが結構、まあ小規模言語モデルといえばで出てくるやつ。

うんうん。何年のやつですか、ちなみに。

何年？

新しいんすか、Phi 4。

1番最初？

あ、いえいえ。Phi 4も最近なんですか。

えー、それは知らないな。Phi 4はどうなんだ。

なんかSLMはSLMでちゃんとなんか進化してるのか。

うん。

はたまたLLMでなんか都落ちしたやつがSLMに回ってるのか。どっちなんだろうと思って。

あー、でも元々ね、小規模LLMと呼ばれてそうだったから都落ちの可能性はありそうだよな。

はい。

うーん。

ちょっと時期は。

2024年12月13。

あー、そうなんだ。

あー、結構前。

結構前だね。これもしかしてもっと新しいのあるんじゃね？

あ、うん。その説もありますよね。

うん。あ、でもPhi 5出てないまだ。

まあ、もう限界なのかな、そのパラメーター数でできること。というかコスパ良くないのか、そんなちっちゃいことで。ちまちまやろうとしてもビジネスにならないというか。

うーん。

うん、それはあるかもね。

うん。へー、ありがとうございます。でもなんか、なんか空気が、空気感が。

はい。

分かりました。

で、今言ったのがマイクロソフトから出てるPhi、えー、Phi 4か。Phiか。で、あとは、えー、このへんは結構名前聞いたことあるかもしんないんですけど。えー、グエン？

えーと、ベトナム人にものすごくおもしろい字。

あれでしょ、コンビニで働いてるグエンさんのを言ってるだろ、お前。

はい。

大体グエンだもんね、なんか。

グエンさんめっちゃ多いってベトナム人の人が言ってました。

そうだよね。だから韓国で言うキムさんぐらい多いんだよね、多分。

いや、もうそれどころじゃなかったかもしれない。

そうなんだ。

うん。

うん。でもさ、なんか将来的に日本人もほとんど佐藤になるみたいなの言われてるよね。

えー、そうなの？

そうそうそうそうそう。佐藤さん多すぎて、50年後とかにほとんど佐藤になってるんじゃないかみたいな。

えー、淘汰されるんだ。

っていう可能性あるらしいですよ。

いや、どういう原理なんだろう、これ。

確率的に。

ここを埋めまくるってこと、佐藤の。

うん。

そうなの。

まあでも。

さすがに。

佐藤が勢力増すっていう説あるけどね。

そうなんだ。

うん。

全然信じないわ。

このグエンはね、あのー、結構精度高いっていうので、あのー、有名ですね。

ああ、そうなんですね。

そう、だからローカル、まあこれこそ本当にローカルLLMってね、ローカルLLMとして使われるイメージなんだけど。

うん。

うん。まあ今のLLMに近しい動きをしてくれるっていうイメージかな。

何に対応してるんですか。

えー、これはですね、まず多言語で強いっす。だから日本語とかも結構強い。

うーん、強い。

で、その上でコードとか数学とか推論みたいなところの精度が高いんで。えー、これも結構汎用寄りで使える。

てかそもそも英語ベースなんすか、SLMは。

多いんじゃないかな、英語ベース。

うん。そんな気はしますよね。

うん。でも無駄を削がないといけないから。

うん。

結構言語のあれとかあると思うよ。

うんうん。

うーん。

昔ありましたね、英語で指示出したほうが精度いいみたいなやつとかね。

あったね。確かに最近めっきりもう気にしなくなったよね。

もうないっすからね。

うん。あとはまあ、えー、これもGoogleから出てますが、Gemma。

あ、聞いたことある。

うん。Gemmaは最近4が出て。すごくね、みたいな。

あ、そうなんだ。

1月、2月ぐらいに確か出て。こいつは特徴としては画像とかが結構強いと。

マルチモーダルなんですね。

そう。

画像的いけんだ、画像とか。

画像いけるっぽいね。

ふーん。何できんだろう。

まあ読み取り？

結構渋そうだなあ。

うーん。

マジで最近なイメージだからな、画像でちゃんと。なんだっけ。えー、なんかいろいろ読み取りがLLMでできるようになったの。なんかでき、できたけど精度が微妙だったというか、日本語とかあんまうまく読んでくんなかったり。

うん。

してたんすよね、2年前は。

あ、そうなんだ。

うん。去年はなんか割とうまくやれましたけど。

結構がっつり使い始めたの去年だからな。まあGemmaはGoogle系なんで、これもまあ精度高かったから結構話題になったかな、一時期。

うーん。

あのOpenCodeを使って、セットで使ってなんかうまく回すみたいなのが一瞬Xでちょっとバズったイメージある。

へー、そうなんだ。

そう。あとMistral。

かっこいいな、名前。

聞いたことある。