#476 AIエージェントのためのテスト手法とその考え方

この番組はエンジニアの成長は楽しい学びからをモットーに、昨日より少しだけ成長できる学びをお届けするエンタメ系テックラジオでございます。

でございます。お願いします。

さあ、今日はですね。

はい。

AIエージェント。

ほう。

のテスト方法についてお話をしてこうかなと思います。

AIエージェントのテスト。

はい。

あー、えーと、作る側の話ですかね。

作る側の話ですね。

うん、うん。

で、こちら、あの、参照してる本はですね。

はい。

えー、『Orally』から出てます『実践AIエージェント開発』という本でございます。

えーと、『おさる熱』でしたっけ。

『おさるの熱』です。

ああ、はい、はい、はい。むずそう、実践シリーズ。

難易度はね、そんな高くないんじゃないかな。

うーん。

あのー、0からのディープラーニングとかのほうがはるかに難しい気がする。

ああ、そうなんすね。

うん。

なんか印象的には0からのディープラーニングぐらいのことやらされるのかと思ってたんですけど。

うん、うん、うん、うん。

あ、ちなみにちょっとのりさん、すいません、感想だけ聞きたいんですけど。

はい。

のりさん的ほしい5分の何ぐらいの本ですか、これ。

うーんとね、4ぐらいすね、僕は。

ああ、じゃあそこそこ。

うん。

そこそこいいですね。

ただ、えーと、ちょっと懸念点というか、少し難しいなと思ってるのは。

はい。

なんかこれ時間の経過によって結構変わりそうだなっていうのはやっぱりあるというか。

うん、うん、うん。

あと、まあ最近実感してることとしては、あの、LLMのベンダーたちいるじゃないですか。

はい。

あの人たちが出すサービスがあまりにもなんかエージェンティックすぎて。

はい。

これ我々がなんか作る余地って今後あるんだろうかみたいな。

あー、分かるかも。

気持ちが少しあるかもしれない。

うん、うん、うん。まあニッチなね。

うん。

ユースケースでは、まあ自分たちで作るみたいなことになるのかなと勝手に思ってるんですけど。

うん、うん、うん。

まあ本当になんか、ね、指示文打つのめんどくさいとか。

うん。

で、あとはなんか、向こうからこの順番で質問してほしいとか、なんかもうそういうとこぐらいですよね、なんか余地。

そうなのよ。

うん。

ニッチ、そう、ニッチが残るなっていう。

はい。

まあそもそものこの本、どういう本かっていうとですね、まあ本当にAIエージェントを作るときの、えー、いろはが書かれてる本でございますと。

はい、はい、はい。

で、それこそAIエージェントがどういうアーキテクチャで作られてるかとか、じゃあそれらをどうやってテストするのかとか、じゃあ本番環境を乗せるためにはどういうステップ踏んでって、えー、実際にこうデリバリーをしていくのかみたいな。結構包括的なものになっていて。多分これ単体読んだだけだとAIエージェント作りきるのむずいなと思ってて。

うん。

こっから1回ちょっと気合を入れて、あのー、1エージェント作るぐらいのね、なんだ、1歩が必要かもなっていう感覚はありますね。

うん、うん、うん。

うん。

なんか実際に運用してから出てくる知らんがなみたいなやつもありそうですよね。

ありそう。

なんか今までのものと違いすぎて。

うん、うん、うん、うん、うん。

そうだね。あとね、やっぱり出てくるソースコードがどうしてもね、シンプルなんすよね、結構。

ああ、そうなんすね。

うん。そんなにね、なんか分厚いわけでもなくて。

うん。

300ページちょいかな、これ。

うーん。

まあ薄くもないんですけど。

並みの『Orally』、『Bonson』ぐらいですか。

じゃないかな。

はい、はい。

なので、そのー、コードがあんまりこう複雑な事例では出てこない。

そんなに複雑になるんすかね、コードって。そこまんま分かってないです。

あんまならないのかもしれないなあ。

うん。

もしかすると。

うん、うん。

なんか基本的にあの、LangGraphっていうフレームワーク、エージェントフレームワーク使って書いてて。

はい。

で、えー、なんとなく、あ、こういうふうに使うんだみたいなのをイメージつかめるんですけど、ほんとにこんなシンプルなのかって思いながら書いてる自分がいたから。

うん、うん、うん。

まあもうちょい、うーん、自分でこう試行錯誤しながらやってかないと、実践で使えるようなものはちょっと難しそうっていう印象ですね。

うん、うん、うん。

うん。ただ、そのアーキテクチャとかがけ、結構分かりやすいので。

はい。

あー、こういうふうに作ってけば確かにちゃんと動きそうっていう感覚はつかめると思います。

うん。なるほど。

うん。で、その中でもね、ちょっと僕的にはね、テストのところが結構普通のシステム開発とちょっと毛色異なるなって感覚がありまして。

うん。

なのでちょっと今日はね、その話をしていくという回にしようかなと思います。

気になります。

個人的にはこのAIエージェントのテストって、通常のシステムより結構難しいなっていう印象なんですよ。

いわゆる決定論的じゃなさそうですよね。

まさにそのとおりで。もうユーザーの入力もさ、結構無限の可能性を秘めてるじゃないですか。

はい。

大体、あの、自然言語で指示出すと思うので。

うん。

もうまず入力のパターンが無限の可能性を秘めてると。

うん。

で、それに応じて、まあエージェントなんでいろんなツール使ったりとか、必要に応じてメモリ参照したりとか。

うん。

っていうようないろんなパスがあって、最終的に出てくる出力にも無限の可能性があるっていう。

なんか多段に、ね、LLM挟んでる時点で、なんか。

うん。

もう同じ入力しても同じ出力出るんかとかも、なんか怪しいんじゃないかと思ってしまう。

うん、そう、そうなんです。そうなんですよ。なんで品質担保するなら余計テスト重要だし、重要なのに難しいなと思って。

うん。

いますと。

はい。

ただこれも分解すると、あ、確かにこうしたらいけるのかもっていう気持ちが少し湧いてくるんで。

うん。

まあ今日は、あー、テストするならそうやればいいのかっていうような感覚をつかんでもらいたいなという気持ちですね。

気になりますね。お願いします。

はい。まずAIエージェントの、えー、簡単にモジュールというか、えー、大体AIエージェントってどうやって作ってんのよっていうところからね、お話しします。

はい。

まずモジュール。これはですね、えー、全部で一般的には5個のモジュールに分かれてます。

そんなあるんすね。

はい。で、1つこれ分かりやすいのはモデルですね。

分かりやすい。

うん。もうClaudeとかChatGPT 5.5とかそういうやつですね。

うん。

続いてツール。

あ、ツールね。

ツールもまあ最近はClaude Codeとか使ってたらバシバシ出てくると思うので、イメージつきやすい部分ではあるかなと思うんですけど。ツールに関して言うと、何個かあって。まあローカル関数の場合もあれば。

うん。

えー、シンプルにAPIのケースもあれば。

うん。

MCP作られてる場合もありますよねと。

うん。

まあそういった、えーと、モデルが使うためのプログラム。

うん。

のことをツールと呼びますよと。

うん。

で、これはモデル単体だとどうしても非決定論的になってしまう。確率に依存した形になってしまうっていうところを、こうなるべくプログラムによって、えーと、予測可能な形にしたいよねっていうところから、まあいろんなことができるようにツールがたくさん用意されてるというわけですね。

なんか分かりやすいのなんかないんすかね。やっぱ計算とかはそうなんでしょうけど。

ああ。

お金の計算とか。

はい、はい、はい。なんかプルリク作るとかもスキルな、スキルっていうか、まあツールに入るんじゃないですかね。

ああ、その文面はAI、モデルが考えるけど。

うん。

ギットハブのAPI叩いてうんぬんかんぬんはツールがやるってことっすね。

そう、そう、そう、そう、そう、そう。

確かに。

とか。あとは最新のドキュメント参照とかも、まあMCPあるじゃないですか、Context7みたいな。

うん。

ああいうのもまあツールですよね。

そうですね。

うん。で、あとは、えー、モジュールその3、メモリ。

メモリ。

はい。メモリはね、えー、長期のメモリと短期のメモリがあるんですけど。

うん。

例えばLLMと会話してるその、まさに会話の流れありますよね。

はい。

まあこれも短期的なメモリに入りますと。

うん、うん、うん。

あとは、えー、これまでのなんか記憶をこう保存する機能があったりとか。あとは別にその機能に関してじゃなくても、えーと、AIエージェントの場合だと、例えば過去にこういうやり取りあったよねみたいなところをこうデータベースに蓄積してったりとか。

うん。

まあそういうのをやってく、まあ部分がこうメモリですね。

なんかやっぱ聞けば聞くほど。

うん。

そのAIモデルとやり取りをするネイティブチャットアプリっていうんですか、あの。

うん、うん、うん。

あれ。

うん。

あれーですね。

もうね、あれはエージェントですよ。

本当に、完全に。

えっと、ツールもあって。

うん。

で、メモリも、まあ設定でオンオフできますけど、短期メモリはチャットの中で生きてるし。長期メモリは、あのー、なんかAIに学習させるようにしますかみたいな。

うん、うん、うん、うん。

ところに当たるイメージで合ってますか。学習っていうのはあの。

学習させますか。

覚えとくみたいな。そのキャラクターを。

はい。

名前覚えてもらえるとか。

うん、うん。

そういえば別のチャットでこういうこと言ってたからこういうの言おうみたいなことをしてくれるみたいなやつ。

そうね。あれもね、もちろんメモリですね。

うん、うん。

あと。

えー、例えばコード中にさ、あの、保存されてるドキュメント系とかも、まあメモリと言ってしまえばメモリなのかなって気がしますけどね。

うん、うん、うん、うん。

あの、AIの、まあAgent.mdとかClaude.mdとか。

はい、はい。

あれも言ってしまえばメモリだよねっていう。

確かに。まあほんとにモデルが処理するときに食わせる事前情報を。

うん。

セッション単位で持ってるか、セッション横断で持つかみたいな。

うん。

感じなんすね。

そう、そう。

はい。

そう、そう、そう、そう、そう。

で、えー、モジュールその4。

あと1個なんだ。今まで出てきてないの。UI。

UIではない。

えー、オーケストレーションです。

あー、なるほど。オーケストレーションか。

はい。プランニングとも呼ばれてるんですけど。えーと、要はどのタイミングでモデルを呼ぶかとか。

うん。

えーと、どのタイミングでツール呼ぶかとかメモリとか参照するかみたいなところの流れをコントロールしてる、えー、コントローラ的なブレインですね。

うん、うん、うん。そのブレインは。

うん。

モデルを使って実現されるものなのか。

うん。

はたまた別のなんかプログラムで実現されるものなのかで言うとどっちですか。

えーとね、これは双方関係してると思います。

ほう、どういうことですか。

まず、まあモデルってこう自分で考えて呼ぶツールとかメモリとかなんか選択してるじゃないですか。

はい。

なんですけど、実際になんかLangGraphとか書くとめっちゃ分かりやすいんですけど。あれってモデルに何のツール使わせるかを判定させて。

うん。

で、えー、戻ってきた、えーと、値を元になんか条件分岐させてツールを呼ぶみたいなことしてるんすね。

はい、はい、はい。

なんで、モデルも考えてるし、え、そのモデルの決定を実際に動かしてるのがオーケストレーションの部分っていうイメージかな。

AIエージェントの開発で言うと、そのオーケストレーションを作るっていうフェーズがあるんですよね。

ありますね。

で、そのオーケストレーションを作るっていうのは、なんか例えば具体的にどんな感じで作るんですか。

えーとですね、オーケストレーションに関して言うといろんなパターンがあって。

はい。

えーと、じゃあ例えばツールを呼び出すにしても、いろんな呼び出しのパターンあるんですよ。

ほう。

で、えー、これはなんか結構ね、デザインパターンに近い感じなんですけど。1つはシンプルなやつ、単一ツール実行。

うん。

って呼ばれてるものだと、まあほんとに単一のツールを実行してその結果を渡すだけのもう一直線。

うん、うん。

ほぼオーケストレーションしてる意味ないだろぐらいのやつですね。

うん、うん。

で、えっと、まあちょっとこれだけだと分かりにくいんですけど、えー、ほかのパターンでも並行ツール実行とかグラフっていうパターンがあって。

うん。

並行ツール実行は、まあ同時に一気に何個もツールを呼び出して、全部の結果を集めてから、えー、それを、え、モデルに渡して、えー、推論させるみたいな。

うん。

っていうようなことをやったりとか。あとグラフの場合だと、えーと、この条件のときはこのツールを呼び出すみたいなのがある、あらかじめそのコードで書かれていて。で、えーと、まあその判断をそもそも、えーと、モデルがやったりとか。まあそういう呼び出しの順番みたいなやつってなんかある程度こう書かれてるんすよね、コードで。

はい、はい。

そういういろんな呼び出しのツールのパターンがあって、それをあらかじめ定義しておくためのやつっていう感じっすね、オーケストレーション。

えっと、Claude Codeとかで言うと、まあどのAIコーディングエージェントでもあると思うんすけど、エージェントとサブエージェントみたいなのがあると思うんすけど。

うん、うん、うん。

なんかエージェントとサブエージェントでいうそのサブエージェントの親玉。

うん。

の、そのだからモデルからモデルを呼び出す親モデルって。

うん、うん。

オーケストレーションに入りますか。

入りますね。

ああ、じゃあそれも入るっすね。じゃあほんとにあのモデルの外側にある、まあまずなんか、えーとこのモデルを。

うん。

呼び出してこういう作業をさせますみたいなところも。

うん。

オーケストレーションだし。

うん。

その中でモデルがなんか最終的にどういう判断をする。例えばA、B、Cいずれかのツールを呼び出してくださいみたいなのをモデルに投げて、モデルが判断するのもオーケストレーションっていうCっていう。

ああ、そう、そう、そう、そう。

AIエージェント全体の作業を、まあオーケストレーションする。なんて言うんだ。えー、まあコントロールするところを。

そうっすね。

オーケストレーションと呼ぶ感じなんすね。

そうですね。

じゃあもうそうするとやっぱMeC警察が出てきますね。

あー、まあそれはあり得るかも。

はい。なんか全部ひっくるめてって感じがしますけど。なんかはい、感覚分かりました。

まあそれで言うとね、あのMeC警察はもうモデルとツールの時点から実はあって。

ほう。

さっきで言うサブエージェントは要はツールみたいなもんなんすよね。そのエージェント、別のエージェントから見たエージェントは。

ああ、そうなんですか。へー。

はい。

なるほど。

うん。

じゃあ警察ですね。

だからここはね、結構。ちなみに次もね、警察出てくると思います。

分かりました。ちょっと警察ちょっと構えときます。

警察構えといたほうがいいっす。

分かりました。

はい。で、次のモジュールが、まあ最後なんすけど、学習の仕組みっすね。

学習の仕組み。

はい。

はい、はい、はい。

これはエージェントがその活動を通じてどんどんレベルアップしていくための仕組みみたいな。

うん、うん、うん、うん。

で、えー、まあじゃあそれって何するのっていうので、まあ2パターンあるんすけど、パラメトリック手法とノンパラメトリック手法ってのがあって。

あ、MeCですね。

あそこはね。そこはMeC。

はい。

うん。MeC警察すぎるだろ。まあここのパラメトリックは、まあほんとにファインチューニングみたいなのが分かりやすいっすよね。

もうちょっと詳しくお願いします。

えーとね、パラメトリック手法ってのは要はそのモデルのパラメーターをいじって、えーと、エージェントの動きを調整しますよっていう学習手法ですと。

うん、うん。

で、これは1番分かりやすいのだとファインチューニング。例えば教師ありデータを、うん、教師ありデータ。

教師あり学習。

まあほんとにモデルを再学習させるみたいな感じっすね。

はい。もう出来上がってるやつに対して、めっちゃ優秀なやつに対して追加で。

うん。

やってっていう。

そう。

プリトレインドなモデルに対してみたいなやつですね。

ああ、そう、そう、そう、そう。で、それをやることによって例えばドメイン特化させたりとか。

うん。

っていうようなことをやったりとかしますよっていうのがパラメトリック手法で。ノンパラメトリック手法は、まあめっちゃ雑に言ってしまえばプロンプトをいじりますよっていうほうに近いかもしれない。

うーん。なんか一般的にはこっちのがやりそう。

まずはこっちをやってくださいって推奨されてます。

そうですよね。

うん。

モデルって超デリケートだからな。

モデル超デリケートだし、あとアップデートとかのことも考えないといけないんで。

確かに。

モデル自体の。

確かに。なんか1年持たなそう。

そう。だからね、パラメトリック手法はマジで最終奥義ですぐらいで念押しされますね。

ああ、でもいいですね、それは。すごい大事なことですね。

そう。で、この学習っていうのは、えー、いろんな方法あるんですけど、例えば毎回毎回こうAIに振り返らせて。

うん。

えー、プロンプト調整してくってこともできますし。

うん。

複数のデータをバーって蓄積して、その中から見つけたインサイトをこう反映させるっていう手法とかもありますし。

ふーん。

まあ今のはね、1回なのかバッチなのかの違いみたいなところはあるけど。

なんかその蓄積してったっていうのは、なんかいわゆるそのお客さんというかユーザーが実際に使ってる中で、なんかたまーにこのやり取りの日は1から5で評価してねみたいなのを食わせて。で、そのうちなんか1とか2つけられたやつ分析して。

うん。

その1から2が少し良くなるように、まあAI自身にちょっと振り返らせて改善するみたいなイメージですか。

もあるし、えっと単純に例えばツールの呼び出しとかでエラーが出たときに。

ああ、なるほど。

えっとそれを振り返らせるみたいなこともありえますね。

それは確かに分かりやすいな。

とかあとあのーChatGPTとかさ、なんか2択の回答出してきてさ、どっちがいいですかみたいな聞いてくるやつあるじゃないですか。

はい。

あれとかもあのーその学習に使ってると思われますね。

うーん、なるほどね。

で、これはそういう学習内容とかをメモリに保存してるので、まあそのへんはまあMeCではないなっていう感じですね。

うん、うん、うん、うん。

うん。

なんかオーケストレーションとツールの一部と。

うん。

えーと、なんだっけ、学習するための仕組み。

うん。

っていうのがまずあって。

うん。

オーケストレーションの下になんかモデルやら。

うん、うん。

なんなのか。ほかになん、ほかに何ありましたっけ。

えー、モデル、ツール、メモリ、オーケストレーション、学習っすね。

みたいななんかイメージをしました。

うん。

まあはい。でもだいぶ、だいぶ、だいぶ解像度が上がりました。

はい。で、これらの、えっと、まあモジュールがあって、それをテストしていけますよと。

うん。

いう話なんですよ。ちょ、テストの前段階でめちゃくちゃ時間使ってるんですけど。

はい。まあでもこのぐらい必要かなと思います。

で、単体テストとE2Eテスト。

うん。

どっちも大事です。

はい。

ただ、なんかこれシステムテスト、システム、ん？ソフトウェアのテスト？いや、でもこれもソフトウェアだからなんと言うんだろう。これまでのプログラムのテスト。

はい。

の単体テストとかとちょっとイメージ違うかも。

へー。

まあ関数単体ではないというか。

あー、まあじゃあなんか内部結合テストみたいになってるんですね、その。

うん。

一部のモジュールをバコッと取り出してそれの単位でやるみたいな。

うん。てかなんならまあこれちょっとE2Eの中でやってんじゃないかなぐらいの気持ちもあるんですけど。

ほう。

まずモデルは、あのー、まあ基本モデルベンダーがやってるんであんまここはテストできないはず。

うん。

てかまあこの本には書かれてなかったっすね。

うん、うん、うん。

まあできるとしたらなんだろうね。まあ自分たちのタスクがどれくらいこれに向いてるかみたいなのをなんか質問投げまくってテストとかはできるかもしんないけど。

うん。

まあテストしたとて、あの改善というか、まあモデル差し替えみたいなことしかできないしねっていう。

まあでも差し替えはまあ大事なんじゃないですかね。

まあ確かに。

うん。

うん。なんでまあモデルはまあベンダーがやってくれよっていう範囲かなと。

うん。

で、えーとツール。ツールはこれテストしやすいっすね。あのツール単体がまあ、あのある程度こう動作が決定論的なものが多いので。

うん。

これはほんとに入力に対して出力が期待値どおりかっていうのをまあテストできるはずですと。

そうですね。もうツールに関しては。

うん。

もうそっちはそっちの領域でユニットテストやらE2Eテストがされる感じですね。

そうだね。だからそっちのE2Eテストがこのモジュールの単体テストに近いかもしんない、イメージ。

うん、うん。MCPとかテスト超簡単だろうな、多分。

あー、えっと。

ほぼないんじゃないか、テストパス。

あー、そのレイヤーでってことか。

はい。

うん。

てか、ど、ん？テスト、そうだよな。

うん。

なんか実際に何呼ぶかはモデルがやるから。

まあそうだね。

まああんまりなんかMCPも単体で、まあテストしないわけ、絶対入れないとは言わないっすけど、そんなに価値なさそうだな。

うん。で、続いてオーケストレーションのテスト。

単体？

はい。

オーケストレーション単体？

単体。

え、モデルが中には入ってますよね？

えー、入ってます。

なんかオーケストレーションのテストとE2Eのテストの違いがちょっとあんまりイメージつかないっすね。

うーん、それで言うと、プラン、えー、このオーケストレーションのテストに関して言うと、モデルとオーケストレーションをテストしてるに近いかもしんない。

ほう。

だからまあさっきのあの、まあ要は結局これMeCじゃないよねっていうところがめちゃくちゃ影響してると思うんだけど。

はい。

オーケストレーションって単体だと、あのー、そんなに何もないから。

はい。そのイメージ。

だから結局、うーん、モデルは使う。

うん。はい。

で、ここでは何をテストするかというと、ツールの呼び出しをテストするんすよ。

まあ、なんか処理が流れるかなみたいなことですか、ちゃんとその意図したとおりに。

えっとそう。で、えー、もうちょい具体的に言うと、正しいツールを無駄なく適切、適切なパラメーターで呼び出せたかどうかをテストするっていう。

あー、なるほど。じゃあ、あの動かしたあとの間のここの処理、なんの引数、引数っていうかパラメーターを。

うん。

渡してるかなみたいな目まで。

うん。

見るってことですね？

そう。で、えーとあとはその正しいツール全部呼び出せてるかどうかとか。あと逆に無駄なツールを呼び出してないかとか。

うん。

そういうのも含めて、えー、ツール呼び出しのところをテストしていく感じになりますね。

すいません、なんのフレームワーク使ってるって言いましたっけ？ラングチェーン？

えーとね、ランググラフ。

ランググラフ？

うん。

ランググラフ、Pythonですか？

Python。てかあのー、ラングチェーンの発展バージョンみたいなやつ。

だからPythonもあれですよね、なんかそのパラメーター見るテストかけるんでPytestって。

うん、うん、うん。

そういうのでなんか見ていく感じなんですかね？

ログの取り方はどうなるんだろうな。

Mockとかするのかな。Mockとかしないのかな、それ。パラメーター見るのは多分Mockしなきゃいけないから。Mockとかはしないのかな。

そこまではね、書いてなかったな、でも。

でもMockしないとパラメーター見れないよな、多分。

スパイとかねじ込むのかな。

ね。とかは思いますけど。まあでもそこまでするんかっていう。なんか結果良ければすべて良しにするのか。

うん。

そこまで見るかっていうところですね。

うん、うん、うん、うん。

まあなんかモデル挟むならなんか見といてもいい気がするけどな。

うん。

なんか今後多分新しいモデル出たり、あとはなんかコストダウンのために、じゃあちょっとClaudeからGPTに変えましょうみたいなのがあったときに。

うん。

やっぱなんか細かいとこ見たいはずなんで、多分。

うん、うん、うん、うん、うん。

そういうことはやっとくのかなって素人は思いました。

うーん。まあちょっと具体的な手法はちょっと煮え切らない感じになってるんですけど。

はい。

チェックしたい項目はそのへんっていう感じですね。

うん、うん。

で、あとメモリのテスト。

メモリのテスト？

うん。

残ってるかをテストするのか？

あ、そういうこと、そういうこと。

あー、なるほど。

だから書き込んだデータがちゃんとそこから正しく取得できるかとか。

うん。

あと、えーっと、こ、これはどうやってテストするんだろうなっていう疑問はやや残ってるんですけど。あのデータ量が増大したりとか、あと状況が複雑になったときにも適切にほしい情報を取り出せるかっていう。

へー。えー。なんかこのモデルはこの情報まで取れるけど、このモデルはこの情報まで取れないみたいなのがあると思ってて。

あー。

多分コンテキストが増えると。

いや、えっとね、これモデルというか、これはね、多分データベースとかになると思うよ。

あ、そうなんですか。

うん。

あんまりちょ、データベースって言ってるのって。

うん。

NoSQLのなんかのデータベースですか。