生成AIに関するRAGっていう技術知ってる？

「検索できるようにしますって言って出すまさにそうです」

生成AIに関するRAGっていう技術知ってる？

「この番組は駆け出しエンジニアの順平が先輩エンジニアの海地のりとともに中級エンジニアにキャリアップさせていただくラジオとなっております日本語あってました今日本人じゃないかもしれない主語がいっぱいあったけどはいということですね本日はですね順平からちょっとお話しさせていただきたくおー」

「なんですか昨今のちょっと生成AIブームに乗っかりまして生成AI系の一つのテクノロジーにちょっと絞って話していきたいなと思っておりますなんだ言うとラグっていうテクノロジーについてなんですけど結構話題よく聞く単語」

「になってきてるんじゃないのかなっていうところで僕が本業の方で生成AI系をやってるっていうのもあってちょっと自分の勉強がてら話していこうかなとざっくりと中身のシステムっていうよりはこういうのだよっていうのをさらっと表面解説できたらなと思ってます何も知らないから助かりますよろしくお願いしますというところで」

「まずですね中身に入っていくと僕たちは最近の生成AIブーム的には使う側としてはチャットGPTとかそれの中で画像とか画像生成あとは動画生成とか資料の作成だとかを使う側としてはそういうふうに生成AIを活用しているのかなというところがあると思うんですね」

「なので使う側としては基本的にどんなものがあるのか生成AIの技術って今どういうのがあるのかっていうのを日頃キャッチアップして自分のタスクを効率化するっていうのが」

「まあいいのかなっていうところ結構インスタとかでもなんかAI副業みたいな動画とかめっちゃ流れてきませんめっちゃ流れてくるめっちゃ流れてくるんですよねこいつらーって思って見てるわかんないけどめっちゃ流れてきませんポケモン?脱毛気にしすぎだってそういう時期ありました僕も」

「AI副業とかねAI使ってめっちゃ動画作ってもらって副業するとかっていう使う側としてはそういうところにアンテナ張っておくのがいいのかなっていう風には思いますただ一方で逆にそれを作る側提供する側」

「どうなってるのかっていうところどんな勝負をしてるのかっていうところを見ていこうと思っててその中の一つのラグですね今言ったように作る側としてまずチャットGPTみたいな本当に簡単にプロンプトっていうユーザーがチャットGPTに投げる文章ですよねまずメッセージプロンプトって言ったりしますけどこのプロンプトを」

「投げてレスポンスが受け取ってそれを表示するみたいなのはそれはもう簡単に作れるんですよ今はAPIが公開されてますし誰でもそれだけならすぐ作れるのですなのでなるほどそうなのですねはいなのでえーと」

「そうですねあとはDeFiとかっていうサービスなのかなあれ何それDeFiっていう結構有名なてか最近勢いあるんですかねなんか簡単にそのチャットGPTみたいなポックを作れるサービスなんですよねそれがローコードなのかなとかですぐ作れるようなサービスがあったりするんですけど」

「それの中で同じようにラグとかも一応実装できたりするんですねそういうサービスとかもあったりっていうところで結構画面だけならすぐ作れますよっていうところでじゃあ裏側はどういうところで勝負するのかっていうところが」

「ラグの技術の差別化ですねすみませんちなみに差別化の話になってるんですけどそもそもラグって何なんですかはいそもそもラグっていうのがですねリトリバルアーギュメンティブジェネレーションっていうものなんですけどなるほどねわかっちゃうんだそれで」

「すごいななるほどねリトリーバルアーギュメントジェネレーションねはいそういうやつリトリーバルが情報検索取ってくるとかアーギュメントじゃないなオーグメンティルかなこれが増強するみたいな意味なんで情報検索をより強くするみたいな拡張情報検索みたいな」

「言い方とかもしたりしますねそれのジェネレーション生成情報検索をより強くするみたいなテクノロジーがラグって呼ばれてるものですね頭文字3つ取って生成AIみたいな01じゃないってことですか」

「どっちかっていうと探すのめっちゃ頑張るみたいなすげーGoogle検索みたいなことあーいやー01も入ってますね01も入ってますカスタマイズするみたいなイメージですかね顧客ごとにうんちょっと詳しく解説していくんですけどなんでえっと」

「一般的な生成AI、ChatGPTってLLMと呼ばれるラージランゲージモデルから回答を引っ張ってきて生成するというところなんですけど、その一般的な回答って結構やっぱり知識が浅い部分だったり」

「欲しい情報じゃないというかちょっと間違った情報が飛んできたりもすることがあるんですようんありますね広すぎて雰囲気合ってるよっていう雰囲気出して言ってきますからね合ってる雰囲気出してきてすげー間違ってることこれなんかハルシネーションとかって言ったりするんですけど幻想って意味ですね」

「なんでちゃんと調べなかったりしたらそれを鵜呑みにして使っちゃうと違う情報やんってなったりするんですけどそういうのが良くないっていうのもあってこのラグっていう技術は外部ソース自分なりに例えば何ですかね社内で持ってるFAQとかを登録して登録っていうかあらかじめ読み込ませておいてそういう外部ソースからも情報を取得して回答を生成させるっていうのがラグなんですよねうんうんうん」

「基本的には精度とか信頼性が向上するようなテクノロジーなんですよそこで結構企業は今勝負してるのかなっていうところなんですけどなんで簡単に言うとLLMの機能の不足分を補う技術っていう感じですかねちなみにすごい前にカイチが」

「エピソードで持ってきたのがラングチェーンとすごいやってること同じそうだなと思ったんですけどあれってもしかしてラグの分類に入ってるやつがラングチェーンなんですかラングチェーンはですねざっくり何してるかというとデータベースに文字とか全部食わせてそれをベクトル化してで何でしょうね受け取った」

「文字というか知識じゃないなプロンプトに対する回答をデータベースとかインターネット上の情報から取ってくるみたいなことをやってるんですけどなんでなんか僕もラグそんな詳しくないんですけど似たようなことやってるなっていう認識ですラングチェーンを使ってラグを作ることはできるみたいな流度の違いな気がしますねラグがそもそもさっきじゅんぺいが言ってた」

「外部のデータとか何かしらの知識ベースから情報を取得してそれを自然言語生成に落とし込んで情報を出すものがラグでだから出来上がったアプリAPIがラグそんなラグを作るために色々なフレームワークがあるけどそのうちの一つがラングチェーンまたまたAWSだったらBedrockAzureは」

「知らんみたいな位置づけだとこのあっさい調査で思いましたそうですねラグの一種がラングチェインみたいなフレームワークラグの一種っていうよりはラングチェインって生成AIを使ったアプリを作るフレームワークなんですけどラグじゃないのも作れるって言うんですかねラグも作れるみたいななるほど」

「ラングチェーンを使ってラグを構築ラグを作れるラングチェーンはラグとかじゃなくて本当にただオープンAIを横流しするだけのやつもできちゃうんでそれは多分ラグじゃないからラグじゃないのもできるなるほど便利だなリアクトを使ってウェブアプリも作れるみたいなそういう関係性ってことですか?そうですねそうそうそうそうそうそういう関係性」

「だと理解しました僕はありがとうございますそのラグの中でそのラングチェーンを使っても一応ラグのテクノロジーというかラグを実装できるっていうのかなとかっていうのもありますしまたなんかこうやっぱ企業ごとにこういろんなやり方というか情報を情報の取ってき方精度を上げるためのみたいなやり方っていろいろあってそれの中の一つ」

「としてラングチェーンも使えるみたいな感じですかねちょっと言い方むずいなありがとうございますちなみになんですけどそもそもなんですけどなんでチャットGPT使わないんですかチャットGPTを使うと企業に提供するときお客さんに提供するときとかにっていう話ですか提供するときに」

「自社でチャットGPTみたいなのを作ってなぜ提供しないかってことなるほどごめんなさいそれで言うとちょっと誤解があるかもしれないですねもともとその自社自社プロダクトとしてチャットGPTみたいなのを作ってその中にラグを使った検索をできる回答を生成させることができる機能を組み込むみたいな話ですねうんうんうんうんうんうん」

「じゃあそれがないと自社内のノウハウを検索できないってことかなそのチャットGPTが知らないその会社に閉じた情報を検索できないチャットベースで検索できないできないですはいそうですねそうですねはいなんでプラグインみたいな形でよく多分そのラグとしての機能を実装しているところが多いと思いますというかそれしか知らないですね僕はうんうんうんプラグインっていうと」

「どういうイメージだ?具体的に自分の会社内で使うために作るイメージですかそれともお客さんに提供するために開発するイメージ?僕のところで言うとお客さん用の顧客用のチャットGPTをそれぞれ構築して提供していてそれの中に顧客用の情報をあらかじめ読み込ませておいてラグを」

「機能を実装しておくというようなイメージですねなるほどじゃあお客さんが例えば生成AI使って業務効率化したいんだよねみたいなふわっとした悩みがあってそれに対してただチャットGPT使えるようにするだけだと社内のノウハウ参照とかができないからオタクのデータベースもオタクが持ってるデータ知識もチャットGPT食わせて」

「検索できるようにしますって言って出すまさにそうです」

「プラグイン的にってどういう意味ですか主機能としてじゃなくてって感じですかね主機能としてはあくまでチャットGPTみたいな画像生成とか普通にプロンプトを投げて一般的な回答をもらえるようなものが一応主機能としてあってかつ他の機能として社内のデータにフォーカスした情報を検索してきてもらうような機能もつけてるっていうようなイメージですねなるほど」

「でそれをまあ本当にお客さんによりますけど例えばGPT-4を使えるのかはたまたGPT-4だけでそれをやるのかモデルも選択しつつそのプラグインを使えるみたいなところとかも差別かポイントであるのかな基本新しいGPT-4とかを使えた方がいいと思うんですけどそういうのってお金の問題なのかねお金の問題とかありますねなるほど」

「っていうイメージでそうですねチャットGPTだけではなくっていう感じですねここまでの状況を整理して認識やってるか確認してもらっていいですかめちゃくちゃ散らかっちゃってすいませんえっと」

「例えば社内でチャットGPTを使いたいよってなったお客さんがいますとってなったらまずはチャットGPT的な機能がありますとそれとは別でそのチャットGPTにいい感じに投げるための機能としてラグを作るみたいな感じなんですかそうですそうですラグは機能の名前みたいな認識なんですかね」

「難しいな例えば提供する側としてはそれこそFAQのデータを読み込ませているんだったらFAQ検索みたいな機能として名前つけてテクノロジーとしてはラグで情報を持ってきているみたいな言い方ですかね正しくはそういうことですねそういう検索の機能にAIを使った検索の機能を特化させるために便利な」

「なんか仕組みみたいな感じなのか承知ですありがとうございますよくある社内のチャットボットとかもあるじゃないですかあれってかなりこうなんていうかこれしか回答できないみたいな結構感じでなんか使いづらかったりしません?思った回答返ってこなくてうんうんわかるわかるっていうのにAIの脳みそが入って」

「より柔軟に普通に会話みたいに社内のデータとかを持ってきてこれ持ってきてくれるようになるっていうようなイメージですねちなみにその時その社内の情報みたいなやつはデータベースとしてはもう社内に構築するんですかそのラグのなんかラグで参照するデータベースみたいなのってそうですね」

「どういうアーキテクチャでやるかによると思うんですけど僕のところだとAzureなんでAzure上のところでインデックス登録をしておくストレージの中に入れてそこからこうなんだろうAzureFunctionsっていうのでそのAzureFunctionsの中にあるローダーが読み込んでくれてそれをAISearchっていうインデックスに登録してそこのインデックスから読み取ってデータを画面に表示するみたいな」

「感じの仕組みになってたりするAIサーチがAzureのラグではないその一連の流れっていうんですかねインデックスを登録して情報を取ってきてくれるまでその仕組みがラグっていう感じですかねAIサーチって要するにあれですか言語というかベクトル化された自然言語情報を取ってくる」

「ORマッパーみたいな登録されるところですかね登録されるところデータをデータレイクみたいなデータレイクっていうのはデータをいっぱいためビッグデータをためとく箱あーでもそうですねそうですねはいなるほどね本当に抽象化されてるのはすごいいいですね使いやすそうはいっていうのでまあなんでその流れというか仕組みシステムテクノロジーがラグっていう」

「考え方ですねこのラグを使っても結局精度が出ないこととかもやっぱあったりしてそこにどの会社もやっぱ力入れてるんですよね例えば一つのアーキテクチャとしては多分」

「ユーザーが画面UIからプロンプトを入力しますそのプロンプトをベクトル化するためにオープンAIとかだとエンベニングモデルっていうのがあって今GPT-4Oとかがありますけど他にもモデルっていっぱいあってベクトル化するのに特化したエンベニングモデルっていうのはあって一回そこに投げられてプロンプトがそこで数値化されてベクトル化されてそれがベクトルを」

「登録するのに適したデータベースベクターDBとかがあったりしてそこに登録されてそこのベクターDBがLLMとやり取りをしてその中から似たような関連性の高い情報を持ってきてUIに表示させるみたいなのが一つのアーキテクチャーよくあるアーキテクチャーだったりもしますねそのUIからエンベディングモデル」

「エンベディングモデルからベクターDBからのLLMでUIに戻ってきたんですけどここにラグが入るとまた別の場所から例えばPDFが登録されている場所そこから例えばラングチェーンを使ってそのPDFをあらかじめベクトル化してベクターDBに登録しておくんですよ」

「なんでそこのあらかじめ読み込ませておいたpdfのデータとユーザーが今回入力したプロンプトのベクトル化されたものの関連性とかが近いものを一緒に検索してllmが回答を作ってUIに表示するみたいな感じで普段の流れに合わさっているような感じプラスされてる検索の流れというか検索範囲が」

「なんか伝わりますかね分かる分かるめちゃめちゃ広い街の中で指定されたものを買ってくるの大変だけど専門店の中の方が見つけやすいよねみたいななるほど探す範囲が狭い方がより正確な情報を探しやすいみたいなですですその正確性も上がりますしあとは柔軟性要は読み込ませたいものを読み込ませておけるっていう意味で柔軟性あとは効率性ですね」

「これっていうものを読み込ませてるのでやっぱりよりピンポイントが当たっててそれが持ってきやすいというかちょっと正確性に近いんですけどめっちゃ倫理かなってますよね僕らの大好きなパレートの法則に従うと世の中の調べ物の8割なんて2割の情報で済むはずなんでじゃあ2割だけ持っておいた方が仕事効率的に済むよねみたいなねはいっていうのでここら辺の今はアーキテクチャとしては一例ですけど」

「これをなんか他に本当にそれこそあらかじめ読み込ませておいたpdfをラングチェーンでベクトル化してとかって話をしましたけどそこのラングチェーンの部分を例えばibmかなibmのワトソンディスカバリーみたいなリソースがあってそれで結構結局結構解析とかに向いててなんかインデックス化構造化したりそのデータを構造化したりして読み込むのが結構得意なリソースだったりするらしいですね」

「そっちを通してからベクタル化するとかっていうのでいろいろ精度を上げるための研究とか本当に一例なんですけど今のもいろいろいろんな企業が精度を出すために頑張ってますよっていうところなんですよねそんななんか組み合わせたら良くなったりするんだねいやそうなんですよね本質的というか結構小手先な感じですねイメージは」

「ここでちょっと気になるのが精度の話どうやって評価するんじゃいみたいなところが結構難しいところあるんですけどこれは一般的にはゴールデンデータセットみたいなゴールデンデータって呼ばれるものがあってこれが正解だよねみたいのをあらかじめこっちが用意しておくんですよねそのゴールデンセットもどう用意するのっていうのもすごい難しいところあるんですけどこの2つぐらい例を出すと一般的には」

「こういうクエリプロンプトユーザーが投げるとこのデータの何行目の部分の情報を持ってきてほしいです結果期待する回答で読み込んでほしい部分があって実際に生成される回答はこういう文章で生成されたらいいよねっていうのが一つゴールデンデータ」

「でもう一つがこの前のAIチャレンジデイみたいのがあってちょっと僕は参加しないんですけどそこでやっていたその評価の仕方ゴールデンデータっていうのだと5つの評価軸があって」

「まずシミラリティ類似性みたいなところユーザーが送ったプロンプトと生成された回答これはちょっと難しい話なんで僕も理解できないんですけどコサイン数学とかのコサインですよねそういう数値系そっちのコサインに基づいている類似度で評価するとユーザーのプロンプトと生成された回答あと他に4つがGPTに1回投げてそのGPTが判断してくれる数値」

「なんですけどその4つの中の1つがまず関連性ユーザーの質問と書いてきた回答の文脈の関連性というかっていうのが1つ2つ目がグラウンディッドネスっていうので直訳すると地に足がついたとかっていう意味なんですけど大元の文脈を外してないよねっていうようなイメージですかねシミュラリティに似てるとかあるんですけど3つ目これも」

「これもシミュラリティなんですけど一つ目はコサインに基づいた類似でのシミュラリティだったんですけどこの今GPTによる評価の三つ目はそのコサイン度じゃなくてそのGPTが判断するシミュラリティ類似性回答と自分のプロンプトと生成された回答で最後五つ目これがフリューエンシーっていうのでまあなんか日本語というか言葉の使い方間違ってないよねとかそういう話ですかね読みやすい文章してるかなっていうのがフリューエンシー」

「流暢さですねこういう評価の軸数値として数値を出してくれるシステムをあらかじめPythonで用意しておいて評価させるとかそういうのもゴールデンデータセットとして用意している場所もあったりするような感じなんでそこの評価精度も結構軸はブレブレっちゃブレブレなところはあります」

「分かるよでもAIって全体的にそうですからねテキストとか音声とかそういうふわっとした系はね一応だいぶ抽象化されてゴールデンデータっていう風に呼ばれてますねこういう評価軸をっていうのでそれぞれ評価しつつどの会社も制度を上げてなんとか差別化しようかなしたいっていうところで動いてるっていうのが裏側提供する側の話ですね」

「でしたという感じですねなるほどな素人の感想ですけどぶっちゃけAIの性能そこまでUXに関係ない気がしてきますねある程度までいくとちょっと良くなったとか絶対に分かんないですもんね実際良くなってたとしても使ってる人気づけない気がするわ確かにしのぎを削ってしかもそこで1位取ったらとりあえず1位のとこに」

「相談しに行こうってなるからめっちゃ大事なんでしょうねそうっすね通常の開発フローだとゴールデンデータは誰が作成するんですか通常のフローだとラグを実装してる人たちが用意しますよねテストするときは多分そうなんでしょうけど顧客に実際提供するぞってなったときはやっぱ顧客がくれた方がいいのかなっていう気はしますよねわかるー」

「絶対やんなそうだよねそうですよね顧客側も本当使ってみてああだこうだいうみたいな感じにはなりそうだから開発側でそれっぽいリスト作ってこれでこんぐらいいけてるんでいいっすよねって納品するんでしょうねそうなるかAI系ってなんか全部そうですね僕が前やってた画像認識のソリューションも似たような感じでしたね気合で正解セット作ってで」

「気合で数万枚の写真からお客さんに数万枚見せるわけにはいかないんでここ気にしそうだなっていうのを気合で数十枚ピックアップして数十枚出してこれだとこんな感じなんですけどこれでいいですかねみたいな前回こうなってたんでこれよりは良くなってますよねみたいなハイコンテキストなやりとりが多分さらにされてそうですよねそういう」

「全言語処理界隈は地道なものに支えられて便利なものが使えて本当にありがたい本当にありがたいなんで多分AppleのAppleIntelligenceとかあるじゃないですかあれは完全にラグな話なんじゃないかなっていう気はしますけどねあれってチャットGPTただ入れただけじゃないのなんか全然知らないけど例えばiPhoneの中のメール自分の」

「iCloudのメールとかも読み込んで文章とか取ってきてくれるとかっていうのはラグの部分のシステムというかテクノロジーを使ってるんじゃないのかなっていう気はしますねそうかもねコパイロットに近いんだどっちかっていうとダウンロードコパイロットとかにもう出てますっけそれいやまだ出てます次回はい」

「楽しみはいっていうのでこういうね生成AIブームの中で制度向上の一つとしてラグというテクノロジーがありますっていう話でこれだけじゃなくてまだまだいろんな生成AIの活用の仕方というかテクノロジーっていうのはまだまだ出てくると思うんですけど一つ紹介させていただいたんでちょっとそういうのあるんだなっていう視点を持つといいかなと思ったので紹介させていただきました」

「なるほどウェブサイトのさ右下にふわって出てくるチャットボットとかに使われていきそうですよねそうですよね確かにサイトの使い方について不明点があったら聞いてくださいねって今だと結構やっぱシンプルに選択肢決められてて分岐して探すみたいなじゃあヘルプ見るわみたいなの多いじゃないですかめっちゃ多いですねその辺がもっと柔軟にできるといいですよねそこら辺はもう間違いなく変わりそうな気がしますよね」

「めっちゃシンプルに言うと要はラグっていうのは後ろにLLMがあってそいつに検索を投げかけるときにより便利にするためにミドルウェア的に挟まってるやつぐらいの認識でいいんですかねミドルかミドルかラグがですかラグっていう実態じゃなくて多分ウェブアプリみたいなもんだと思いますよウェブサーバーみたいなウェブサーバーはちょっと違うななんか」

「包括してラグと呼んでるみたいなLLMと知識データベースとそれらをそれを提供するサーバーとか全部ひっくるめてラグって言ってるのとLLMも含めてるんだどうなんでしょうじゅんぺんさん絶妙な顔してる」

「深まってるのかななんか精度を向上させるっていう意味であれば深まってる気がしますけど深まってる一番最初の定義みたいな部分で言うと外部ソースから取得した情報を用いて生成AIモデルの精度と信頼性を向上させるテクノロジーなのでなるほどLLMの回答精度も向上させている」

「っていう話で言えばLLMの内容も含まれているLLMも含められている気はしますねバチッと決まる何かではないんですねふわっとしてますねその定義はどっちでもいいか含まれてるか含まれてないかというよりは検索をより何かに特化させたりとかより精度高く出すためにLLMの手前でいろいろやってるよみたいなそういうことなんですよね」

「そうですねそこら辺の何かやってるような流れの部分やってる部分とかがラグちなみにこれって一エンジニアとしてどう思った気がいいんですか」

「今別にラグの案件とかやってるわけじゃないんですけどどう思います?なんかそうですね紹介した理由でもあるんですけど知っとくのはなんとなく必要かなっていう気はしてますだいぶただの生成AIブームではあるんですけどその中でより付加価値をつけるためにこういうラグっていう概念というかテクノロジーが出てきてるんだよっていうのが知っておけば話にはついていけるのかなっていう気がしてて」

「ちなみにこれいつか我々のレイヤーも実装する日来そうじゃないですか普通になんかそうっすね確かになんかプロジェクトにもよると思うんですけど全然ウェブに組み込まれる可能性はありそうだなっていう気がめっちゃしている確かにかなり一般的になる可能性もなんかありそうですよね今は上質の人とかが知っておいた方がいいんじゃないかなっていう気がしてますなんとなく上質ってことは」

「共用として的な話ですか上司室担当の人が社内のオペレーション改善ですねなるほどあとはまあなんか監視運用部隊かもサポートかサポート部隊かもしれないしカスタマーサクセスかもしれないしカスタマーサクセスも確かになあと普通に社内ツールとしてもねだから上司室かはい」

「そうじゃなかったら他社にそういうのを売りに行く営業企画かその営業企画についていくインジニア」

「はい一応今日は参考にした記事NVIDIAの記事があったんですけどそれをちょっとリンク貼っておくので読んでみてもらえるといいかなと思いますちなみにこのラグっていう名前をつけたこのパトリックなんだろうリュイス氏みたいな人の話が出てるんですけどこの人はこんなわかりづらい名前をつけてしまって本当に申し訳ないみたいなことを言ってますね」

「いやほんとこんなに広まると思ってなかったっぽいんですよねこの論文が面白なんでこんなことになるならもっと響きのいい名前にするつもりでしたが誰もいいアイディア思いつきませんでしたって言ってましたいやーなんか適当に名前つけるとかいやあるあるだななんかそのパリで名前つけてたらそのまま言っちゃうのはめっちゃあるあるな気がするわ広まったらもうおしまいですからねうん」

「HTTPのリファラーもずっとタイポしたまま広まっちゃってますからねそうですねリファラー懐かしいずっと前話しましたねはいちょっと記事興味あれば読んでもらえればと思いますはいありがとうございますでは最後にお知らせでハッシュタグひまじんプログラマーでSNSのXでフィードバック募集してますので」

「ラグ触れてる人とかおすすめの使い方ないし面白いクラウドサービスありましたら教えてくださいお願いしますあとはポッドキャスト説明欄からGoogleフォームで番組のお便り要望質問感想何でもお待ちしてますぜひぜひお気軽にお願いいたしますラグ使って実装してみたよとか欲しいですねかっこいい動かすだけなら簡単にいきますからね本当に」

「役立つプライベートで使うものではないですねお金かかっちゃうしね会社でもホイホイ入れれないんですよねガバナンス的にね確かに難しいところなんですよねあとは各種ポッドキャストプラットフォームでのフォロー高評価お待ちしてますのでこちらもお願いいたします」

「フォローしてくださいお願いします順平のすごい仕事に即したナイスエピソードだったんで引き続きお願いしますお願いしますはいちょっとまとめ力上げますはいではまた次回バイバイ日本のエンジニアは使うアプリが多すぎる事実ひまプロの使用アプリ平均数38.6個」

「レイキャストならアプリの即起動過去のコピー履歴を引き出せるウィンドウのリサイズなどこれ一つで作業効率アップしかも料金無料今すぐレイキャストで検索」