LangChainとは？AIエージェントの記録と評価を担うLangSmithの開発元

AIエージェントは試作では動いても、本番で品質を保てるかを確かめる作業が、自社サービスに組み込む開発チームの負担になります。 米国のLangChainは、エージェントの動作を記録し、LLMによる自動採点と人の確認で品質を測るLangSmithを提供しています。 同社は公式発表で、エージェントは試作しやすい一方、入力や変更のたびに予想しない結果が生じうるため、本番に出すのが難しいと説明しています。 LangSmithは、利用者が気づく前に、変更による品質の低下を開発チームが見つけられるようにすることを目指す製品です。

国：米国。 情報確認日：2026年11月1日。 同社は会社概要で、サンフランシスコを本社とし、ニューヨーク、ボストン、アムステルダムにも拠点があると案内しています。 会社概要によると、LangChainは、Harrison Chase氏が2022年後半に個人で公開したPythonパッケージから始まりました。 同氏は2023年初めに、共同創業者のAnkush Gola氏と会社としてのLangChainを設立しました。 2025年10月20日の公式発表では、1億2,500万ドルを評価額12億5,000万ドルで調達したと発表しています。 この資金調達はIVPが主導しました。 なお、今回確認した公式資料では、同社による買収や同社が買収された事実の記載は見当たりませんでした。

LangChainの製品構成

LangChainという名前は、会社名であると同時に、同社が開発するオープンソースのエージェント開発フレームワークの名前でもあります。 会社概要では、オープンソースのフレームワークで得た知見を、商用のエージェント開発基盤であるLangSmithに取り入れていると説明しています。 公式発表では、LangGraphを、エージェントの各手順を細かく制御し、記憶や人による確認（human-in-the-loop）を組み込めるフレームワークとして紹介しています。 同じ発表によると、LangSmithの構成要素には、動作を記録するObservability、振る舞いを採点するEvaluation、エージェントを本番に配置するDeployment（旧LangGraph Platform）があります。 評価機能の製品ページでは、LangSmithはLangChainやLangGraphを使わずに作ったアプリでも評価できると説明しています。 料金ページには、これらに加えて、Fleet、Engine、Sandboxes、LLM Gatewayの料金が並んでいます。

AIが担う工程と人が確認する工程

LangSmithで評価の対象になるのは、利用者の企業が作ったAIエージェントです。 動作の記録そのものはデータの収集ですが、採点、不具合の分類、修正案の作成には、LangSmith側でもLLMが使われています。 下の表は、公式資料で確認できた範囲をgennaiが整理したものです。

機能	AIへの入力	AIの出力	人が確認する工程
オンライン評価（LLM-as-a-judge）	本番環境のトレース	定義した基準に沿った採点	専門家が一部を確認し、自動採点との食い違いを指摘する
Insights	記録されたトレース	利用傾向や失敗パターンの分類	開発チームが分類された結果を見て、どの問題から対応するか決める
Engine	LangSmithのトレース	問題の要約、プロンプトやコードの修正案、GitHubのPR	チームがPRを確認してマージする
Fleet	自然言語で書いた作業の指示	作業を担うエージェント	利用者がInboxでエージェントの操作を承認、却下する

動作を1手順ずつ記録するObservability

Observabilityの製品ページでは、エージェントが何をしているかを1手順ずつ確認でき、応答時間、費用、回答品質に影響する問題を特定できると説明しています。 記録用のSDKはPython、TypeScript、Go、Javaに対応し、OpenTelemetryとも連携できます。 ダッシュボードではトークン使用量、応答時間、エラー率、費用、フィードバックの点数を追跡し、しきい値を超えたときにwebhookやPagerDutyで通知できます。 同じページによると、Insightsは記録をAIで自動的に分析・分類し、利用傾向やエージェントのよくある振る舞い、失敗パターンを見つけます。

LLMと人で採点するEvaluation

評価機能の製品ページでは、評価を2種類に分けています。 オフライン評価は、開発中に用意したデータセットで変更による品質低下を確かめる方法で、同社は単体テストにたとえています。 オンライン評価は、本番の利用状況をリアルタイムに採点し、品質の変化を検知する方法です。 オンライン評価の手順書では、LLM-as-a-judgeを、人のような判断の代わりにLLMでトレースを評価し、大量に処理できる手法と説明しています。 採点の対象は、利用者が不満を示した実行、特定のツールを呼び出した実行、特定のメタデータを持つ実行などに絞り込めます。 サンプリング率を0.1にすると、絞り込んだ実行の10%だけを採点できます。 同じ手順書では、オンライン評価が実行されたトレースは長期保存に自動で切り替わり、トレースの料金に影響すると注意しています。

評価機能の製品ページは、LLM-as-a-judgeの採点がいつも正しいとは限らないと認めています。 そのため、採点結果の一部を人の確認者に回し、食い違いを指摘してもらうことで、自動評価の基準を調整する流れを用意しています。 確認作業は、実行を専門家に割り当てるannotation queuesで進めます。 pytest、Vitest、GitHubのワークフローと連携でき、点数がしきい値を下回ったときにCI/CDのパイプラインを失敗させることもできます。 検索を組み合わせた回答（RAG）では、関連する文書を取得できたかと、回答が取得した文書に沿っているかを分けて測れると説明しています。

例えば社内規程に答える問い合わせエージェントなら、「回答が取得した規程の文書に沿っているか」をLLMに採点させる使い方になります。 そのうえで規程を熟知した担当者が一部の回答を確認し、自動採点と食い違う例を探します。 gennaiの見立てでは、評価で最初に測るべきなのは、自動採点の点数そのものより、自動採点と担当者の判断がどれだけ一致するかです。 この一致を確かめないまま点数をCI/CDのしきい値に使うと、誤った基準で変更を通したり止めたりするおそれがあります。

不具合を探して修正案を出すEngine

Engineの製品ページによると、EngineはLangSmithのトレースを分析して失敗を探し、本番でまだ起きていない問題もレッドチーミングで見つけます。 見つけた問題は深刻度順に一つのキューにまとめられ、根拠となるトレースが添えられます。 Engineは問題ごとに失敗の内容を要約し、プロンプトやコードの修正案を書き、新たな品質低下を起こさないかを確かめます。 コードベースを接続すると修正案をGitHubのPRとして作成し、チームが確認してマージする流れになります。 解決済みの問題が再発していないかを監視し、オフライン評価用のデータセットに加える本番の例も提案します。 同じページでは、EngineはLangChainが提供するLLMを使い、利用者が自前のモデルを指定することはできないと説明しています。

エージェントの実行を管理するDeploymentとFleet

Agent Serverの技術資料では、Deploymentの中核として、エージェントのアシスタント、会話のスレッド、実行、定期実行を作成・管理するAPIを説明しています。 実行の各手順で状態を保存し、処理が中断しても最初からではなく直前の状態から再開できます。 LangGraph以外のフレームワークで作ったエージェントも配置できると案内しています。

2026年3月19日の公式発表では、旧Agent BuilderをLangSmith Fleetとして刷新しました。 Fleetは、エージェントを作成・利用・管理する企業向けの作業環境で、短い指示文からエージェントを作れます。 エージェントごとに、複製、実行、編集の権限を設定できます。 Inboxでは、複数のエージェントの操作を一か所で確認し、承認や却下ができます。 エージェントのツール呼び出し、判断、出力は記録され、何をなぜ行ったかを後から確認できると説明しています。

料金と提供形態

料金ページでは、無料のDeveloperプランは1席で、毎月5,000件までの基本トレースを含みます。 Plusプランは1席あたり月39ドルで、毎月1万件までの基本トレースを含み、DeploymentやEngineを使えます。 Enterpriseプランは個別見積もりで、セルフホストやハイブリッド型での導入に対応します。 上限を超えた分は従量課金です。

評価機能の製品ページによると、smith.langchain.comで提供するLangSmithのデータは、GCPのus-central-1またはeurope-west4に保存されます。 企業向けには、AWS、GCP、Azure上の利用者のKubernetesクラスタで動かし、データを自社環境の外に出さない構成も用意しています。 同じページで、送られたデータを学習に使わないと明記しています。

日本の開発チームから見る導入条件

ここからはgennaiの見立てです。 LangSmithに送るトレースには、利用者の質問、検索した文書、ツール呼び出しの結果がそのまま含まれる可能性があります。 個人情報や社外秘の情報を扱うエージェントでは、確認した資料にある米国とEUの保存先で問題ないか、セルフホストが必要かを先に決める必要があります。 Engineは利用者がモデルを選べないため、トレースを外部のLLMで分析することを社内の規程で認められるかも確認対象になります。

日本語の回答を評価する場合は、LLM-as-a-judgeの採点が日本語の言い回しや敬語の誤りをどこまで捉えられるかを、自社のデータで試す必要があります。 費用は、トレースの件数に加えて、オンライン評価による長期保存への切り替えも含めて見積もると、実際の負担に近づきます。 評価の指標としては、変更による品質低下を本番に出る前に見つけられた件数、自動採点と担当者の判断の一致率、Engineの修正案のうちマージに至った割合を測ると、自社に合うかを判断しやすくなります。

LangSmithを評価する出発点は、エージェントの不具合を開発チームが今どうやって見つけているかです。 本番の利用者からの報告に頼っている部分と、記録と採点で先に見つけられる部分を分けて考えると、導入の効果を測りやすくなります。