LangSmithの統合¶
1 LangSmithとは¶
LangSmithはLLMアプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。
Info:
LangSmithの公式サイト：https://www.langchain.com/langsmith
2 LangSmithの使い方¶
1. LangSmithの公式サイトから登録し、ログインする。¶
2. LangSmithからプロジェクトを作成します¶
ログイン後、ホームページの New Project をクリックし、新たなプロジェクトを作成します。このプロジェクトは、FlexAI内のアプリと連動したデータモニタリングに使用されます。
作成する後、プロジェクトの中にチェクできます。
3. プロジェクト認証情報の作成¶
左のサイドバーでプロジェクト 設定 を見つける。
Create API Keyをクリックし，新たな認証情報を作ります。
Personal Access Token を選び，のちほとのAPI身分証明の時使えます。
新たなAPI keyをコピーし、保存します。
4. FlexAI アプリの中に LangSmith を設定します¶
監視用のアプリのサイトメニューの監視ボタンをクリックし，設定をクリックします。
それから，LangSmith から作った API Key とプロジェクト名を設定の中に貼り付け、保存します。
Info:
設定したプロジェクト名は LangSmith のいるプロジェクト名と必ず一致します。一致しない場合、データの同期時に LangSmith は自動的に新しいプロジェクトを作成します。
保存に成功すると、現在のページで監視状態を見ることができます。
LangSmithでのモニタリングデータの表示¶
FlexAI内のアプリケーションからデバッグや製品データを設定することで、LangSmithにてそのデータをモニタリングすることができます。
LangSmithに切り替えると、ダッシュボード上でFlexAIアプリケーションの詳細な操作ログを見ることができます。
LangSmithを通じて得られる詳細な大規模言語モデル（LLM）の操作ログは、FlexAIアプリケーションのパフォーマンスを最適化するために役立ちます。
モニタリングデータリスト¶
ワークフロー/チャットフローのトレース情報¶
ワークフローやチャットフローを追跡するために使用されます。
| ワークフロー | LangSmith Chain |
|---|---|
| workflow\_app\_log\_id/workflow\_run\_id | ID |
| user\_session\_id | - メタデータに配置 |
| {"workflow_{id}"} | 名前 |
| start\_time | 開始時間 |
| end\_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| モデルトークン消費 | 使用メタデータ |
| metadata | 追加情報 |
| エラー | エラー |
| \[workflow] | タグ |
| "conversation\_id/none for workflow" | メタデータ内のconversation\_id |
| conversion\_id | 親実行ID |
ワークフロートレース情報
- workflow_id：ワークフローの固有識別子
- conversation_id：会話ID
- workflow_run_id：現在の実行ID
- tenant_id：テナントID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース
- workflow_run_inputs：現在の実行の入力データ
- workflow_run_outputs：現在の実行の出力データ
- error：現在の実行中に発生したエラー
- query：実行中に使用されたクエリ
- workflow_app_log_id：ワークフローアプリケーションログID
- message_id：関連メッセージID
- start_time：実行の開始時間
- end_time：実行の終了時間
- workflow node executions：ワークフローノード実行に関する情報
- メタデータ
- workflow_id：ワークフローの固有識別子
- conversation_id：会話ID
- workflow_run_id：現在の実行ID
- tenant_id：テナントID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース
メッセージトレース情報¶
大規模言語モデル（LLM）関連の会話を追跡するために使用されます。
| チャット | LangSmith LLM |
|---|---|
| message\_id | ID |
| user\_session\_id | - メタデータに配置 |
| {'"message_{id}"'} | 名前 |
| start\_time | 開始時間 |
| end\_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| モデルトークン消費 | 使用メタデータ |
| metadata | 追加情報 |
| エラー | エラー |
| \["message", conversation\_mode] | タグ |
| conversation\_id | メタデータ内のconversation\_id |
| conversion\_id | 親実行ID |
メッセージトレース情報
- message_id：メッセージID
- message_data：メッセージデータ
- user_session_id：ユーザーセッションID
- conversation_model：会話モード
- message_tokens：メッセージ中のトークン数
- answer_tokens：回答のトークン数
- total_tokens：メッセージと回答の合計トークン数
- error：エラー情報
- inputs：入力データ
- outputs：出力データ
- file_list：処理されたファイルのリスト
- start_time：開始時間
- end_time：終了時間
- message_file_data：メッセージに関連付けられたファイルデータ
- conversation_mode：会話モード
- メタデータ
- conversation_id：会話ID
- ls_provider：モデルプロバイダ
- ls_model_name：モデルID
- status：メッセージステータス
- from_end_user_id：送信ユーザーのID
- from_account_id：送信アカウントのID
- agent_based：メッセージがエージェントベースかどうか
- workflow_run_id：ワークフロー実行ID
- from_source：メッセージのソース
モデレーショントレース情報¶
会話のモデレーションを追跡するために使用されます。
| モデレーション | LangSmith Tool |
|---|---|
| user\_id | - メタデータに配置 |
| “moderation" | 名前 |
| start\_time | 開始時間 |
| end\_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| metadata | 追加情報 |
| \[moderation] | タグ |
| message\_id | 親実行ID |
モデレーショントレース情報
- message_id：メッセージID
- user_id：ユーザーID
- workflow_app_log_id：ワークフローアプリケーションログID
- inputs：モデレーションの入力データ
- message_data：メッセージデータ
- flagged：コンテンツに注意が必要かどうか
- action：実行された具体的なアクション
- preset_response：プリセット応答
- start_time：モデレーション開始時間
- end_time：モデレーション終了時間
- メタデータ
- message_id：メッセージID
- action：実行された具体的なアクション
- preset_response：プリセット応答
提案された質問トレース情報¶
提案された質問を追跡するために使用されます。