Alibaba Cloud Monitorの統合¶
Alibaba Cloud Monitorとは¶
Alibaba Cloudは、FlexAIアプリケーションのワンクリック監視、トレース、評価を可能にする、フルマネージドかつメンテナンス不要のオブザーバビリティプラットフォームを提供します。
Info:
Alibaba Cloud Monitorは、LoongSuiteエージェントやオープンソースのOpenTelemetryエージェントを通じて、Python/Golang/Javaアプリケーションをネイティブにサポートします。FlexAI LLMアプリケーションのワンクリック監視に加え、非侵入型エージェントによるFlexAIコンポーネントおよびその上下流依存関係のエンドツーエンドの可観測性もサポートします。
詳細はCloud Monitorドキュメントをご参照ください。
Alibaba Cloud Monitorの設定方法¶
1. Alibaba Cloudのエンドポイントとライセンスキーの取得¶
- ARMSコンソールにログインし、左側のナビゲーションバーでIntegration Centerをクリックします。
- Server-side ApplicationsエリアでOpenTelemetryカードをクリックします。
- 表示されたOpenTelemetryパネルで、エクスポートプロトコルとしてgRPCを選択し、実際のデプロイに応じて接続方法とリージョンを選択します。
- Public EndpointとAuthentication Token (License Key)を保存します。
Note:
エンドポイントにはポート番号が含まれていません（例:
http://tracing-cn-heyuan.arms.aliyun.com）。
2. FlexAIでCloud Monitorを設定¶
Info:
前提条件: FlexAI CloudまたはCommunity Editionのバージョンがv1.6.0以上である必要があります。
- FlexAIコンソールにログインし、監視したいアプリケーションに移動します。
- 左側のナビゲーションバーでMonitoringを開きます。
- Tracing app performanceをクリックし、Cloud MonitorエリアでConfigureをクリックします。
- 表示されたダイアログで、手順1で取得したLicense KeyとEndpointを入力し、App Name（ARMSコンソールに表示されるアプリケーション名）をカスタマイズしてSave & Enableをクリックします。
Alibaba Cloud Monitorでの監視データの表示¶
設定後、FlexAIのアプリケーションからのデバッグまたは本番データはCloud Monitorで監視できます。
方法1: FlexAIアプリケーションからARMSコンソールにジャンプ¶
FlexAIコンソールでトレースが有効になっているアプリケーションを選択し、Tracing Configurationに移動して、Cloud MonitorエリアのViewをクリックします。
方法2: ARMSコンソールで直接表示¶
ARMSコンソールのLLM Application Monitoring > Application Listページで、対応するFlexAIアプリケーションに移動します。
より多くのデータにアクセス¶
Cloud Monitorは、FlexAIクラスターのさまざまなコンポーネントにアクセスしてエンドツーエンドのトレースを実現するマルチランゲージの非侵入型エージェントを提供します。
| FlexAIコンポーネント | エージェント | 詳細 |
|---|---|---|
| Nginx | OpenTelemetry Agent | NginxトレースにOpenTelemetryを使用 |
| API | LoongSuite-Python Agent | loongsuite-python-agent |
| Sandbox | LoongSuite-Go Agent | loongsuite-go-agent |
| Worker | OpenTelemetry Agent | OpenTelemetryを介してPythonアプリケーションデータを送信 |
| Plugin-Daemon | LoongSuite-Go Agent | loongsuite-go-agent |
監視データリスト¶
Cloud Monitorは、FlexAIのWorkflow/Chatflow/Chat/Agentアプリケーションからデータを収集することをサポートしており、ワークフローおよびワークフローノードの実行詳細、モデル呼び出し、ツール呼び出し、知識取得、さまざまなプロセスノードの実行詳細、会話やユーザー情報などのメタデータをカバーしています。
ワークフロー/Chatflowトレース情報¶
| Workflow | Alibaba Cloud Monitor Trace |
|---|---|
| workflow\_id | ワークフローの一意の識別子 |
| conversation\_id | 会話ID |
| workflow\_run\_id | この実行のID |
| tenant\_id | テナントID |
| elapsed\_time | この実行の所要時間 |
| status | 実行ステータス |
| version | ワークフローのバージョン |
| total\_tokens | この実行で使用されたトークンの総数 |
| file\_list | 処理されたファイルのリスト |
| triggered\_from | この実行をトリガーしたソース |
| workflow\_run\_inputs | この実行の入力データ |
| workflow\_run\_outputs | この実行の出力データ |
| error | この実行中に発生したエラー |
| query | 実行時に使用されたクエリ |
| workflow\_app\_log\_id | ワークフローアプリケーションログID |
| message\_id | 関連するメッセージID |
| start\_time | 実行開始時刻 |
| end\_time | 実行終了時刻 |
ワークフロートレースメタデータ
- workflow_id - ワークフローの一意の識別子
- conversation_id - 会話ID
- workflow_run_id - この実行のID
- tenant_id - テナントID
- elapsed_time - この実行の所要時間
- status - 実行ステータス
- version - ワークフローのバージョン
- total_tokens - この実行で使用されたトークンの総数
- file_list - 処理されたファイルのリスト
- triggered_from - トリガーソース
メッセージトレース情報¶
| Message | Alibaba Cloud Monitor Trace |
|---|---|
| message\_id | メッセージID |
| message\_data | メッセージデータ |
| user\_session\_id | ユーザーのsession\_id |
| conversation\_model | 会話モデル |
| message\_tokens | メッセージ内のトークン数 |
| answer\_tokens | 回答内のトークン数 |
| total\_tokens | メッセージと回答のトークンの総数 |
| error | エラー情報 |
| inputs | 入力データ |
| outputs | 出力データ |
| file\_list | 処理されたファイルのリスト |
| start\_time | 開始時刻 |
| end\_time | 終了時刻 |
| message\_file\_data | メッセージに関連するファイルデータ |
| conversation\_mode | 会話モード |
メッセージトレースメタデータ
- conversation_id - メッセージが属する会話のID
- ls_provider - モデルプロバイダー
- ls_model_name - モデルID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーのID
- from_account_id - 送信アカウントのID
- agent_based - エージェントベースかどうか
- workflow_run_id - ワークフロー実行ID
- from_source - メッセージソース
- message_id - メッセージID
データセット取得トレース情報¶
| Dataset Retrieval | Alibaba Cloud Monitor Trace |
|---|---|
| message\_id | メッセージID |
| inputs | 入力コンテンツ |
| documents | ドキュメントデータ |
| start\_time | 開始時刻 |
| end\_time | 終了時刻 |
| message\_data | メッセージデータ |
データセット取得トレースメタデータ
- message_id - メッセージID
- ls_provider - モデルプロバイダー
- ls_model_name - モデルID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーのID
- from_account_id - 送信アカウントのID
- agent_based - エージェントベースかどうか
- workflow_run_id - ワークフロー実行ID
- from_source - メッセージソース
ツールトレース情報¶
| Tool | Alibaba Cloud Monitor Trace |
|---|---|
| message\_id | メッセージID |
| tool\_name | ツール名 |
| start\_time | 開始時刻 |
| end\_time | 終了時刻 |
| tool\_inputs | ツール入力 |
| tool\_outputs | ツール出力 |
| message\_data | メッセージデータ |
| error | エラー情報（該当する場合） |
| inputs | メッセージの入力コンテンツ |
| outputs | メッセージの回答コンテンツ |
| tool\_config | ツール設定 |
| time\_cost | コスト時間 |
| tool\_parameters | ツールパラメータ |
| file\_url | 関連ファイルのURL |
ツールトレースメタデータ
- message_id - メッセージID
- tool_name - ツール名
- tool_inputs - ツール入力
- tool_outputs - ツール出力
- tool_config - ツール設定
- time_cost - コスト時間
- error - エラー情報
- tool_parameters - ツールパラメータ
- message_file_id - メッセージファイルID
- created_by_role - 作成者の役割
- created_user_id - 作成者のユーザーID