システム負荷テスト（AA-SLT）の方法論

概要

このベンチマークでは、テストフェーズ中に一定数の並列クエリをシステムへ送信し続けることで、システム性能を測定します。個々のクエリが完了すると、直ちに次のクエリをマシンへ送信します。これにより、システムを安定した負荷でベンチマークしながら、テストのばらつきも最小限に抑えます。

各フェーズでシステムから受信したトークンの合計量を測定し、システム出力スループット指標に反映します。クエリごとの性能も測定し、クエリ単位の指標（通常は中央値または平均値で表示）に反映します。

ベンチマークは複数のフェーズに分けて実施します。各ベンチマークフェーズは3分間で、後続のフェーズごとに同時実行クエリ数を増やします。同時実行数を増やしても以前の期間より多くのトークンを受信できなくなる、システム出力スループットの上限に達するまでベンチマークを続けます。

主な技術仕様

• フェーズの時間：各フェーズは3分間です（負荷増加期間とクールダウン期間を除く）。
• 同時実行レベル：1、2、4、8、16、32、64と増やし、その後はシステム出力スループットが頭打ちになるまで64ずつ増やします。
• ワークロード構成：クエリごとに入力1,000トークン、出力1,000トークン。
• ストリーミング：ストリーミングを有効にしてベンチマークを実施します。

測定する主要指標

• システム出力スループット：ベンチマークフェーズ全体で、同時実行中の全リクエストを合計した1秒あたりの出力トークン数の平均。
• 応答率：ベンチマークフェーズ中に送信したクエリのうち、レスポンス（少なくとも1出力トークン）を受信した割合。
• クエリあたりのエンドツーエンド遅延：クエリの送信時点から測定した、各クエリのエンドツーエンドの応答時間。各同時実行フェーズの中央値を示します。
• クエリあたりの出力速度：各クエリで最初のトークンを受信した後の、1秒あたりの出力トークン数。各同時実行フェーズの中央値を示します。