Сравнение тестов
Страница «Сравнить тесты» сопоставляет результаты нескольких тестов по ступеням нагрузки. Один тест принимается за эталон, остальные сравниваются с ним по времени отклика и количеству операций. Результаты также можно сравнить с целевыми значениями набора SLA.
За одно сравнение обрабатывается от 2 до 10 тестов.
Где находится
Страница открывается кнопкой «Сравнить тесты» на странице «Тесты». Отдельного пункта меню у страницы нет.
Состав и порядок сравниваемых тестов сохраняются в адресе страницы. Параметры ступеней, выбранный набор SLA, порог и результаты сравнения при уходе со страницы не сохраняются.
Права доступа
| Действие | Право |
|---|---|
| Открытие страницы, сравнение и выгрузка результатов | test.read |
| Изменение описания теста | test.manage |
| Кнопка «Копировать» в панели «Копировать параметры тестам» | test.manage |
| Выбор набора SLA | sla.read |
Права входят в роли «Администратор» (Admin) и «Пользователь» (User) — см. Ролевая модель и авторизация.
Для сравнения требуется лицензия типа «Сравнение тестов» — см. Лицензии. Наличие лицензии проверяется при нажатии кнопки «Сравнить тесты».
Выбор тестов
-
Открыть страницу «Тесты».
-
Отметить тесты чекбоксами — не более 10.
-
Нажать кнопку «Сравнить тесты».
Рядом с кнопкой выводится счётчик вида «Выбрано 3 теста из 10». Значок рядом со счётчиком сбрасывает выбор. Выбор сохраняется при переходе между страницами таблицы тестов. Когда отмечено 10 тестов, остальные чекбоксы недоступны.

Кнопка «Сравнить тесты» доступна и без отмеченных тестов. В этом случае страница открывается с пустым списком и сообщением «Добавьте тесты для сравнения», а тесты добавляются уже на ней.
Список тестов и эталон
Тесты, участвующие в сравнении, выводятся таблицей в верхней части страницы.

| Колонка | Содержимое |
|---|---|
| «№ теста» | Номер теста; ссылка открывает тест в новой вкладке |
| «Эталон/Тест» | «Эталон» — в первой строке, «Тест» — в остальных |
| «Название» | Название сценария; ссылка открывает сценарий в новой вкладке |
| «Описание» | Описание теста; изменяется прямо в таблице |
| «Дата запуска» | Дата и время запуска теста |
| «Длительность» | Длительность теста |
| «Статус» | Статус теста |
| «Разгон, мин», «Время ступени, мин», «Кол-во ступеней» | Параметры ступеней |
| «Действия» | Меню действий над тестом |
Эталоном считается тест в первой строке списка. Строка эталона выделена фоном.
Чтобы назначить эталоном другой тест, нужно перетащить его строку на первое место за значок в первой колонке. Так же изменяется порядок остальных тестов.
Нажатие на заголовок «Сравнить тесты» сворачивает и разворачивает список тестов.
Добавление тестов
-
Нажать кнопку «Добавить тест».
-
В панели «Добавить тест» отметить нужные тесты.
-
Нажать «Добавить».
Тесты в панели выводятся таблицей с колонками «№ теста», «Название», «Описание», «Дата запуска», «Статус». Доступны поиск по номеру и названию теста, сортировка по названию и дате запуска, фильтр по статусу. Тесты, уже участвующие в сравнении, отмечены и недоступны для выбора.

Добавленные тесты помещаются в конец списка. Кнопка «Добавить тест» неактивна, когда в списке 10 тестов.
Удаление тестов
Пункт «Удалить» в меню «Действия» убирает тест из списка без подтверждения. Если удалён эталон, эталоном становится следующий тест списка.
Кнопка «Очистить» убирает из списка все тесты после подтверждения в окне «Подтвердите действие». Вместе со списком сбрасываются результаты сравнения, выбранный набор SLA, метрика и порог.
Сами тесты и их результаты при этом не удаляются.
Параметры ступеней
Результаты каждого теста делятся на ступени по трём параметрам, которые задаются в строке теста.
| Поле | Назначение | Допустимые значения |
|---|---|---|
| «Разгон, мин» | Длительность разгона перед каждой ступенью, в минутах | Целое число от 0 до 2000 |
| «Время ступени, мин» | Длительность ступени после разгона, в минутах | Целое число от 0 до 4000 |
| «Кол-во ступеней» | Количество ступеней | Целое число от 0 до 50 |
Значения ступени рассчитываются за интервал «Время ступени, мин»; интервал разгона в расчёт не входит. Отсчёт ведётся от момента запуска теста: сначала разгон, затем ступень, затем следующий разгон.
Все три поля обязательны для каждого теста. Произведение суммы разгона и времени ступени на количество ступеней не должно превышать длительность теста из колонки «Длительность».
Ступени эталона и тестов сопоставляются по номерам: первая ступень теста сравнивается с первой ступенью эталона, вторая — со второй.
Копирование параметров
Параметры одного теста переносятся на другие через меню «Действия».
| Пункт | Действие |
|---|---|
| «Копировать параметры» | Открывает панель «Копировать параметры тестам» со списком остальных тестов; отмеченные тесты получают параметры исходного после нажатия «Копировать» |
| «Копировать параметры всем» | Сразу переносит параметры исходного теста на все остальные тесты списка |
Запуск сравнения
-
Добавить в список не менее двух тестов.
-
Заполнить параметры ступеней для каждого теста.
-
Нажать кнопку «Сравнить».
Кнопка «Сравнить» неактивна, пока в списке меньше двух тестов. Незаполненные поля параметров подсвечиваются, а список прокручивается к первой строке с ошибкой.
После сравнения под списком тестов выводятся график отклонений и таблица результатов. Переключатель метрики, список «Порог» и список выбора SLA неактивны, пока сравнение не выполнено.
После изменения состава списка, эталона или параметров ступеней результаты не пересчитываются. Чтобы обновить их, нужно нажать «Сравнить» повторно.
Метрика сравнения
Переключатель над графиком задаёт метрику, по которой строятся график и таблица результатов.
| Метрика | Значение |
|---|---|
| «Время отклика, ср» | Среднее время отклика, мс |
| «Время отклика, 90%%» | 90-й перцентиль времени отклика, мс |
| «Время отклика, 95%%» | 95-й перцентиль времени отклика, мс |
| «Количество операций» | Количество операций за ступень |
По умолчанию выбрана метрика «Время отклика, ср». Переключение метрики не требует повторного сравнения.
Время отклика за ступень рассчитывается как среднее значений за интервал ступени, количество операций — как сумма.
Сравнение с SLA
Набор SLA выбирается в списке «Выберите SLA» справа от переключателя метрики. В списке выводятся наборы SLA текущего проекта, доступен поиск по названию.
После выбора набора сравнение выполняется заново — по составу тестов и параметрам ступеней последнего сравнения. Чтобы отключить сравнение с SLA, нужно очистить поле выбора.
Операция сопоставляется с транзакцией набора по имени, ступень — по номеру.
При выбранном наборе:
- в таблице результатов появляются строки «SLA» и «Δ SLA»;
- на графике отклонений становится доступен режим «Δ SLA».
С SLA сравниваются метрики «Время отклика, 90%%», «Время отклика, 95%%» и «Количество операций». Для метрики «Время отклика, ср» сравнение с SLA не выполняется: в строках «SLA» и «Δ SLA» выводятся прочерки.
Порог отклонения
Список «Порог» задаёт границу в процентах, до которой отклонения не выделяются цветом. Отклонения, по модулю не превышающие порог, выводятся без цвета. Список расположен слева от списка выбора SLA.
Порог одинаково действует на таблицу результатов и на график отклонений, для отклонений от эталона и от SLA.
| Значение | Что выделяется цветом |
|---|---|
| «0%» | Любое отклонение, кроме округлённого до 0% |
| «5%», «10%», «20%» | Отклонения, по модулю превышающие выбранное значение |
| Своё значение | Отклонения, по модулю превышающие заданное значение |
По умолчанию выбрано значение «0%».
Чтобы задать своё значение:
-
Открыть список «Порог».
-
Ввести целое число от 0 до 100 в поле «Своё, %».
-
Нажать «OK» или клавишу Enter.

Значение, введённое в поле, но не применённое, сбрасывается при закрытии списка. Смена порога применяется сразу и не требует повторного сравнения.
Процент отклонения округляется до целого. Поэтому при пороге «0%» отклонение меньше половины процента цветом не выделяется.
График отклонений
График показывает отклонение тестов от базы сравнения по ступеням для выбранной метрики. По горизонтальной оси отложены номера ступеней, по вертикальной — отклонение в процентах. Ноль вертикальной оси соответствует базе сравнения.
База выбирается переключателем в заголовке графика.
| Режим | База сравнения | Подпись вертикальной оси |
|---|---|---|
| «Δ Эталон» | Эталон | «Отклонение от Эталона, %» |
| «Δ SLA» | Выбранный набор SLA | «Отклонение от SLA, %» |
Режим «Δ SLA» недоступен, пока не выбран набор SLA.

Каждая линия соответствует одной операции одного теста. В легенде линия подписана номером теста и названием операции. Эталон и SLA отдельными линиями не выводятся.
Области графика выше и ниже порога выделены фоном — по тем же правилам, что и значения в таблице результатов. Тем же цветом выделены подписи вертикальной оси и значения во всплывающей подсказке.
При наведении курсора на график выводится подсказка с номером ступени и отклонениями линий на этой ступени.
Легенда управляет отображением линий:
- нажатие на элемент легенды оставляет на графике только эту линию;
- повторное нажатие на тот же элемент возвращает все линии;
- нажатие с зажатой клавишей Ctrl или Cmd добавляет линию к выбранным либо убирает её из выбранных.
Таблица результатов
Таблица содержит значения выбранной метрики по операциям и ступеням.

| Колонка | Содержимое |
|---|---|
| «№» | Порядковый номер операции |
| «Название операции» | Название операции |
| «№ теста» | Номер теста — в строках «Эталон» и «Тест» |
| «Тип» | Тип строки |
| «Дата запуска» | Дата и время начала первой ступени, по которой у теста есть данные операции, — в строках «Эталон» и «Тест» |
| «Ступень 1», «Ступень 2» и далее | Значения по ступеням; для времени отклика в заголовке указана единица — «Ступень 1, мс» |
В таблицу попадают все операции, которые есть в эталоне или хотя бы в одном из тестов. Колонки ступеней выводятся для всех ступеней, по которым есть данные хотя бы в одном из тестов.
Для каждой операции выводятся строки следующих типов.
| Тип | Содержимое |
|---|---|
| «Эталон» | Значения эталона |
| «SLA» | Целевые значения выбранного набора SLA; строка выводится, если набор выбран |
| «Тест» | Значения теста; по одной строке на каждый тест |
| «Δ Эталон» | Отклонение теста от эталона |
| «Δ SLA» | Отклонение теста от SLA; строка выводится, если набор выбран |
| «Δ Ступень 1» | Отклонение количества операций на ступени от первой ступени того же теста; строка выводится только для метрики «Количество операций» |
Строки отклонений по умолчанию свёрнуты. Значок «+» в строке «Тест» раскрывает отклонения этого теста, значок «−» сворачивает их. Значок в заголовке таблицы раскрывает и сворачивает отклонения всех тестов сразу.
Значения времени отклика выводятся с двумя знаками после запятой, количество операций — целым числом. Отклонение записывается в виде «↑ 89.5 (7%)» или «↓ -15.5 (-4%)»: направление, разность значений и разность в процентах.
Выделение цветом
Цвет показывает направление отклонения, превышающего порог.
| Метрика | Значение выше базы | Значение ниже базы |
|---|---|---|
| «Время отклика, ср», «Время отклика, 90%%», «Время отклика, 95%%» | Красный | Зелёный |
| «Количество операций» | Зелёный | Красный |
Цветом выделяются значения в строках «Δ Эталон», «Δ SLA» и «Δ Ступень 1». Значение в строке «Тест» выделяется тем же цветом, что и его отклонение от эталона. Для строки «Δ Ступень 1» базой служит первая ступень того же теста.
Отсутствующие значения
Отсутствующее значение выводится в таблице прочерком, точка на графике для него не строится.
| Ситуация | Таблица результатов | График отклонений |
|---|---|---|
| Операции нет в тесте или по ней нет данных за ступень | Прочерк в строках теста | Линия прерывается |
| Операции нет в эталоне | Прочерк в строках «Эталон» и «Δ Эталон» | Линия в режиме «Δ Эталон» не строится |
| Значение теста равно значению базы | Прочерк в строке отклонения | Точка не строится |
| В наборе SLA нет транзакции с именем операции или ступени с таким номером | Прочерк в строках «SLA» и «Δ SLA» | Линия в режиме «Δ SLA» не строится |
| Целевое значение SLA равно нулю | Прочерк в строке «Δ SLA» | Точка в режиме «Δ SLA» не строится |
| Метрика «Время отклика, ср» в режиме «Δ SLA» | Прочерк в строках «SLA» и «Δ SLA» | Сообщение «Нет данных» |
Линия, у которой нет ни одной точки, не выводится ни на графике, ни в легенде.
Выгрузка результатов
Кнопка «Скачать результаты» выгружает результаты сравнения в файл формата XLSX.
Файл содержит четыре листа — по одному на каждую метрику. На каждом листе выводятся список сравниваемых тестов с параметрами ступеней и таблица значений по операциям и ступеням.
Файл формируется по текущему составу списка и текущим параметрам ступеней, предварительно выполнять сравнение на странице не требуется. Перед выгрузкой параметры ступеней проверяются так же, как перед сравнением.
Если выбран набор SLA, в файл добавляются строки «SLA» и «Δ SLA» — на всех листах, кроме листа «Время отклика, ср». Порог отклонения на файл не влияет: значения в нём цветом не выделяются.
Файл формируется, если в списке не менее двух тестов.
Сообщения
| Сообщение | Когда выводится |
|---|---|
| «Лицензия не найдена» | При нажатии кнопки «Сравнить тесты» нет лицензии типа «Сравнение тестов» |
| «Ошибка проверки лицензии» | Проверка лицензии завершилась ошибкой |
| «Добавьте тесты для сравнения» | Список тестов пуст |
| «Необходимо сравнить тесты» | Сравнение ещё не выполнено |
| «Введённые значения превышают длительность теста» | У одного из тестов произведение суммы разгона и времени ступени на количество ступеней больше длительности теста; поля этого теста подсвечиваются |
| «Результаты тестов недоступны» | За заданные ступени нет данных ни по эталону, ни по тестам либо запрос сравнения завершился ошибкой |
| «Наборы SLA не найдены» | В проекте нет наборов SLA либо ни один набор не соответствует строке поиска |
| «Нет данных» | На графике нет ни одной точки для выбранных метрики и базы сравнения |
| «Нет тестов для копирования» | В панели «Копировать параметры тестам» нет других тестов |
| «Описание обновлено» | Описание теста сохранено |