Обзор MTA-Hub

Статистика PMTA

Статистика PowerMTA по файлам учёта

Статистика PowerMTA.
Неделя отправки
по файлам учёта.

Каждый сервер PowerMTA ведёт свой журнал учёта — файл, куда MTA записывает итог каждого письма. Хаб собирает эти файлы со всех серверов и показывает неделю отправки.

Это первоисточник: на него ссылаются в разговоре с хостером и по нему проверяют «Аналитику».

Откуда данные
Окно — около 7 сутокСверка разрезовОтветы дословно
Статистика PMTA · обзорИнтерфейс MTA-Hub
ОкноОтказыДомены
Оригинальные экраны модуляОткрыть в полном размере ↗
01СборПо SSH, по расписанию
02РазборУтилитой отчётов PowerMTA
03СверкаЧасти сходятся с итогом
04ЭкранДни, отказы, домены, vMTA

01 / Откуда берутся данные

Файлы учёта PowerMTA — источник статистики.

Файл учёта PowerMTA (accounting) — журнал, куда MTA записывает итог каждого письма: доставлено оно или получен отказ, когда, кому и с какого адреса. Хаб собирает эти файлы со всех серверов по SSH и разбирает утилитой отчётов PowerMTA. Так статистика показывает неделю отправки такой, какой её записали сами MTA.

Окно данных

7 суток 2 часа

Первое письмо принято 15.10 в 13:06, последнее — 22.10 в 15:43. Файлы хранятся на сервере неделю, поэтому период — около семи суток.

Не выдаёт старое за свежее

Честно

Данные есть у 13 серверов из 15, а последний сбор 22.10 в 23:21 не принят: опрошены не все серверы. Экран так и пишет и показывает прежние данные.

02 / Неделя отправки

Доставка, отказы и пик нагрузки за неделю.

Главные числа недели — получатели, доля доставленных писем и отказов, медиана доставки и пик нагрузки. Хаб переводит время каждого сервера в UTC с учётом его пояса и собирает сутки по поясу вашего профиля. Неполные сутки по краям периода показаны бледнее и в лучший и худший день не попадают.

Пик — у конкретного сервера

Не складывается

Пики разных серверов приходятся на разное время, и складывать их нельзя. Поэтому показан лучший отрезок одного сервера — и он назван: tx-02, 17.10 в 00:18.

За сколько доходит

Только доставленные

52 % писем дошли за пять секунд, 77 % — за полминуты, 90 % — за две минуты, 98 % — за час. 99 % уложились в 2:45:14, а 40 писем шли больше 12 часов.

03 / Отказы, домены и vMTA

Причины отказов, домены получателей и vMTA.

Отказы (bounce) разложены по типу кода и по группам причин, а самые частые ответы почтовиков показаны без перевода: по ним ищут причину и их цитируют хостеру. Здесь же видны настоящие домены получателей и точки отправки vMTA — с долей отказов у каждой.

3 223 отказа

5.X.X — 74,7 %

Окончательные: повтор не поможет. 4.X.X — 25,3 %: MTA перестал повторять, письмо можно отправить снова.

Самый частый ответ

5.1.1 — 1 095 раз

«The email account that you tried to reach does not exist» — дословно, без перевода.

Домены получателей

veltrano-group.com

Корпоративный домен заказчика: 6 827 получателей, 5,7 % отказов — жёлтым. В «Аналитике» его не видно.

vMTA

23 точки на 13 серверах

Две точки банка — по 37 тысяч получателей и 2,2 % отказов.

Цвет полосы отказа показывает группу, а не тип кода: красный — ящика или домена нет, розовый — спам, жёлтый — прочее, адрес существует.

04 / Сверка с «Аналитикой»

Почему статистика PowerMTA расходится с «Аналитикой».

Числа статистики PowerMTA и «Аналитики» расходятся, и последний блок страницы прямо объясняет почему. Причин три: разный состав данных, разный срок хранения и письма, снятые из очереди. Обе стороны правы — они считают разное.

d, b

Разный состав

В файл учёта идут доставки и окончательные отказы. Временные отказы и жалобы приходят вебхуком и видны в «Аналитике».

7 дн

Разная глубина

Файлы учёта живут на сервере неделю, «Аналитика» держит итоги годами.

≠

Снятые из очереди

MTA пишет их отказом, «Аналитика» не считает — иначе чистка очереди роняла бы доставляемость.

05 / Подробно об интерфейсе

Интерфейс статистики PowerMTA — 10 экранов.

Окно данных, главные числа, дни, пик, кривая доставки, отказы, ответы почтовиков, домены, vMTA и сверка с «Аналитикой». Над каждым снимком — зачем нужен экран, под ним — что на нём есть.

Окно и неделя

5 экранов

Страница начинается с окна данных: за какой срок собран учёт PowerMTA и можно ли считать его свежим. Дальше — пять главных чисел недели и график доставок и отказов по дням. Завершают группу пиковая нагрузка с названным сервером и раскладка времени доставки. По этим экранам за минуту видно, как прошла неделя отправки.

01

Окно данных

За какой срок собран учёт

Окно данных показывает, за какой срок собран учёт PowerMTA: от первого принятого письма до последнего ответа почтовика. На этот экран стоит смотреть первым, прежде чем верить числам ниже: здесь же сказано, у скольких серверов есть данные и прошёл ли последний сбор. В примере окно — 7 суток 2 часа, данные есть у 13 серверов из 15, а сбор 22.10 в 23:21 не принят, поэтому показаны прежние данные. Причину сорванного сбора ищут на вкладке «Прогоны». Открывают его, когда числа кажутся странными или устаревшими: если сбор не прошёл, остальные экраны показывают прежнюю неделю, а не свежие данные.

MTA-Hub: Окно данных — За какой срок собран учётУвеличить
Экран 01 · Окно данных. Пример из интерфейса MTA-Hub.
  • Первое письмо принято — 15.10, 13:06.
  • Последнее принято — 22.10, 15:43.
  • Последний ответ — 22.10, 15:48.
  • Окно — 7 суток 2 часа.
  • Узлов со снимком — 13 из 15 — по остальным данных нет.
  • Последний прогон — 22.10, 23:21 не принят — показаны прежние данные.

Подробности о сборах — на вкладке «Прогоны».

02

Главные числа

Получатели, доставка, отказы, скорость

Пять плиток — главные числа недели отправки: сколько получателей, какая доля писем доставлена, сколько отказов, медиана времени доставки и пик нагрузки. Это короткий ответ на вопрос «как прошла неделя» — его удобно открыть первым и показать заказчику. «Доставлено» и «Отказов» окрашены по порогам доли отказов: до 4 % — зелёный, от 4 % — жёлтый, от 6 % — красный. В примере обе плитки зелёные: отказов 2,6 %. Если плитка стала жёлтой или красной, следующий шаг — экран отказов ниже и вкладка «Отказы»: там видно, ящиков нет или письма приняли за спам. Пик назван вместе с сервером — tx-02, 17.10 в 00:18.

MTA-Hub: Главные числа — Получатели, доставка, отказы, скоростьУвеличить
Экран 02 · Главные числа. Пример из интерфейса MTA-Hub.
  • Получателей — 121 835, отправлено 3,1 ГБ.
  • Доставлено — 97,4 % — 118 612 писем.
  • Отказов — 2,6 % — 3 223, из них 74,7 % — 5.X.X.
  • Медиана доставки — 0:00:05; 99 % уложились в 2:45:14.
  • Пик — 23 письма в минуту — tx-02, 17.10, 00:18.

«Доставлено» и «Отказов» — зелёные: доля отказов ниже 4 %.

03

Доставки и отказы по дням

Восемь суток периода

График по дням показывает, как менялись доставки и отказы за восемь суток периода: столбики — доставленные письма и отказы, линия — доля отказов со своей шкалой справа. По нему видно, в какой день рассылка шла хуже и был ли скачок отказов. Сутки собраны по часовому поясу вашего профиля, а неполные дни по краям периода показаны бледнее и в лучший и худший день не попадают. В примере доля отказов ровная — от 2,5 до 2,8 % в полные дни. Лучший день здесь — 18.10 с 2,5 % отказов, худший — 17.10 с 2,8 %. Если разница между днями заметная, причину ищут на экранах отказов и доменов ниже.

MTA-Hub: Доставки и отказы по дням — Восемь суток периодаУвеличить
Экран 03 · Доставки и отказы по дням. Пример из интерфейса MTA-Hub.
  • Полные дни — от 11,7 до 20 тысяч получателей, отказов 2,5–2,8 %.
  • 15.10 и 22.10 — неполные сутки — столбики бледнее.
  • Лучший день — 18.10 — 2,5 % отказов.
  • Худший — 17.10 — 2,8 %.

Неполные дни в лучший и худший не попадают.

04

Пиковая нагрузка

Лучшее окно за период

Пиковая нагрузка — самый нагруженный отрезок периода: за минуту, за пять минут и за час. Хаб ищет его по каждой записи файла учёта, а не по целым часам, поэтому короткий всплеск не теряется в среднем за час. Экран показывает, сколько писем сервер пропускает в самые плотные моменты отправки, — по нему видно реальную нагрузку. Пики разных серверов приходятся на разное время и не складываются, поэтому в каждой строке назван сервер: по числу писем — tx-02, по объёму — tx-01. По объёму в примере лидирует tx-01: 9,6 КБ/с за минуту и 14,0 МБ за час 21.10. Подробный разбор скорости — на вкладке скорости доставки.

MTA-Hub: Пиковая нагрузка — Лучшее окно за периодУвеличить
Экран 04 · Пиковая нагрузка. Пример из интерфейса MTA-Hub.
  • По числу писем — tx-02, 17.10: 23 за минуту, 75 за пять минут, 566 за час.
  • По объёму — tx-01, 21.10: 9,6 КБ/с за минуту, 14,0 МБ за час.

Пики серверов приходятся на разное время и не складываются, поэтому в каждой строке назван сервер.

05

За сколько доходит письмо

Кривая доставки

Экран показывает, за сколько письмо доходит до получателя: время от постановки в очередь до ответа почтовика, только у доставленных писем. Одно среднее здесь обманчиво, поэтому видна вся раскладка по интервалам с накопленной долей. В примере 52 % писем дошли за пять секунд, 90 % — за две минуты, 98 % — за час. Хвост долгих доставок — 40 писем шли больше 12 часов — подсказывает, что часть писем застревает в очереди; подробный разбор — на вкладке скорости доставки. Открывают экран, когда получатели жалуются, что письма приходят с опозданием: здесь видно, какая доля писем дошла быстро, а какая — через часы.

MTA-Hub: За сколько доходит письмо — Кривая доставкиУвеличить
Экран 05 · За сколько доходит письмо. Пример из интерфейса MTA-Hub.
  • За 5 секунд — 52 %.
  • За полминуты — 77 %.
  • За две минуты — 90 %.
  • За час — 98 %.
  • Дольше 12 часов — 40 писем.

Колонка «Накоплено» доходит до 100 % только в последней строке, а 33 письма показаны как «<0,1 %», а не «0,0 %».

Отказы

2 экрана

Отказы разложены по типу кода — окончательные 5.X.X и временные 4.X.X — и по группам причин. Рядом — самые частые ответы почтовиков дословно, без перевода. Отсюда понятно, что чистить в базе, а что обсуждать с хостером. Подробный разбор — на вкладке «Отказы».

06

Почему отказывают

Типы и группы

Экран отказов отвечает на вопрос, почему письма не дошли. 3 223 отказа разложены по типу кода: окончательные 5.X.X, где повтор не поможет, и временные 4.X.X, после которых MTA перестал повторять, — такое письмо можно отправить снова. Ниже — группы причин: такого ящика нет, ящик заброшен, переполнен, приняли за спам и другие. Если велика доля «ящика нет», пора чистить базу; если растёт «спам» — разбираться с репутацией и содержанием писем. Смотреть стоит прежде всего на верхние группы: в примере «ящика нет» — 44,0 % всех отказов. Цвет полосы показывает группу, а не тип кода: красный — ящика или домена нет, розовый — спам.

MTA-Hub: Почему отказывают — Типы и группыУвеличить
Экран 06 · Почему отказывают. Пример из интерфейса MTA-Hub.
  • 5.X.X — 2 406 — 74,7 %, повтор не поможет.
  • 4.X.X — 817 — 25,3 %, MTA перестал повторять.
  • Группы — ящика нет 44,0 %, заброшен 11,0 %, переполнен и приняли за спам — по 9,0 %.

Цвет полосы показывает группу отказа, а не тип кода.

07

Что отвечают почтовики

Дословно

Здесь — шесть самых частых ответов почтовиков дословно, без перевода: на них приходится 2 579 отказов из 3 223. Точная строка ответа нужна, чтобы найти причину в справке почтовика и процитировать её хостеру. Например, 5.1.1 «…does not exist» — 1 095 раз — значит, такого адреса нет и его стоит убрать из базы, а 5.7.1 от Gmail «likely unsolicited mail» — 260 раз — что Gmail счёл письма нежелательными. Разбор начинают с верхних строк: они дают основную массу отказов. Подробный разбор каждой категории по тексту ответа и по домену — на вкладке «Отказы», где ответы сгруппированы по категориям самого MTA.

MTA-Hub: Что отвечают почтовики — ДословноУвеличить
Экран 07 · Что отвечают почтовики. Пример из интерфейса MTA-Hub.
  • 5.1.1 — «…does not exist» — 1 095 раз.
  • User unknown — 388.
  • 5.2.1 «…is disabled» — 354.
  • 4.2.2 «…over quota» — 290.
  • 5.7.1 Gmail «likely unsolicited mail» — 260.
  • 4.4.2 «Connection timed out…» — 192.

Без перевода: по этим строкам ищут и их цитируют хостеру.

Домены, vMTA и сверка

3 экрана

В конце — кому и откуда шла отправка: первая десятка доменов получателей и все точки отправки vMTA с долей отказов. Последний экран объясняет, почему числа здесь расходятся с «Аналитикой». Так видна проблема у одного заказчика или одной точки отправки, которую в общих итогах не заметить.

08

Домены получателей

Первая десятка

Таблица показывает первую десятку доменов получателей по объёму — 106 730 получателей из 121 835, у каждого домена своя доля отказов. Она нужна, чтобы заметить проблему у одного домена: в «Аналитике» получатели сведены в 12 почтовиков и «прочие», а корпоративный домен заказчика виден только здесь. В примере veltrano-group.com — 6 827 получателей и 5,7 % отказов, строка подсвечена жёлтым. Колонки «ящика нет», «спам» и «прочее» сразу подсказывают, в чём причина отказов домена. Полная таблица всех доменов, их время доставки и опечатки в базе вроде gmail.con — на вкладке «Домены».

MTA-Hub: Домены получателей — Первая десяткаУвеличить
Экран 08 · Домены получателей. Пример из интерфейса MTA-Hub.
  • gmail.com — 38 988, отказов 1,7 %.
  • outlook.com — 14 620.
  • yahoo.com — 12 185, 3,8 %.
  • veltrano-group.com — 6 827, 5,7 % — жёлтым.
  • Колонки — «ящика нет», «спам» и «прочее» делят отказы домена.

В «Аналитике» получатели сведены в 12 почтовиков и «прочие» — домен заказчика виден только здесь.

09

Отправляющие vMTA

Точки отправки

Таблица vMTA показывает все точки отправки — в примере 23 vMTA на 13 серверах — с числом получателей и долей отказов у каждой. По ней сравнивают адреса отправки между собой и находят точку, которая отправляет хуже остальных. Доля окрашена по тем же порогам, что и плитки сверху: от 4 % — жёлтым, от 6 % — красным. В примере две точки банка отправили по 37 тысяч получателей с 2,2 % отказов, а у letters.dailyquill.net-vmta — 4 337 получателей и 4,3 %, её строка жёлтая. Если одна точка заметно хуже других при общей базе, её разбирают на вкладке «vMTA»: там видны её сутки, худшие домены и карты по часам.

MTA-Hub: Отправляющие vMTA — Точки отправкиУвеличить
Экран 09 · Отправляющие vMTA. Пример из интерфейса MTA-Hub.
  • Точки банка — secure и id.corvalis-bank.org — по 37 тысяч, 2,2 % отказов.
  • letters.dailyquill.net-vmta — 4 337, отказов 4,3 % — жёлтым.
  • Маркетинговые точки — по 1,4–4,3 тысячи, отказов от 0,1 до 4,4 %.

Доля окрашена по тем же порогам, что и плитки.

10

Почему числа не сходятся с «Аналитикой»

Три причины

Последний блок объясняет, почему числа статистики PowerMTA не совпадают с «Аналитикой», — вопрос, который возникает первым при сравнении двух экранов. Причин три: разный состав данных, разный срок хранения и письма, снятые из очереди вручную. Файл учёта хранит доставки и окончательные отказы за неделю, а «Аналитика» получает временные отказы и жалобы вебхуком и держит итоги годами. Вывод: оба счёта верны, и расхождение не означает ошибки в данных. Этот экран удобно показать заказчику или коллеге, который сравнивает два отчёта. Временные отказы, жалобы и итоги за годы смотрят в «Аналитике».

MTA-Hub: Почему числа не сходятся с «Аналитикой» — Три причиныУвеличить
Экран 10 · Почему числа не сходятся с «Аналитикой». Пример из интерфейса MTA-Hub.
  • Разный состав — временные отказы и жалобы приходят вебхуком и видны только в «Аналитике».
  • Разная глубина — файлы учёта — неделя, «Аналитика» — годы.
  • Снятые из очереди — MTA пишет их отказом, «Аналитика» не считает.

Оба счёта верны — они считают разное.

06 / Вопросы о статистике

Частые вопросы о статистике PowerMTA.

Коротко о том, откуда числа, почему период — неделя и почему они расходятся с «Аналитикой».

Пиковая нагрузка
MTA-Hub: Пиковая нагрузка — лучшее окно за период с названным серверомУвеличить

Пик ищется скользящим окном по всем записям — и у каждой строки назван сервер.

Что такое файл учёта?

Журнал PowerMTA (accounting), куда MTA записывает итог каждого письма: доставлено или отказ, когда, кому и с какого адреса.

Как Хаб получает эти файлы?

По расписанию заходит на сервер по SSH, разбирает файлы утилитой отчётов PowerMTA и сохраняет разрезы, проверив, что они сходятся с итогом.

Почему период — около недели?

Файлы учёта хранятся на сервере неделю. Итоги за годы — в «Аналитике».

Почему здесь нет временных отказов и жалоб?

В файл учёта MTA пишет итог, а не каждую попытку. Временные отказы и жалобы приходят вебхуком и видны в «Аналитике».

Почему пик назван у одного сервера?

Пики разных серверов приходятся на разное время, и складывать их нельзя. Поэтому показан лучший отрезок одного сервера.

Что если последний сбор не прошёл?

Экран так и пишет и показывает прежние данные, а не выдаёт их за свежие.

Почему ответы почтовиков не переведены?

По этим строкам ищут причину и их цитируют хостеру — перевод бы мешал.

Как считаются сутки?

Время каждого сервера переводится в UTC с учётом его пояса, а сутки собираются по поясу вашего профиля.

07 / Следующий шаг

Разберите отказы PowerMTA подробно.

Обзор показывает неделю отправки целиком. Подробности — на вкладках статистики: отказы, домены, vMTA, скорость доставки и прогоны сбора.

Временные отказы, жалобы и итоги за годы — в «Аналитике».

Интерфейс модуля