Для начала проверьте, влияют ли медленные подключения на одну комнату, один удаленный домашний сервер или на все объединенные комнаты. Используйте состояние и журналы федерации Synapse, чтобы выявить повторяющиеся сбои, прежде чем изменять тайм-ауты или добавлять рабочие процессы. Подключение пересекает границы домашних серверов и обменивается данными об авторизации подключения и состоянии комнаты, поэтому медленный удаленный сервер или большая комната могут задерживать подключение, даже если ваш собственный сервер работает исправно.
Спецификация Matrix для взаимодействия серверов описывает процесс make_joinустановления send_joinсоединения и состояние, возвращаемое подключающемуся серверу. Это означает, что «задержка федерации» не является автоматически проблемой локальной очереди Synapse. Приведенные ниже проверки позволяют определить вероятные причины.
Задержка ограничивается одной комнатой или одним домашним сервером?
Сравните медленное подключение с подключением к другой федеративной комнате. Спросите, сообщают ли другие пользователи на вашем домашнем сервере о той же задержке, и запишите идентификатор или псевдоним комнаты, а также имена задействованных удаленных серверов. Если медленная работа наблюдается только в одной комнате, узким местом может быть состояние комнаты или уже подключенные к ней домашние серверы. Если медленная работа наблюдается во многих комнатах, использующих один и тот же удаленный сервер, проверьте доступность и состояние повторной попытки подключения к этому целевому серверу. Если медленная работа наблюдается при подключении ко многим несвязанным серверам, изучите собственные ресурсы и исходящий путь федерации.
Для соответствующего удалённого сервера выполните запрос к API администрирования федерации Synapse с машины, на которой запущен Synapse:
curl -H "Authorization: Bearer $SYNAPSE_ADMIN_TOKEN" \
"http://127.0.0.1:8008/_synapse/admin/v1/federation/destinations/remote.example"
Замените remote.exampleна имя домашнего сервера и используйте адрес клиента-слушателя для вашего развертывания. Ненулевое retry_last_tsи положительное значения retry_intervalуказывают на то, что Synapse зафиксировал недавнюю неудачную попытку подключения и ожидает перед повторной попыткой. Проверьте соответствующие журналы Synapse на предмет фактической ошибки, такой как ошибки DNS, TLS, подключения или удаленного ответа. Synapse описывает этот API администрирования федерации как экспериментальный и подлежащий изменениям; обратитесь к документации для используемой вами версии. Держите API администрирования в секрете и не вставляйте его токен доступа в публичный запрос в службу поддержки.

Иллюстрация локального запроса статуса пункта назначения с подтверждением подлинности. На панели отображается только команда, а не ответ в реальном времени.
Если вы подозреваете, что другие серверы не могут связаться с вашим домашним сервером, запустите официальный тестер федерации Matrix для имени вашего сервера. Он проверяет обнаружение и подключение к публичной федерации. Сам по себе он не доказывает успешность исходящего запроса с вашего хоста Synapse к конкретному узлу, поэтому сравните его отчет с вашими собственными журналами и состоянием целевого узла.
Наблюдается ли в Synapse увеличение задержки федерации?
Если Prometheus уже собирает метрики с вашей конечной точки Synapse, добавьте затронутые домены в federation_metrics_domainsфайл homeserver.yaml, а затем перезагрузите или перезапустите Synapse в соответствии с вашим процессом развертывания. Synapse может предоставлять метрики Prometheus о возрасте постоянных событий комнаты (PDU), отправленных и полученных от указанных вами доменов, как описано в руководстве по настройке :
federation_metrics_domains:
- matrix.org
- remote.example
Используйте полученные временные ряды, чтобы определить, увеличивается ли возраст исходящих или входящих событий. Воспринимайте это как указание на направление, а не как окончательный вывод: в документации по настройке Synapse предупреждается, что задержка может быть вызвана как домашним сервером, так и сетью между ними. Задержка исходящих данных в нескольких пунктах назначения указывает на ваш путь отправки или локальную пропускную способность; задержка, локализованная на одном узле, требует проверки этого узла и маршрута к нему.

Иллюстрация концепции графика, отражающего эволюцию федерации; линии не являются данными измерений в реальном времени с сервера Synapse.

Иллюстрация настройки Synapse, используемой для включения метрик PDU-age для выбранных удаленных доменов.
Если многие операции выполняются медленно, проверьте также загрузку ЦП, памяти, задержку базы данных и панель мониторинга длительности транзакций Synapse. В руководстве по Grafana для Synapse отмечается, что persist_eventsзапись событий в базу данных может иметь большую длительность транзакции; также объясняется, что большое количество операций с опережающим доступом может увеличить объем работы по разрешению состояния. Если эти локальные показатели повышаются одновременно с операциями объединения, устраните узкое место в ресурсах или базе данных, прежде чем настраивать повторные попытки федерации.
Поможет ли увеличение числа работников-отправителей из федерации?
Добавляйте пропускную способность отправителя только тогда, когда мониторинг показывает, что исходящая работа резервируется в нескольких местах назначения, и текущий процесс ограничен. В текущей документации Synapse для рабочих процессов рекомендуется использовать synapse.app.generic_workerдля federation_sender_instancesэтой роли, а не создавать новые развертывания на основе старого типа выделенного рабочего процесса отправителя.
Каждый исходящий адрес назначается отправителю на основе хеша имени удаленного сервера. Несколько рабочих процессов-отправителей могут распределять трафик между множеством удаленных серверов, но запросы к одному медленному адресу по-прежнему будут привязываться к одному рабочему процессу. Поэтому добавление рабочих процессов вряд ли решит проблему с одним узлом. Имена рабочих процессов в общей конфигурации должны совпадать с именами работающих рабочих процессов; при изменении списка экземпляров отправителей следует остановить и запустить все отправители федерации одновременно, чтобы они использовали одну и ту же конфигурацию.

Иллюстрация списка federation_sender_instances; каждый именованный рабочий процесс должен существовать в развертывании.
Следует ли сбросить значение параметра backoff или увеличить время ожидания?
Сбрасывайте таймер повторной попытки для целевого адреса только после устранения временной проблемы с подключением и подтверждения того, что Synapse пометил этот целевой адрес как неработающий. Административный API предоставляет POST /_synapse/admin/v1/federation/destinations/<destination>/reset_connectionконечную точку; запрос к ней выполняется в фоновом режиме, поэтому немедленный HTTP-код 200 не означает, что федерация восстановилась. Эта конечная точка также документирована как экспериментальная.
Не следует использовать это federation.client_timeoutкак первый ответ. В текущем руководстве по настройке установлено значение по умолчанию — 60 секунд. Более длительный тайм-аут дает медленному удаленному серверу больше времени на ответ; это не ускоряет работу сервера или сети и может привести к увеличению времени ожидания запросов на присоединение. Изменяйте это значение только тогда, когда в журналах видно, что количество легитимных запросов федерации превышает текущее значение, и вы проверили пропускную способность сервера.
Как вы поняли, что исправление сработало?
Повторите попытку подключения к той же комнате и сравните её с другой федеративной комнатой. Убедитесь, что для затронутого целевого устройства интервал повторных попыток больше не увеличивается, в журналах отображаются успешные запросы федерации, а настроенные метрики PDU-age перестали увеличиваться. Если только одна комната остаётся медленной, в то время как другие целевые устройства работают нормально, сообщите администраторам комнаты или службе поддержки Synapse её идентификатор, задействованный удалённый домашний сервер, временной интервал и отредактированные строки ошибок. Избегайте отправки токенов доступа или полных заголовков авторизации.