Главная
» Как сделать
»
Увеличьте лимит файлов Systemd в Synapse без догадок.
Увеличьте лимит файлов Systemd в Synapse без догадок.
Показательный сценарий: Роуэн администрирует небольшой домашний сервер Matrix и видит журнал Synapse [Errno 24] Too many open filesпри увеличении активности. Если запущенный процесс Synapse достиг лимита открытых файлов systemd, повысьте лимит LimitNOFILEв systemd dropin для соответствующей службы, перезагрузите systemd и перезапустите Synapse. Подтвердите лимит в запущенном процессе. Не изменяйте глобальный лимит ядра, пока не получите подтверждение того, что таблица файлов на уровне всей машины исчерпана.
Точное ограничение зависит от установки и рабочей нагрузки; приведенное ниже примерное значение не является официальным минимальным значением Synapse. Текущие рекомендации Synapse по systemd охватывают главную службу, необязательные шаблонные модули рабочих процессов и цель, которая их группирует. Сопоставьте имена модулей с вашей собственной установкой. См. документацию Synapse systemd-with-workers .
В приведенном примере вывода журнала Synapse показывает ошибку Errno 24 при приеме соединений. Он иллюстрирует симптом и не является журналом реального сервера.
Выясните, какой лимит не соблюдается.
«Открытые файлы» означают файловые дескрипторы: это те дескрипторы, которые процесс использует для доступа к сокетам, файлам, каналам и другим ресурсам. Synapse может потребоваться множество дескрипторов для клиентских подключений, федерации, подключений к базам данных и рабочих процессов. Сначала проверьте службу и её журналы:
sudo systemctl status matrix-synapse.service
sudo journalctl -u matrix-synapse.service -b --no-pager -n 100
sudo systemctl show matrix-synapse.service -p MainPID -p LimitNOFILE
Замените, matrix-synapse.serviceесли у вашего модуля другое имя. Пакет, контейнер или пользовательское развертывание могут называть или запускать службу по-другому. Используйте systemctl list-units '*synapse*'для поиска модулей, управляемых текущим менеджером systemd. Если systemd не запускает Synapse напрямую, это переопределение может не управлять процессом.
Возьмите данные MainPIDиз выходных данных и изучите этот процесс. Подставьте вместо них его числовой PID PID:
grep -i 'open files' /proc/PID/limits
ls /proc/PID/fd | wc -l
Первая команда показывает мягкие и жесткие ограничения запущенного процесса; вторая подсчитывает количество открытых в данный момент дескрипторов. Если количество близко к мягкому ограничению, а в журнале содержится Too many open filesили Errno 24, вероятной причиной является ограничение на уровне процесса. Ядро предоставляет эти значения через /proc/<pid>/limits; см. справочник по ограничениям процессов Linux .
В примере Роуэна предположим, что мягкий лимит процесса равен 1024, а количество дескрипторов близко к нему. Это подтверждает необходимость корректировки модуля. Если процесс далек от своего лимита, перед повышением лимитов следует проверить полную информацию об ошибке и использовании ресурсов; причиной может быть утечка памяти или другая ошибка.
В таблице ограничений по количеству открытых файлов в тестовом режиме показано ограничение в 1024 файла и более высокое жесткое ограничение. Проверяйте запущенный процесс Synapse, а не полагайтесь на ограничение ulimit в командной оболочке.
Увеличьте лимит с помощью модуля systemd.
Встраиваемый модуль добавляет небольшое переопределение без редактирования вспомогательного модуля пакета. В типичной установке systemd переопределение создаётся для фактического основного модуля:
sudo systemctl edit matrix-synapse.service
Введите следующие настройки в редакторе:
[Service]
LimitNOFILE=65536
Сохраните и выйдите. 65536Это пример, а не значение, предписанное Synapse. Выберите значение выше наблюдаемого пикового использования с запасом, в пределах поддерживаемого хостом жесткого ограничения и операционной мощности. systemd принимает настройки ограничения ресурсов, такие как LimitNOFILE; в его документации также предупреждается, что некоторые программы, использующие , select(2)не могут обрабатывать дескрипторы выше 1023. Убедитесь, что среда выполнения и приложение допускают выбранное значение, а не копируйте его вслепую. Ознакомьтесь с документацией по ограничению ресурсов systemd.exec .
Перезагрузите определения модулей и перезапустите Synapse, чтобы процесс был запущен заново с новым ограничением:
Не полагайтесь на данные ulimit -nиз вашей SSH-сессии для изменения системной службы. Оболочка входа в систему и служба systemd получают ограничения из разных контекстов; фактические настройки службы необходимо проверять напрямую.
Встроенный модуль systemd устанавливает значение параметра LimitNOFILE на уровне службы. Пример значения является иллюстративным; выберите ограничение, подходящее для хоста и приложения.
При необходимости применяйте ограничения к работникам и контейнерам.
Если вы используете Synapse Workers, каждый Worker представляет собой отдельный процесс службы и имеет собственное ограничение по ресурсам. В официальном примере systemd используются такие юниты, как matrix-synapse-worker@generic_worker.service. Создайте соответствующий drop-in для каждого активного юнита Worker, который достигает лимита, например:
Затем добавьте те же [Service]строки LimitNOFILE, перезагрузите systemd и перезапустите рабочий процесс или целевое устройство Synapse. В документации Synapse показано, что перезапуск целевого устройства позволяет перезапустить главный процесс и его рабочие процессы одновременно. Подтвердите эффективный лимит для каждого затронутого устройства в отдельности.
Для Docker или другого менеджера контейнеров переопределение systemd на хосте помогает только в том случае, если этот модуль напрямую запускает процесс и передает ограничение. В противном случае установите ограничение на количество файловых дескрипторов через конфигурацию среды выполнения контейнера или оркестрации, затем пересоздайте/перезапустите контейнер и проверьте процесс внутри него. В документации по установке Synapse указан официальный образ контейнера; детали упаковки могут отличаться, поэтому проверьте текущую конфигурацию среды выполнения, а не применяйте команду только на хосте.
После перезагрузки systemd и перезапуска службы отображаемый эффективный лимит составляет 65 536, и в этом примере модуль Synapse активен.
Убедитесь, что Synapse работает корректно.
После перезапуска повторно запустите программу systemctl showи проверьте ее работу, /proc/PID/limitsиспользуя новый основной PID. Эффективные мягкие и жесткие ограничения должны соответствовать настроенным значениям. Проверьте журнал на наличие сбоев при запуске и новых Too many open filesошибок, затем отправьте запрос клиенту и подтвердите возобновление работы федерации или рабочих процессов, на которые повлияли сбои.
Если ошибка Too many open files in systemуказывает на таблицу файлов ядра, проверьте /proc/sys/fs/file-nr: первое число — это выделенные дескрипторы файлов, а третье — максимальное количество. Системный дефицит отличается от достижения Synapse собственного предела дескрипторов; прежде чем рассматривать изменения на уровне ядра, изучите другие службы и глобальную пропускную способность. См. справочные документы по файловой системе Linux procfile-nr и file-max.
В случае с Rowan, исправление проверяется только тогда, когда перезапущенный процесс достигает заданного предела, Synapse остается активным, а исходная ошибка в журнале больше не повторяется при соответствующей нагрузке. Если использование продолжает расти в сторону нового предела, следует исследовать утечки дескрипторов или потребности в ресурсах, вместо того чтобы постоянно увеличивать число.