Увеличьте лимит файлов Systemd в Synapse без догадок.

Показательный сценарий: Роуэн администрирует небольшой домашний сервер Matrix и видит журнал Synapse [Errno 24] Too many open filesпри увеличении активности. Если запущенный процесс Synapse достиг лимита открытых файлов systemd, повысьте лимит LimitNOFILEв systemd dropin для соответствующей службы, перезагрузите systemd и перезапустите Synapse. Подтвердите лимит в запущенном процессе. Не изменяйте глобальный лимит ядра, пока не получите подтверждение того, что таблица файлов на уровне всей машины исчерпана.

Точное ограничение зависит от установки и рабочей нагрузки; приведенное ниже примерное значение не является официальным минимальным значением Synapse. Текущие рекомендации Synapse по systemd охватывают главную службу, необязательные шаблонные модули рабочих процессов и цель, которая их группирует. Сопоставьте имена модулей с вашей собственной установкой. См. документацию Synapse systemd-with-workers .

В окне терминала отображаются записи журнала matrix-synapse.service с повторяющимися сообщениями Errno 24 Too many open files.
В приведенном примере вывода журнала Synapse показывает ошибку Errno 24 при приеме соединений. Он иллюстрирует симптом и не является журналом реального сервера.

Выясните, какой лимит не соблюдается.

«Открытые файлы» означают файловые дескрипторы: это те дескрипторы, которые процесс использует для доступа к сокетам, файлам, каналам и другим ресурсам. Synapse может потребоваться множество дескрипторов для клиентских подключений, федерации, подключений к базам данных и рабочих процессов. Сначала проверьте службу и её журналы:

sudo systemctl status matrix-synapse.service
sudo journalctl -u matrix-synapse.service -b --no-pager -n 100
sudo systemctl show matrix-synapse.service -p MainPID -p LimitNOFILE

Замените, matrix-synapse.serviceесли у вашего модуля другое имя. Пакет, контейнер или пользовательское развертывание могут называть или запускать службу по-другому. Используйте systemctl list-units '*synapse*'для поиска модулей, управляемых текущим менеджером systemd. Если systemd не запускает Synapse напрямую, это переопределение может не управлять процессом.

Возьмите данные MainPIDиз выходных данных и изучите этот процесс. Подставьте вместо них его числовой PID PID:

grep -i 'open files' /proc/PID/limits
ls /proc/PID/fd | wc -l

Первая команда показывает мягкие и жесткие ограничения запущенного процесса; вторая подсчитывает количество открытых в данный момент дескрипторов. Если количество близко к мягкому ограничению, а в журнале содержится Too many open filesили Errno 24, вероятной причиной является ограничение на уровне процесса. Ядро предоставляет эти значения через /proc/<pid>/limits; см. справочник по ограничениям процессов Linux .

В примере Роуэна предположим, что мягкий лимит процесса равен 1024, а количество дескрипторов близко к нему. Это подтверждает необходимость корректировки модуля. Если процесс далек от своего лимита, перед повышением лимитов следует проверить полную информацию об ошибке и использовании ресурсов; причиной может быть утечка памяти или другая ошибка.

На терминале отображается LimitNOFILE=1024 и таблица ограничений процесса, где мягкое ограничение на количество открытых файлов составляет 1024, а жесткое — 524288.
В таблице ограничений по количеству открытых файлов в тестовом режиме показано ограничение в 1024 файла и более высокое жесткое ограничение. Проверяйте запущенный процесс Synapse, а не полагайтесь на ограничение ulimit в командной оболочке.

Увеличьте лимит с помощью модуля systemd.

Встраиваемый модуль добавляет небольшое переопределение без редактирования вспомогательного модуля пакета. В типичной установке systemd переопределение создаётся для фактического основного модуля:

sudo systemctl edit matrix-synapse.service

Введите следующие настройки в редакторе:

[Service]
LimitNOFILE=65536

Сохраните и выйдите. 65536Это пример, а не значение, предписанное Synapse. Выберите значение выше наблюдаемого пикового использования с запасом, в пределах поддерживаемого хостом жесткого ограничения и операционной мощности. systemd принимает настройки ограничения ресурсов, такие как LimitNOFILE; в его документации также предупреждается, что некоторые программы, использующие , select(2)не могут обрабатывать дескрипторы выше 1023. Убедитесь, что среда выполнения и приложение допускают выбранное значение, а не копируйте его вслепую. Ознакомьтесь с документацией по ограничению ресурсов systemd.exec .

Перезагрузите определения модулей и перезапустите Synapse, чтобы процесс был запущен заново с новым ограничением:

sudo systemctl daemon-reload
sudo systemctl restart matrix-synapse.service
sudo systemctl status matrix-synapse.service --no-pager

Не полагайтесь на данные ulimit -nиз вашей SSH-сессии для изменения системной службы. Оболочка входа в систему и служба systemd получают ограничения из разных контекстов; фактические настройки службы необходимо проверять напрямую.

В текстовом редакторе отображается файл override.conf, добавляемый в systemd, с разделом Service и параметром LimitNOFILE=65536.
Встроенный модуль systemd устанавливает значение параметра LimitNOFILE на уровне службы. Пример значения является иллюстративным; выберите ограничение, подходящее для хоста и приложения.

При необходимости применяйте ограничения к работникам и контейнерам.

Если вы используете Synapse Workers, каждый Worker представляет собой отдельный процесс службы и имеет собственное ограничение по ресурсам. В официальном примере systemd используются такие юниты, как matrix-synapse-worker@generic_worker.service. Создайте соответствующий drop-in для каждого активного юнита Worker, который достигает лимита, например:

sudo systemctl edit matrix-synapse-worker@generic_worker.service

Затем добавьте те же [Service]строки LimitNOFILE, перезагрузите systemd и перезапустите рабочий процесс или целевое устройство Synapse. В документации Synapse показано, что перезапуск целевого устройства позволяет перезапустить главный процесс и его рабочие процессы одновременно. Подтвердите эффективный лимит для каждого затронутого устройства в отдельности.

Для Docker или другого менеджера контейнеров переопределение systemd на хосте помогает только в том случае, если этот модуль напрямую запускает процесс и передает ограничение. В противном случае установите ограничение на количество файловых дескрипторов через конфигурацию среды выполнения контейнера или оркестрации, затем пересоздайте/перезапустите контейнер и проверьте процесс внутри него. В документации по установке Synapse указан официальный образ контейнера; детали упаковки могут отличаться, поэтому проверьте текущую конфигурацию среды выполнения, а не применяйте команду только на хосте.

В терминале отображаются команды перезагрузки демона systemd и перезапуска Synapse, за которыми следует LimitNOFILE=65536 и статус активной запущенной службы.
После перезагрузки systemd и перезапуска службы отображаемый эффективный лимит составляет 65 536, и в этом примере модуль Synapse активен.

Убедитесь, что Synapse работает корректно.

После перезапуска повторно запустите программу systemctl showи проверьте ее работу, /proc/PID/limitsиспользуя новый основной PID. Эффективные мягкие и жесткие ограничения должны соответствовать настроенным значениям. Проверьте журнал на наличие сбоев при запуске и новых Too many open filesошибок, затем отправьте запрос клиенту и подтвердите возобновление работы федерации или рабочих процессов, на которые повлияли сбои.

Если ошибка Too many open files in systemуказывает на таблицу файлов ядра, проверьте /proc/sys/fs/file-nr: первое число — это выделенные дескрипторы файлов, а третье — максимальное количество. Системный дефицит отличается от достижения Synapse собственного предела дескрипторов; прежде чем рассматривать изменения на уровне ядра, изучите другие службы и глобальную пропускную способность. См. справочные документы по файловой системе Linux procfile-nr и file-max.

В случае с Rowan, исправление проверяется только тогда, когда перезапущенный процесс достигает заданного предела, Synapse остается активным, а исходная ошибка в журнале больше не повторяется при соответствующей нагрузке. Если использование продолжает расти в сторону нового предела, следует исследовать утечки дескрипторов или потребности в ресурсах, вместо того чтобы постоянно увеличивать число.

Оставить комментарий

Увеличьте лимит файлов Systemd в Synapse без догадок.

Увеличьте лимит файлов Systemd в Synapse без догадок.

Проверьте, не превысил ли Synapse лимит на количество открытых файлов в одном процессе, установите параметр systemd для нужной службы или рабочего процесса и проверьте текущий лимит.

На экране отображается сообщение «Не удалось расшифровать»? Восстановите отсутствующий ключ от комнаты.

На экране отображается сообщение «Не удалось расшифровать»? Восстановите отсутствующий ключ от комнаты.

Выясните, ограничивается ли ошибка одним браузером или одним событием, затем используйте ключ восстановления Element или доверенное устройство, не рискуя при этом оставшейся зашифрованной историей.

Удалите старые сообщения и медиафайлы Synapse без потери данных.

Используйте API Synapse для очистки истории и мультимедиа или настройки хранения данных, чтобы безопасно удалить устаревшие данные, а затем проверьте завершение процесса и восстановление дискового пространства.

Создайте эхо-бота на основе матрицы на Python с помощью библиотеки Simple-Matrix-Bot-Lib.

Создайте эхо-бота на основе матрицы на Python с помощью библиотеки Simple-Matrix-Bot-Lib.

Установите текущую библиотеку, подключите выделенную учетную запись Matrix и запустите небольшой бот !echo с более безопасной обработкой учетных данных и понятным тестом.

Подключите Matrix к WhatsApp, Telegram и Discord с помощью отдельных мостов.

Подключите Matrix к WhatsApp, Telegram и Discord с помощью отдельных мостов.

Настройте три моста Mautrix с отдельными регистрациями, входами в систему и тестами — и избегайте неожиданностей, связанных с сетевыми настройками Docker, политиками учетных записей и синхронизацией.

Освободите место на диске Synapse Media, не нарушая работу общих файлов.

Узнайте, что заполняет хранилище Synapse, установите безопасное время хранения медиафайлов и очистите удаленный кэш, не удаляя файлы непосредственно с диска.

Деактивация неактивных пользователей матрицы без удаления истории комнат.

Деактивация неактивных пользователей матрицы без удаления истории комнат.

Просматривайте активность устройства, деактивируйте подтвержденные неактивные учетные записи Synapse через Admin API и узнайте, что именно удаляет необязательный флаг удаления.

Снижение нагрузки на память PostgreSQL в Matrix Synapse

Определите, связана ли нехватка памяти в PostgreSQL с выполнением запросов, использованием общих буферов, соединениями или обслуживанием, а затем внесите целенаправленные изменения, безопасные для Synapse.

Почему соединение комнат в Matrix Synapse происходит медленно — и что следует проверить

Почему соединение комнат в Matrix Synapse происходит медленно — и что следует проверить

Перед изменением настроек Synapse отследите медленные подключения к комнатам Matrix до одного из удаленных домашних серверов, задержки федерации, загрузки локальной базы данных или исходящей очереди отправителя.

Закройте регистрацию в Matrix или требуйте токены приглашения в Synapse.

Прекратите создание новых учетных записей на собственном сервере Synapse или сделайте регистрацию доступной только по приглашениям с использованием регистрационных токенов ограниченного действия.