Освободите место на диске Synapse Media, не нарушая работу общих файлов.

Если хранилище медиафайлов Synapse заполняет диск, сначала определите, какой каталог или том увеличивается, а затем используйте поддерживаемые Synapse настройки хранения или API администратора для удаления медиафайлов. Не удаляйте файлы напрямую из media_store: Synapse хранит метаданные медиафайлов в своей базе данных, и удаление файлов, хранящихся в Synapse, может привести к нарушению ссылок или затруднить аудит очистки. Наиболее безопасная политика зависит от того, используется ли пространство для локальных загрузок, кэшированных медиафайлов с других домашних серверов, миниатюр или другой службы, использующей тот же диск.

Что занимает это пространство?

В репозитории мультимедиа Synapse хранятся локально загруженные аватары, вложения и миниатюры. Он также кэширует мультимедиа, полученные с удаленных серверов Matrix, и ресурсы, используемые для предварительного просмотра URL-адресов. Эти данные отличаются от базы данных Synapse, журналов контейнеров и любого внешнего репозитория мультимедиа. Наличие полностью заполненной корневой файловой системы само по себе не доказывает, что это media_storeявляется причиной проблемы.

На хосте или внутри контейнера, которому принадлежат смонтированные данные, сравните использование файловой системы с каталогом данных Synapse. Замените пример пути значением из вашей развертывания:

df -h
du -h --max-depth=1 /path/to/synapse-data
du -sh /path/to/synapse-data/media_store

В Synapse media_store_pathпо умолчанию используется путь media_store, обычно расположенный в каталоге данных, но при установке его можно переопределить. Контейнеры могут записывать данные в смонтированный том, фактическое хранилище которого находится на хосте. homeserver.yamlПеред тем как сделать вывод о безопасности изменения пути на хосте, проверьте путь, сопоставление томов контейнеров или конфигурацию постоянного тома вашего оркестратора. Если каталог мультимедиа не является самым большим потребителем, изучите компонент, который duотображается вместо него.

Выберите политику очистки, которая соответствует требованиям СМИ.

Подтвержденное поведение: настройка Synapse media_retentionможет удалять локальные медиафайлы и кэшированные удаленные медиафайлы после периодов отсутствия доступа. Доступ включает загрузку медиафайлов в комнате или их скачивание. Если к элементу никогда не обращались, Synapse использует время его создания. Удаляются как исходные медиафайлы, так и их миниатюры. Очистка выполняется на рабочем процессе хранилища медиафайлов, который может быть основным процессом Synapse.

Всё зависит от вашего сценария использования: удалённые кэшированные файлы, как правило, можно повторно загрузить с исходного сервера по запросу после удаления. Локально загруженные файлы размещаются на вашем сервере, поэтому их удаление может сделать старые вложения или аватары недоступными. Выбирайте локальное хранение только в том случае, если ваши пользователи согласны с этим последствием; более длительный срок локального хранения или отсутствие автоматической локальной очистки могут быть более подходящими для сообщества, которое рассматривает старые вложения как архив.

Что не означает сохранение данных: помещение медиафайлов в карантин блокирует доступ, но не удаляет сам файл или его эскизы. Это не освободит необходимое дисковое пространство. Если вам нужно сохранить помещенный в карантин элемент, удалив при этом другие данные, четко различайте эти понятия: карантин — это мера модерации, а сохранение и удаление — меры контроля за хранением.

Включить автоматическое сохранение в Synaps

Перед редактированием создайте резервную копию активной конфигурации. Добавьте раздел верхнего уровня media_retentionили обновите существующий. Например, эта политика удаляет локальные носители через 180 дней без доступа и записи удаленного кэша через 30 дней:

media_retention:
  local_media_lifetime: 180d
  remote_media_lifetime: 30d

Эти значения являются примерами, а не универсальными рекомендациями. Установите локальный период в соответствии с вашими обязательствами по хранению и ожиданиями в отношении старого контента комнаты. Если вы хотите управлять кэшем только для удаленных медиафайлов, настройте только remote_media_lifetime; неустановленное или нулевое время жизни означает, что этот тип не будет автоматически очищаться. Synapse также указывает, что медиафайлы, помещенные в карантин, и локальные медиафайлы, защищенные от карантина, исключаются из очистки при хранении.

Примените конфигурацию, используя обычный процесс перезапуска или перезагрузки развертывания, и убедитесь, что обработчик хранилища медиафайлов запущен enable_media_repo: true. Если Synapse использует отдельный обработчик медиафайлов, настройте политику, в которой включена служба хранилища медиафайлов. Правильное изменение YAML-файла не приводит к немедленному освобождению всего пространства: обработчик должен выполнить очистку, и к освобождению подлежат только медиафайлы старше выбранного порога доступа.

Освобождайте пространство быстрее с помощью административного API.

Если диск уже критически важен, Synapse предоставляет административные конечные точки для очистки. Эти действия безвозвратно удаляют медиафайлы. Перед их использованием создайте резервную копию базы данных и данных медиафайлов, убедитесь, что URL-адрес ведет на ваш домашний сервер, и используйте токен доступа администратора сервера по протоколу HTTPS. Не храните токен в истории командной строки и общих журналах.

Для удаления старых кэшированных удаленных медиафайлов вызовите указанную в документации конечную точку с меткой времени в миллисекундах с начала эпохи Unix:

POST /_synapse/admin/v1/purge_media_cache?before_ts=<unix_timestamp_in_ms>

Например, командная оболочка может рассчитать дату отсечения 30 дней назад с помощью GNU date:

cutoff=$(date -u -d '30 days ago' +%s000)
curl -X POST "https://matrix.example.com/_synapse/admin/v1/purge_media_cache?before_ts=$cutoff" \
  -H "Authorization: Bearer YOUR_SERVER_ADMIN_ACCESS_TOKEN"

В ответе сообщается, сколько кэшированных элементов было удалено. Если пользователи снова запросят эти удаленные файлы, Synapse повторно получит их с исходного сервера; это может восстановить использование дискового пространства для популярных медиафайлов.

API для удаления локальных медиафайлов позволяет удалять локальные медиафайлы на основе времени последнего доступа и, при необходимости, минимального размера. Текущая конечная точка — POST /_synapse/admin/v1/media/delete?before_ts=…; более старая конечная точка, содержащая , <server_name>устарела начиная с Synapse 1.78.0. В качестве порогового значения используется дата последнего доступа, а не дата загрузки, и keep_profilesпараметр по умолчанию имеет значение true. Поскольку это удаление может привести к удалению файлов, которые, как ожидают пользователи, останутся доступными, предпочтительнее использовать настроенное время хранения, если вы не определили подходящее пороговое значение и не согласны с этим эффектом. Для получения информации о параметрах и установленной версии Synapse следуйте официальной справочной информации по API.

Распространенные заблуждения, которых следует избегать

  • «Удаление комнаты приведет к удалению содержащихся в ней медиафайлов». Не стоит так считать. История комнат, медиафайлы и кэшированные копии управляются различными способами. Для управления медиафайлами используйте API администратора медиафайлов или политику хранения.
  • «Карантин освобождает место на диске». Это не так: помещенные в карантин медиафайлы и эскизы остаются на диске. Используйте операцию удаления или сохранения, если цель — освободить место на диске.
  • «Все медиафайлы в репозитории загружены моими пользователями». Репозиторий также включает данные удаленного кэша и предварительный просмотр URL-адресов. Перед тем как выбрать удаление, сравните подкаталоги репозитория и конфигурацию хранилища Synapse.
  • «Удаление файлов вручную эквивалентно очистке Synapse». Это неподдерживаемая альтернатива. Позвольте Synapse обновить свои метаданные через процесс хранения или через API администратора.

Убедитесь, что загрузка диска снижается.

После завершения работы процесса очистки проверьте df -hразмер каталога медиафайлов еще раз. Для очистки через API подтвердите количество удаленных файлов в ответе и сравните соответствующий каталог до и после очистки. Проверьте журналы Synapse на наличие ошибок конфигурации или ошибок процесса. Если каталог остается большим, проверьте, записывает ли ваша система медиафайлы в настроенный провайдер или на отдельный том; API удаления локальных медиафайлов Synapse не влияет на медиафайлы, хранящиеся во внешнем хранилище медиафайлов. Не следует предполагать, что успешный ответ API уменьшит размер файловой системы хоста, если файлы находятся в другом месте.

Официальные ссылки

Оставить комментарий

Увеличьте лимит файлов Systemd в Synapse без догадок.

Увеличьте лимит файлов Systemd в Synapse без догадок.

Проверьте, не превысил ли Synapse лимит на количество открытых файлов в одном процессе, установите параметр systemd для нужной службы или рабочего процесса и проверьте текущий лимит.

На экране отображается сообщение «Не удалось расшифровать»? Восстановите отсутствующий ключ от комнаты.

На экране отображается сообщение «Не удалось расшифровать»? Восстановите отсутствующий ключ от комнаты.

Выясните, ограничивается ли ошибка одним браузером или одним событием, затем используйте ключ восстановления Element или доверенное устройство, не рискуя при этом оставшейся зашифрованной историей.

Удалите старые сообщения и медиафайлы Synapse без потери данных.

Используйте API Synapse для очистки истории и мультимедиа или настройки хранения данных, чтобы безопасно удалить устаревшие данные, а затем проверьте завершение процесса и восстановление дискового пространства.

Создайте эхо-бота на основе матрицы на Python с помощью библиотеки Simple-Matrix-Bot-Lib.

Создайте эхо-бота на основе матрицы на Python с помощью библиотеки Simple-Matrix-Bot-Lib.

Установите текущую библиотеку, подключите выделенную учетную запись Matrix и запустите небольшой бот !echo с более безопасной обработкой учетных данных и понятным тестом.

Подключите Matrix к WhatsApp, Telegram и Discord с помощью отдельных мостов.

Подключите Matrix к WhatsApp, Telegram и Discord с помощью отдельных мостов.

Настройте три моста Mautrix с отдельными регистрациями, входами в систему и тестами — и избегайте неожиданностей, связанных с сетевыми настройками Docker, политиками учетных записей и синхронизацией.

Освободите место на диске Synapse Media, не нарушая работу общих файлов.

Узнайте, что заполняет хранилище Synapse, установите безопасное время хранения медиафайлов и очистите удаленный кэш, не удаляя файлы непосредственно с диска.

Деактивация неактивных пользователей матрицы без удаления истории комнат.

Деактивация неактивных пользователей матрицы без удаления истории комнат.

Просматривайте активность устройства, деактивируйте подтвержденные неактивные учетные записи Synapse через Admin API и узнайте, что именно удаляет необязательный флаг удаления.

Снижение нагрузки на память PostgreSQL в Matrix Synapse

Определите, связана ли нехватка памяти в PostgreSQL с выполнением запросов, использованием общих буферов, соединениями или обслуживанием, а затем внесите целенаправленные изменения, безопасные для Synapse.

Почему соединение комнат в Matrix Synapse происходит медленно — и что следует проверить

Почему соединение комнат в Matrix Synapse происходит медленно — и что следует проверить

Перед изменением настроек Synapse отследите медленные подключения к комнатам Matrix до одного из удаленных домашних серверов, задержки федерации, загрузки локальной базы данных или исходящей очереди отправителя.

Закройте регистрацию в Matrix или требуйте токены приглашения в Synapse.

Прекратите создание новых учетных записей на собственном сервере Synapse или сделайте регистрацию доступной только по приглашениям с использованием регистрационных токенов ограниченного действия.