Если хранилище медиафайлов Synapse заполняет диск, сначала определите, какой каталог или том увеличивается, а затем используйте поддерживаемые Synapse настройки хранения или API администратора для удаления медиафайлов. Не удаляйте файлы напрямую из media_store: Synapse хранит метаданные медиафайлов в своей базе данных, и удаление файлов, хранящихся в Synapse, может привести к нарушению ссылок или затруднить аудит очистки. Наиболее безопасная политика зависит от того, используется ли пространство для локальных загрузок, кэшированных медиафайлов с других домашних серверов, миниатюр или другой службы, использующей тот же диск.
Что занимает это пространство?
В репозитории мультимедиа Synapse хранятся локально загруженные аватары, вложения и миниатюры. Он также кэширует мультимедиа, полученные с удаленных серверов Matrix, и ресурсы, используемые для предварительного просмотра URL-адресов. Эти данные отличаются от базы данных Synapse, журналов контейнеров и любого внешнего репозитория мультимедиа. Наличие полностью заполненной корневой файловой системы само по себе не доказывает, что это media_storeявляется причиной проблемы.
На хосте или внутри контейнера, которому принадлежат смонтированные данные, сравните использование файловой системы с каталогом данных Synapse. Замените пример пути значением из вашей развертывания:
df -h
du -h --max-depth=1 /path/to/synapse-data
du -sh /path/to/synapse-data/media_store
В Synapse media_store_pathпо умолчанию используется путь media_store, обычно расположенный в каталоге данных, но при установке его можно переопределить. Контейнеры могут записывать данные в смонтированный том, фактическое хранилище которого находится на хосте. homeserver.yamlПеред тем как сделать вывод о безопасности изменения пути на хосте, проверьте путь, сопоставление томов контейнеров или конфигурацию постоянного тома вашего оркестратора. Если каталог мультимедиа не является самым большим потребителем, изучите компонент, который duотображается вместо него.
Выберите политику очистки, которая соответствует требованиям СМИ.
Подтвержденное поведение: настройка Synapse media_retentionможет удалять локальные медиафайлы и кэшированные удаленные медиафайлы после периодов отсутствия доступа. Доступ включает загрузку медиафайлов в комнате или их скачивание. Если к элементу никогда не обращались, Synapse использует время его создания. Удаляются как исходные медиафайлы, так и их миниатюры. Очистка выполняется на рабочем процессе хранилища медиафайлов, который может быть основным процессом Synapse.
Всё зависит от вашего сценария использования: удалённые кэшированные файлы, как правило, можно повторно загрузить с исходного сервера по запросу после удаления. Локально загруженные файлы размещаются на вашем сервере, поэтому их удаление может сделать старые вложения или аватары недоступными. Выбирайте локальное хранение только в том случае, если ваши пользователи согласны с этим последствием; более длительный срок локального хранения или отсутствие автоматической локальной очистки могут быть более подходящими для сообщества, которое рассматривает старые вложения как архив.
Что не означает сохранение данных: помещение медиафайлов в карантин блокирует доступ, но не удаляет сам файл или его эскизы. Это не освободит необходимое дисковое пространство. Если вам нужно сохранить помещенный в карантин элемент, удалив при этом другие данные, четко различайте эти понятия: карантин — это мера модерации, а сохранение и удаление — меры контроля за хранением.
Включить автоматическое сохранение в Synaps
Перед редактированием создайте резервную копию активной конфигурации. Добавьте раздел верхнего уровня media_retentionили обновите существующий. Например, эта политика удаляет локальные носители через 180 дней без доступа и записи удаленного кэша через 30 дней:
media_retention:
local_media_lifetime: 180d
remote_media_lifetime: 30d
Эти значения являются примерами, а не универсальными рекомендациями. Установите локальный период в соответствии с вашими обязательствами по хранению и ожиданиями в отношении старого контента комнаты. Если вы хотите управлять кэшем только для удаленных медиафайлов, настройте только remote_media_lifetime; неустановленное или нулевое время жизни означает, что этот тип не будет автоматически очищаться. Synapse также указывает, что медиафайлы, помещенные в карантин, и локальные медиафайлы, защищенные от карантина, исключаются из очистки при хранении.
Примените конфигурацию, используя обычный процесс перезапуска или перезагрузки развертывания, и убедитесь, что обработчик хранилища медиафайлов запущен enable_media_repo: true. Если Synapse использует отдельный обработчик медиафайлов, настройте политику, в которой включена служба хранилища медиафайлов. Правильное изменение YAML-файла не приводит к немедленному освобождению всего пространства: обработчик должен выполнить очистку, и к освобождению подлежат только медиафайлы старше выбранного порога доступа.
Освобождайте пространство быстрее с помощью административного API.
Если диск уже критически важен, Synapse предоставляет административные конечные точки для очистки. Эти действия безвозвратно удаляют медиафайлы. Перед их использованием создайте резервную копию базы данных и данных медиафайлов, убедитесь, что URL-адрес ведет на ваш домашний сервер, и используйте токен доступа администратора сервера по протоколу HTTPS. Не храните токен в истории командной строки и общих журналах.
Для удаления старых кэшированных удаленных медиафайлов вызовите указанную в документации конечную точку с меткой времени в миллисекундах с начала эпохи Unix:
POST /_synapse/admin/v1/purge_media_cache?before_ts=<unix_timestamp_in_ms>
Например, командная оболочка может рассчитать дату отсечения 30 дней назад с помощью GNU date:
cutoff=$(date -u -d '30 days ago' +%s000)
curl -X POST "https://matrix.example.com/_synapse/admin/v1/purge_media_cache?before_ts=$cutoff" \
-H "Authorization: Bearer YOUR_SERVER_ADMIN_ACCESS_TOKEN"
В ответе сообщается, сколько кэшированных элементов было удалено. Если пользователи снова запросят эти удаленные файлы, Synapse повторно получит их с исходного сервера; это может восстановить использование дискового пространства для популярных медиафайлов.
API для удаления локальных медиафайлов позволяет удалять локальные медиафайлы на основе времени последнего доступа и, при необходимости, минимального размера. Текущая конечная точка — POST /_synapse/admin/v1/media/delete?before_ts=…; более старая конечная точка, содержащая , <server_name>устарела начиная с Synapse 1.78.0. В качестве порогового значения используется дата последнего доступа, а не дата загрузки, и keep_profilesпараметр по умолчанию имеет значение true. Поскольку это удаление может привести к удалению файлов, которые, как ожидают пользователи, останутся доступными, предпочтительнее использовать настроенное время хранения, если вы не определили подходящее пороговое значение и не согласны с этим эффектом. Для получения информации о параметрах и установленной версии Synapse следуйте официальной справочной информации по API.
Распространенные заблуждения, которых следует избегать
- «Удаление комнаты приведет к удалению содержащихся в ней медиафайлов». Не стоит так считать. История комнат, медиафайлы и кэшированные копии управляются различными способами. Для управления медиафайлами используйте API администратора медиафайлов или политику хранения.
- «Карантин освобождает место на диске». Это не так: помещенные в карантин медиафайлы и эскизы остаются на диске. Используйте операцию удаления или сохранения, если цель — освободить место на диске.
- «Все медиафайлы в репозитории загружены моими пользователями». Репозиторий также включает данные удаленного кэша и предварительный просмотр URL-адресов. Перед тем как выбрать удаление, сравните подкаталоги репозитория и конфигурацию хранилища Synapse.
- «Удаление файлов вручную эквивалентно очистке Synapse». Это неподдерживаемая альтернатива. Позвольте Synapse обновить свои метаданные через процесс хранения или через API администратора.
Убедитесь, что загрузка диска снижается.
После завершения работы процесса очистки проверьте df -hразмер каталога медиафайлов еще раз. Для очистки через API подтвердите количество удаленных файлов в ответе и сравните соответствующий каталог до и после очистки. Проверьте журналы Synapse на наличие ошибок конфигурации или ошибок процесса. Если каталог остается большим, проверьте, записывает ли ваша система медиафайлы в настроенный провайдер или на отдельный том; API удаления локальных медиафайлов Synapse не влияет на медиафайлы, хранящиеся во внешнем хранилище медиафайлов. Не следует предполагать, что успешный ответ API уменьшит размер файловой системы хоста, если файлы находятся в другом месте.
Официальные ссылки