O big já trabalha com uma forma muito especial de memoria swap, ela sempre vai utilizar o máximo possível da memoria disponível pre-alocando o que você utiliza constantemente, e deixando em cache o que também pode acelerar.
Mas claro sempre irá priorizar a fluides do sistema , então deixei o sistema trabalhar, mexer irá mais atrapalhar que ajudar, mas se quiser muito mesmo edite os swapinness , mas claro primeiro leia a documentação do + Btrfs (ZSTD) + Compressão com swapniness , dentro do git.