Попробуй в /etc/default/grub как рут внести изменения в строке GRUB_CMDLINE_LINUX_DEFAULT добавить amdgpu.vm_fragment_size=9
Будет выглядеть примерно так
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amdgpu.vm_fragment_size=9"
после чего
update-grub
reboot
Так же можно попробовать увеличить раздел с файлом подкачки до 16 Гб или больше