Basicamente é a forma que eles gerenciam as tarefas e interrupções, eles possuem objetivos diferentes como performance optimizada (amigavelmente) vs previsibilidade de tempo real(uma baixa latência).
RT é mais para sistemas embarcados, servidores de stream, sistemas de controle industrial e sistemas de áudio profissionais, ou seja, qualquer sistema onde o tempo de resposta/latência é crítico. Aplicações que não podem tolerar atrasos.
https://mirrors.edge.kernel.org/pub/linux/kernel/projects/rt/
XanMod é mais para workstations e desktops (mas tbm servidores de jogos), ele melhora a experiência com optimizações para desempenho. Quem trabalha com edição de vídeos é o ideal. Essa versão tbm costuma ter updates sempre atualizados e mais rápido que o kernel padrão como drivers e patches que ainda não estão no kernel ‘principal’. Ele tbm tem a mesma pegada do RT na questão do real time, já usei ele em servidor de jogos e ele se sai muito bem, ele é mais ‘amigável’ comparando a aplicação de patch do RT.
https://gitlab.com/xanmod/linux
RT = mais usado em servidores que rodam aplicações que se encaixam nos objetivos citados acima e é menos amigável.
XanMod = versão amigável de um RT e mais focado para workstation e desktops mas tbm para servidores de jogos, tem mais atualizações.
Espero ter conseguido ajudar a entender um pouco.
