Que se vea borroso todo, puede ser debido al potenciometro del focus del monitor.
Ajustalo...pero con cuidado...no vallas a pasarte.

Referente a que no se te vé el Advmenu y sí el advmame, es fácil.
Cambia el device clock del advmenu.rc por éste:
device_video_clock 5-50 / 15.75 / 50-60

Y el modeline por este otro:

device_video_format 15750 0.761905 0 0.0952381 0.142857 0.866412 0.0305344 0.0114504 0.0916031

Ahora siempre tendrás el advmenu a una resolución fija.
Si lo vuelves a ejecutar y sigue desplazandose sin ver nada, ajusta el potenciometro de la frequencia vertical.

Un saludo.

P.D.: Tienes mi misma configuración de equipo y S.O, así que si copias mis modelines y mis atributos de pantalla del advmame.rc, te deben de servir igual.
Eso sí...yo cada vez que cargo un juego, ajusto si es necesario la pantalla usando los potenciometros....(como en las máquinas originales)...pero me aseguro de que estos, se ejecuten a la resolución y refresco nativo original.