Te aconsejo el uso de AdvMAME. Pásate por los tutoriales. Ahí viene perfectamente explicado cómo se configura.

Lo bueno de este emulador es que es muy flexible en cuanto a vídeo, aunque en cuanto a sonido me gusta más el MAME original. Pero bueno, por probar, que no quede.