Sí, es por la resolución. Prueba a forzar en el mame.ini la resolución a 720x480, y si no a 640x240.

Por otra parte, respecto a los pasos que te dije, es normal que veas al principio Window$ en el monitor arcade con muy mala calidad, pues se pone a la mínima resolución posible por defecta, a 8 colores. Pero entonces lo que tienes que hacer es cambiarla a 720x480 y 32 bits de colores, y se verá de PM.