Bueno, veo que estás liado en varios frentes...a ver si poco a poco los podemos ir solucionando entre todos.
Prueba esto con el MAME32 a ver si asi se ve a pantalla completa:

En options/default game options:
En la pestaña 'Advanced' activa Triple buffering, stretch using hardware, switch resolutions to fit y switch color depths to fit. La resolución la dejas como dijimos anteriormente 640x480 32bits.
En la pestaña 'Direct3D' activas el 'use direct3d' y dejas activados el 'texture management' y el 'rotate effects', donde pone filter pon 'bilinear', donde pone effect pon 'none' y donde pone prescale pon 'full'
Por cierto, me suena que el mame32 si que se puede usar con el maca, pero hay que renombrarlo de Mame32 a mame.Ya nos dirás que tal.

Saludos.