Supongo que tienes la arcadeVGA y sigues este procedimiento:

Para los usuarios que tengan una ARCADEVGA las resoluciones que usa el mame por defecto según qué juegos, no son las aconsejadas o correctas, por lo que en vez de crear directamente el .DAT con el MAME, tal y como se ha explicado anteriormente, debemos utilizar un programa llamado Arcade VGA Resolution (ArcadeVGARes.exe), que nos lo podemos bajar de la página de nuestro gran amigo Andy:

http://www.ultimarc.com/avres.zip

Una vez abierto seleccionamos el path de nuestra carpeta mame y abajo, el nombre del ejecutable.
Clickeamos en check de "Create new mame.xml" y pinchamos en el logo de ARCADEVGA.
Esto nos creará el mame.xml con las resoluciones correctas para nuestra tarjeta, solo nos queda crear el .dat. Para esto usaremos un programa llamado "datutil":

http://www.logiqx.com/Tools/DatUtil/dutil29.zip
http://www.logiqx.com

Una vez descomprimido este archivo en la carpeta del mame (junto al mame.xml) en una consola de dos escribe:

datutil mame.xml mame.dat

Ya tenemos el MAME.DAT adaptado a las exigencias de la arcadeVGA.

Si haces todos los pasos tal y como se describen aquí no deberías tener problemas.