Apuesto a que tienes el escritorio de windows configurado a 640x480 y el mame32 a la misma resolución, con las opciones de resize activadas.

En ese caso, la resolución que has elegido es entrelazada, de ahi el problema del parpadeo.

La solución, es emplear las resoluciones originales en todos los juegos, pero lo malo es que los drivers nvidia sólo te valen para una sola resolución (640x480 en este caso). Tendrías que emplear el advmame bajo windows, para sacar cada resolución particular a 15 khz.

Por si no lo has leido ya, te dejo el post al hilo del foro en que se expica todo el tema.

Saludos.