Hola. A mi me ocurre lo mismo. El consejo que me dio BUBU fué usar una resolución de 720x280. Si ves que con esa resolución sigue temblando prueba con otras.
Lo raro es que te ocurra también con los juegos. Seguramente no estés utilizando las resoluciones adecuadas. Sigue los pasos que hay en el tutorial de MameWah para que el mame coja las resoluciones adecuadas para la arcadeVGA (si es que estás usando esta tarjeta) para cada juego...