Mmmm... Yo nunca he usado el emulador, pero viendo las opciones creo que puedes hacer una prueba. Cambia estas opciones:

fullscreen_mode=0
res_256=640,480
res_320=640,480
res_352=640,480

Tenerlo a 1024x768 no ayudará mucho, porque tiene que reescalar y no mejorará la calidad de imagen. Y me da que el "fullscreen stretch mode" se encargará del resto.

Ya contarás si funciona... Un saludete.