Bueno compañero eso ya no son problemas del software, sino que ahora es el momento de seguir algun tutorial de Lord, para configurarlo en MSDOS o Win con monitor de PC. Pero vamos es solo ejecutar advcfg leer sus tutoriales e ir configurandolo

Ehm, "mame.sh" se inicia automaticamente al arranque, no hace falta que lo inicies tu a mano, fijate bien al inicio del sistema que tiene que salir algo de mame seguro

Un saludo y suerte, yo hasta aqui puedo leer (bueno tambien podias hacer los apendices, jejej)
Pd: deberias editar el fichero de configuracion de las svgalib /etc/vga, por que ese fichero viene configurado por defecto para maquinas arcade. Tienes otras configuraciones de ejemplo en el mismo .conf ¡¡suerte!!
Ppd: De todas formas si vas a usar solo advanceMAME o advanceMENU puedes pasar de todo eso sin problema, los advance* no miran esa configuracion sino la que tu le creas usando "advcfg"