Lo que puede haber pasado, es que la ultima vez que entraste en ese menu, cambiaste la tecla por defecto (Tab) para entrar al propio menu.

Si no encuentras el archivo en el que se ha guardado esa configuración, borra completamente el MAME, y bajate aunque sea otra versión más nueva.

Suerte