Hola, primero en el mame, en opcines tienes que habilitar el joystick, eso se hace de la siguiente manera:
Entra en Options/Default Game Options, luego en Controllers y activa la casilla que pone enable joystick input, una vez hecho esto, debes de arrancar un juego y entrar en el menú, ahora no recuerdo con que teclas se entra porque yo lo tengo conigurado a mi manera, pero entras en el menu y cambia los controles desde allí, pero para enterarte mejor leete este manual.

Manual Mame