Intenta que algún amiguete o familiar te preste otro joystick distinto, y así a l menos sabremos si es que MAME no detecta el que tienes puesto, aunque es improbable que MAME no detecte un joystick que windows sí detecta.
Ya puestos, ¿qué windows usas?

-Paturlas-