No solo debes habilitar el Joystick, una vez habilitado debes editar el ctrlr.ini para "redefinir" los controles. En el tutorial viene muy bien explicado TUTORIAL MAMEWAH, en el se dice bien claro:
Una vez habilitado lo que mejor se adapte a nuestras exigencias (joystick, ratón o teclado) configuramos los botones para cada una de las acciones que puede realizar el frontend. En la carpeta Docs viene explicado como debemos describir cada botón para editar el ini, pero para vuestra comodidad aquí tenéis el listado de cómo debéis escribir cada tecla a la hora de editar el archivo ctrlr.ini:
Joystick o pad de control:
JOY?_LEFT
JOY?_RIGHT
JOY?_UP
JOY?_DOWN
JOY?_BUTTON0-31
La interrogación ? indica el número del joystick o pad.
Tenemos en cuenta que el primer botón del pad siempre se llama botón 0 (en vez de 1), por ejemplo si queremos asignar el botón2 del pad1 ponemos JOY1_BUTTON1

Lee y comenta si has resuelto el problema.

Dices que bajo XP el PAD funciona bien, no obstante antes de escribir tus botones en el ini asegurate de cuales son en el XP, para ello ve a INICIO/CONFIGURACIÓN/PANEL DE CONTROL/IMPRESORAS Y OTRO HARDWARE/DISPOSITIVOS DE JUEGO selecciona tu PAD y prueba si funciona (botón 0, botón 1, ariiba, etc...)