Tienes los 4 switches del joystick conectados con una masa común, ¿no?. Las opciones que se me ocurren para que te falle al activar dos micros a la vez son (así, de cabeza, sin pararme a pensar mucho en la electrónica de lo que digo):

1.- Algún diodo colocado al revés o estropeado

2.- Que hayas equivocado los cables de los pines

Porque el tipo de fallo que dices, igual es una especie de blocking o ghosting (nunca me aprendo las diferencias ) y si es eso, el fallo está en los diodos (alguno estropeado), en su colocación (alguno colocado al revés) o en los cables puestos al revés.

Revísalo todo muy bien y si no ves el fallo, desconecta todo y haz pruebas con el joystick.