Bueno despues de darle muchas vueltas se me ha ocurrido una idea.
¿Por que switchear todos?
Es decir, tenemos los controles, los altavoces etc... todos estos conectores pueden ir sin problema conectados a ambas placas a la vez sin que afecte.
Por lo tanto solo seria imprescinble switchear los de voltaje y de video
En base a este esquema:

Solo seria necesario usar un switch de PC para los pines: c,d,e,f,3,4,5,6,n,p,12,13,14
el resto de pines pueden ir a ambas placas.
En total 13 pines que se pueden conectar a un switch de PC
¿Que os parece?