MAME y juegos 3D, no, no...

MAME no usa aceleración por hardware para los gráficos. Y los juegos en 3D consumen demasiado, para tu ordenador y para los más potentes que haya en el mercado. Hay algunos juegos 3D que son jugables (Strider 2, por ejemplo), pero son una minoría.

Un saludo.

PD.- Lo mejor para juegos 3D es recurrir a otros emuladores como Zinc, epsxe, project64...