Tienes dos caminos, el fácil y el normal.

El normal consiste en escribir en línea de comandos mame listxml->mame.xml, con lo que generará el dat en formato xml. Luego convertimos dicho xml a formato DAT utilizando el datutil (si no me equivoco). O también se puede usar el xml poniendo rom_folder_vs_xml

El método rápido consiste en utilizar mala, que al indicarle el ejecutable de MAME, el solo ya crea el dat. Luego dicho dat lo utilizamos con mamewah, por ejemplo.

De todos modos, échale un vistazo al tutorial de mamewah por si he cometido algún error, que yo creo que va a ser que si