PROYECTO - Midiendo el rendimiento de MAME
Macarro
view post Escrito el 23/8/2006, 10:53
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Buenas.

Como se repite mucho la cuestión de qué ordenador es recomendable meter en una recreativa, voy a empezar a hacer un artículo sobre el tema. El método de trabajo será el siguiente:

1.- Configurar el emulador en cuestión para desactivar o minimizar el uso de la tarjeta gráfica y dejar así la mayor carga posible al procesador del ordenador.

2.- Ejecutar unos cuantos juegos representativos en cada emulador. Por representativos me refiero a juegos que hagan uso de las diferentes características del emulador. Por ejemplo, para SNES voy a usar un juego en 2D, luego un juego con modo 7 y finalmente un juego en 3D (starfox)

3.- Los juegos serán ejecutados sin limitación en los fps para que el procesador vaya al 100%.

4.- Para eliminar cualquier interferencia humana, los juegos serán ejecutados durante 2 minutos (así arrancará la demo).

5.- La media de fps se obtendrá utilizando el programa Fraps.

Todo esto lo haré con 5 ordenadores diferentes (en realidad solo son 3 pero en dos de ellos existe la posibilidad de modificar su rendimiento fácilmente).

Con los datos obtenidos crearé unas gráficas con el rendimiento Metabench en el eje X y los fps en el eje Y. Como supongo que el rendimiento de los emuladores evolucionará de forma más o menos lineal con el rendimiento del ordenador, así nos podremos hacer una idea de cuál es el rendimiento meta-bench mínimo para que un emulador dado vaya a 60fps (lo normal para un 90% de los juegos).

Todo esto lo voy a hacer con windows (que es el sistema operativo que uso habitualmente), pero los datos seguirán sirviendo al menos como punto de partida ya que el ordenador rendirá un poco más (si alguien tiene linux/windows/ms-dos en su ordenador y quiere hacer comparativas de rendimiento en diversos juegos de MAME y otros emuladores, esos datos vendrían muy bien, el problema es que las herramientas utilizadas (fraps y metabench) solo son válidas para windows, así que habría que utilizar el medidor de fps interno de cada emulador y tomar una medida a ojo.

Como he dicho, para los emuladores de consola voy a coger juegos representativos. Sin embargo, para MAME, AQUÍ ES DONDE NECESITO ORIENTACIÓN no se qué juegos utilizar como referencia. Esta es mi idea original:

1.- MAME - Neo-Geo (son juegos muy populares)

.....Metal Slug (1) -> Es un juego moderádamente viejo y gráficamente no tiene demasiada carga.
.....Samurai Shodown (1) -> Un buen juego de peleas con carga gráfica moderada.
.....The King Of Fighters 2003 -> Juego pesado y con gráficos grandes y efectos para dar y tomar.

2.- MAME - Clásicos (los que se pueden ejecutar en cualquier ordenador, casi...)

.....Pac-Man
.....Donkey Kong
.....Gauntlet
.....Ghosts'n Goblins

3.- MAME - 3D (injugables casi todos, pero para tener una referencia de con qué ordenador pueden empezar a ser interesantes)

No tengo ningún CHD, así que recomendadme dos juegos que no los usen.

.....Strider 2
..... Battle Arena Toshiden 2
..... Beastorizer

4.- MAME - Juegos de la era de los 16 bits (no se me ocurre otro modo de llamarlos)

Aquí quiero poner 5 juegos en lugar de 3 porque es el rango que nos dará más problemas ya que es donde nos movemos todos normálmente. Intentad recomendar juegos "estables" que no sufran muchos cambios con cada actualización de MAME.

.....Street Fighter II -> Un clásico y gráficamente normalito
.....Marvel Vs Capcom -> Ya empezamos a tener gráficos a lo bestia de grandes con muchos efectos
.....Mortal Kombat 3 -> Si, los MK piden mucho ordenador y por eso lo pongo
.....Ghouls'n Ghosts
..... ???

Bueno, pues eso es todo. Ya me diréis qué os parece, qué juegos habría que quitar y cuáles añadir.

Un saludo.

PD1.- Esto va a ser un curro, muchos juegos, al menos 4 emuladores, 5 ordenadores... lo hago porque me apetece comprobar de una vez todo lo que se habla sobre el tema y para que por fin haya algo en lo que basarse a la hora de montar un ordenador para la recre, PERO VOY A IR CON CALMA, IGUAL PASAN UN PAR DE MESES HASTA QUE ESTÉ TERMINADO.

PD2.- Los sistemas elegidos para las pruebas serán:
.....MAME -> ya he indicado qué tipos de juegos voy a testear, pero indicad si añado o quito algo
.....EPSXE -> Un par de juegos en 3D (tekken 3, strider 2) y uno en 2D (castlevania, symphony of the night), configuración con Pete´s OpenGL Driver 1.76 y con esta configuración de audio
.....ZSNES -> Super Mario World (2D), F-Zero (Modo 7), Starfox (3D)
.....Kega Fusion -> Sonic (2D), Sonic CD (2D en CD), Silpheed (3D en CD)

PD3.- No voy a bajar de los 16 bits porque no creo que tenga mucho sentido, ya que en cualquier ordenador pueden funcionar y tampoco quiero añadir N64 u otros sistemas más modernos ya que suelen ser emuladores que todavía necesitan bastantes mejoras y además suelen ser muy dependientes de la gráfica (EPSXE también lo es, pero bueno, me apetece ponerlo porque va muy bien y además así se puede comparar el funcionamiento de Strider 2 con el de MAME).













Modificado por Macarro - 26/8/2006, 21:21
gynion
view post Escrito el 23/8/2006, 11:24
Avatar

Marciano

Grupo: Member
Mensajes: 132


Status: Offline: ultima azione eseguita il 30/11/2006, 03:07


Bueno, excelente iniciativa... Muchas gracias en nombre de todos los interesados, entre los que me incluyo.

La única idéa que tenia sobre el PC que pillarme para la maca era que el procesador fuera al menos de 1 ghz (Tampoco he mirado demasiado, porque no me corre prisa).

Yo, sobre juegos 3D de Mame, te diría que pusieras el Toshinden 2. No lo digo por nada en especial, ya que no soy experto, pero es que es un juego 3D que, sin ir al 100%, al menos se puede jugar. En mi PC rula más o menos bien.

Saludos, y suerte con este proyecto y con los *##&@##] de la ITV. ;)

- Bubu -
view post Escrito el 23/8/2006, 11:30
Avatar

¿Andandará la meta?

Grupo: Moderadores generales
Mensajes: 1136
Location: En los 80


Status: Offline: ultima azione eseguita il 15/1/2007, 01:00


Qué grande eres, Macarro. Me encanta la idea. Aquí estoy yo para lo que necesites con tu proyesto. Si te hace falta, tengo el peor PC de la historia (Pentium MMX 166 Mhz) y el mejor (Pentium IV 2.5 GHz)

Macarro
view post Escrito el 23/8/2006, 11:44
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Añadido el Battle Arena Toshiden, me iba a unos 40fps en los combates.

En cuanto a la ayuda, Bubu, lo fundamental es que se pueda ejecutar el metabench: http://7byte.com/index.php?page=metabench En su web oficial no pone nada, así que no se en qué sistemas operativos funcionará y cuáles no. Es cuestión de probar si va en win98.

Un saludo y gracias por la ayuda ofrecida.

Mikonos
view post Escrito el 23/8/2006, 11:51
Avatar

Restless in Peace

Grupo: Moderadores generales
Mensajes: 5869
Location: Alcobendas (Madrid)


Status: Offline: ultima azione eseguita il 15/1/2007, 12:07


Macarro, me parece de tal complejidad lo que quieres hacer que no tengo palabras, pero palabras malas. Te lo digo cariñosamente, compi. Te has parado a pensar en la cantidad de procesos que están sesgando la lectura del metabech? programas en el menú de inicio y en los procesos? Luego tendrás que concretar qué pugins del epsxe se habrán de utilizar, que son dependientes de las tarjetas gráficas, las opciones activadas en emuladores como Mame y zsnes, etc..


Mira, Macarro, tú crees que un proyecto de esa envergadura podrá llevarse acabo con la población tan diletante de marcianos que tenemos actualmente?

Además que te veo que vas a tener que explicarles cada emulador al dedillo otra vez a pesar de los tutoriales que hemos escrito sobre ellos.

Siento desanimarte, pero a pesar del entusiasmo de Bubu y gynion no lo veo viable. Y no quiero que te ofendas tú ni los demás marcianos.


Saludos
Macarro
view post Escrito el 23/8/2006, 12:41
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Ni de coña, Mikonos, voy a hacer algo básico. No pretendo hacer un estudio científico donde tenga en cuenta todas las variables.

Para empezar, el punto de partida ya es malo: Metabench no es un buen medidor de rendimiento de un ordenador, da una puntuación única para todo el ordenador sin valorar por separado memoria y procesador (como hace pcmark, por ejemplo).

En cuanto a la configuración de los emuladores, por supuesto que tiene influencia en la velocidad final múltiples factores y por ello voy a utilizar los emuladores con una configuración básica para eliminar en la medida de lo posible la influencia de la tarjeta gráfica.

En el epsxe, podría utilizar un plugin de render por software para eliminar totalmente la influencia de la tarjeta gráfica, pero eso no sería un escenario real de uso. Por ello, voy a usar la configuración "fast" con cualquier plugin.

En MAME, influye la versión, el mod, etc... pero paso de complicarme también en ese sentido.

Con todo esto, los resultados que obenga, a lo mejor tienen un margen de error de un 30%, que es algo inaceptable para un estudio científico, pero si que puede servir como orientación inicial.

Como ya te he dicho alguna vez, cada vez estoy más aburrido del foro. No por las charlas que en él se mantienen, sino por estar dándole vueltas una y mil veces a las mismas dudas. Con esto pretendo terminar con la pregunta de "qué ordenador necesito para jugar a XXX?"


AÑADO
--------------

Primeros problemas:

Kega Fusion -> Elimino el límite de FPS pero FRAPS me sigue mostrando 60fps aunque el juego vaya a 300fps, con lo que no puedo utilizar la herramienta para calcular la media de fps o tendría que ponerme a copiar como un loco a mano las estadísticas que da el propio kega cada segundo y hacer la media también a mano.

Gens32 Surreal -> No se cómo eliminar el límite de fps, si alguien lo sabe, me vendría cojonudo.
xaviuzz
view post Escrito el 23/8/2006, 15:09
Avatar

Pobre enfermizo novato en el mundo de las macas..

Grupo: Member
Mensajes: 11
Location: Valencia


Status: Offline: ultima azione eseguita il 6/10/2006, 21:49


Sin animo de desanimar... (queda xungo ehh) :wacko:

A lo mejor y si el objetivo es poder aconsejar bien que hard usar en las macas , el metodo podria ser mas el siguiente.

Con esa misma seleccion de juegos que has hecho, confeccionar una escala.
Definir lo que es una ejecucion aceptable del juego y junto a cada juego la configuracion hard minima aceptable.

Lo digo por que con un par de maquinas, quitando y poniendo memoria, y quitando y poniendo entre unas pocas tarjetas graficas (aceleradas, sin acelerar, poca memoria video, muxa memoria video)

La verdad es que creo que seria una escala muy util , mas que una serie de pruebas de laboratorio (sin demasiado rigor, no te mosquees) :D
Macarro
view post Escrito el 23/8/2006, 15:37
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Si y no. Es decir, lo que propones sería útil, pero inviable. No puedo, ni quiero, estar por casa desmontando y montando ordenadores para ir variando sus rendimientos y comprobando hasta qué puntos son jugables los juegos.

El método de trabajo que estoy siguiendo es más genérico. Al final, de cada emulador-juego se tiene una gráfica de la que se puede extrapolar cuál es el rendimiento Metabench mínimo para que el juego vaya al 100%. Vuelvo a decir lo de antes, el rendimiento metabench no es el mejor test que se le puede pasar a un ordenador, pero al menos da una única cifra, de modo que en un momento dado tenemos una referencia.

Con test más serios como el de PC Mark o el de Sandra Sisoft se tienen resultados desglosados por memoria, procesador, tipos de cálculo, etc... pero claro, a ver quién interpreta los datos. ¿Qué es más importante en la emulación de un determinado sistema? ¿ la velocidad del procesador o la de la memoria ? ¿ los cálculos en punto fijo o en coma flotante ? ¿ depende también del tipo de juego ? Al final, un test sintético es eso, un test sintético, pero al menos nos permite ubicar nuestro ordenador rápidamente.

De momento ya le he pasado el test a dos ordenadores (en realidad uno solo pero overclockeado y underclockeado) con PSX (3 juegos) y SNES (3 juegos) y los resultados son los esperados, así que la cosa marcha bien. Me he encontrado el problema de que al portátil no le he podido pasar el metabench, así que extrapolaré su puntuación a partir de los otros tres ordenadores.

Un saludo.

Aquí pongo un ejemplo de gráfica. En ella se marca en rojo la zona de falta de falta de potencia (por debajo de 60fps, que es la velocidad mínima para casi la totalidad de juegos de recreativa, el 100% de juegos NTSC y algunos de los juegos PAL. Viendo el corte de la línea de regresión del rendimiento en función de la puntuación metabench con la línea de 60fps se puede saber cuál es la puntuación metabench para cada juego y cada emulador.

Y como todo esto es poco exacto:

1.- El índice metabench no es perfecto.

2.- Cada ordenador es un mundo.

3.- La configuración de emulador de cada uno es totalmente diferente.

4.- La versión del emulador y sus plugins influye

etc, etc, etc... hay un margen de error más o menos grande.

image
- Bubu -
view post Escrito el 23/8/2006, 15:48
Avatar

¿Andandará la meta?

Grupo: Moderadores generales
Mensajes: 1136
Location: En los 80


Status: Offline: ultima azione eseguita il 15/1/2007, 01:00


Yo creo que podríamos hacer varias líneas de investigación. Yo creo que la gráfica más exacta va a ser la de MSDOS, pues que al ser afortunadamente monotarea 100%, mientras esté rodando MAME no está rodando otra cosa, con lo que los tiempos son exactos.

Bueno, Macarro, ya me contarás si quieres que haga algo. Tú ya sabes de lo que dispongo:

- PC Nº 1: 2.5 GHz, 0.5 GB, MSDOS con AdvMAME, y Win98 con MAME y muchos otros emuladores.
- PC Nº 2: 166 Mhz, 32 MB, MSDOS con MAME.

Macarro
view post Escrito el 23/8/2006, 16:37
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Como dices, Bubu, lo más exacto sería usar MS-DOS, pero dado que es un sistema poco utilizado, mejor dejarlo de lado para las pruebas "a lo bestia". Lo que si sería interesante es comparar en algún caso concreto Windows vs Linux y Windows vs MS-DOS. De ese modo tendríamos dos sistemas donde conocemos su metabench (que va a ser el punto de partida siempre) y vemos la mejoría en los juegos según el sistema operativo. Ya se que es poco científico, pero en primera aproximación, si vemos que la mejoría de ms-dos vs windows es de un 20%, podemos suponer que esa mejoría es constante en todos los equipos (SUPOSICIÓN A LO BESTIA, YA SE, PERO MENOS DA UNA PIEDRA). Lo mismo ocurriría con windows vs linux.

Lo dicho, que de momento, tu PC nº1 sería el interesante, mira a ver si el metabench te funciona y si es así, pásame su configuración y puntuación final para añadirla al artículo.

Y para que te vayas entreteniendo, los juegos elegidos para MAME son los que hay en el primer hilo. Si de paso se te ocurre algún otro juego de la era de los 16bits en MAME que sea interesante, dímelo y lo añado.

De momento esto es lo que hay (no me he metido con MAME):

image



AÑADO
----------------

Fijáos cómo en SNES se cumple lo lógico, Super Mario World es un juego en 2D, F-Zero tiene modo 7 en los circuitos y Starfox es totálmente en 3D por lo que al ser creciente su dificultad de emulación, sus fps disminuyen de uno a otro.
logaran
view post Escrito el 23/8/2006, 16:38
Avatar

Rey de Gondor

Grupo: Member
Mensajes: 163
Location: Malaga


Status: Offline: ultima azione eseguita il 17/12/2006, 12:00


En fin, al margen de los peros, que los hay y estoy seguro que tu, mejor que nadie, eres consciente de ellos. Me parece una idea COJONUDA y, como ya te dije, estoy dispuesto a echar una mano en lo que haga falta. Mi sistema es el siguiente:

AMD Athlon 64 a 3 Ghz
1 Giga de ram
Nvidia 5700 256megas

Mi puntuacion metabench ya la tienes en la firma y no tengo inconveniente en instalar el SO que sea para hacer las pruebas. Actualmente tengo el Windows Xp.

Lo dicho, quedo a tus ordenes.
Macarro
view post Escrito el 23/8/2006, 16:45
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Añadido, al artículo y a la tabla de excel ;). Cuando quieras, vete probando los juegos que hay en el primer hilo. Para utilizar todos una configuración parecida, lo mejor será dejar todas las opciones de MAME al mínimo que podamos (filtros y demás, si es que los usáis) y si no, lo que podáis.

Los emuladores de consola me han dado un poco por culo porque algunos no terminaban de ir todo lo rápido que deberían. Me fue necesario desactivar totalmente el vsync en los drivers de la gráfica para que por fin volaran los juegos.

AÑADO
---------------

Fijáos la primera pifia del metabench, tu ordenador es mucho mejor que el mío, Logaran, es un AMD64, y sin embargo tu puntuación es inferior. El Metabench no debe estar preparado para trabajar con procesadores de 64bits, doble núcleo e historias similares. A ver qué resultados te dan tus benchmarks porque los emuladores igualmente pueden no estar preparados tampoco para hacer uso de dichos procesadores.
logaran
view post Escrito el 23/8/2006, 16:55
Avatar

Rey de Gondor

Grupo: Member
Mensajes: 163
Location: Malaga


Status: Offline: ultima azione eseguita il 17/12/2006, 12:00


Tienes razon, de todos modos aunque mi ordenador sea de 64 bits, por pereza mas que otra cosa, lo tengo rulando con el xp normal, no el Xp 64. Asi que el previsible incremente debido a los 64 bits no lo es tal. Incluso con un SO de 64 bits, los emus tendrian que estar programados tambien en 64 y,que yo sepa, aun no hay ninguno.

me pongo a hacer pruebas ya ;)
D_Skywalk
view post Escrito el 23/8/2006, 17:23
Avatar

Dev, Gamming & friski friski xD

Grupo: Moderadores generales
Mensajes: 767
Location: Granada


Status: Offline: ultima azione eseguita il 31/12/2006, 13:17


Macarro, para MAME otro 3D que al menos a mi me va muy bien en linux es: Beastorizer (USA)

image

Un Saludo y suerte compa!!
Macarro
view post Escrito el 23/8/2006, 17:34
Avatar

El karma existe... por desgracia.

Grupo: Moderadores generales
Mensajes: 8657


Status: Offline: ultima azione eseguita il 15/1/2007, 20:10


Añadido a la lista de los 3D. Por cierto, si tuvieses alguna instalación doble linux-windows y comparases rendimientos en un par de juegos de los de la lista, sería cojonudo ;)
30 respuesta(s) desde el 23/8/2006, 10:53