Muchas gracias pakoman... aunque tu formula no era la que buscaba (o si lo era y no lo entendí bien) con las explicaciones que diste y pensarlo despacio conseguí lo que buscaba. Voy a intentar explicarlo aunque no creo que lo haga bien porque soy un negado con esto y además que no se servirá de algo ya que ahora viéndolo en frió parece que era una cosa muy sencilla. (malditas matemáticas XD)
Hay que calcular por un lado la resolución 3:4 a partir de Y (lo que seria en un monitor en vertical) con la formula Y Res / 4 * 3. Por ejemplo si Y fuese 256 la resolución 3:4 sería 256x192 (256/4*3=192)).
Por otro lado hay que calcular la resolución 4:3 a partir de Y (lo que sería un monitor en horizontal) con la formula Y Res * 4 / 3. (Por ejemplo si Y fuese 256 la resolución 4:3 seria 341x256 (256*4/3=341,3333)).
Con el par de cálculos anteriores ahora ya podemos calcular la resolución de X que necesitamos para que se muestre la imagen correctamente sin modificar la relación de aspecto al mostrar imagen 3:4 sobre un monitor 4:3. Simplemente es partiendo de X, dividirlo por el primer valor que conseguimos y multiplicarlo por el segundo valor que conseguimos. (Si seguimos con el ejemplo serian 224 / 192 * 341,3333 dando el resultado 398,2222 y siendo la resolución final 398x256).
Como se puede ver la resolución de X es la que varía dando igual el tamaño de Y, mientras que la Y no varía siendo siempre igual de la partíamos. Así que en lo que a X se refiere da lo mismo 224x240, 224x256, 224x320, 224x384 ya que la X real será siempre será 398 cambiando solamente la resolución de Y.

Se que esto es una rallada y que contando con los ajustes de los CRT su utilidad puede ser nula... pero estoy liado con conseguir la máxima calidad de video posible respetando al máximo el video dentro de las limitaciones de un CRT en horizontal y quiero ver que tal los resultados.
Después de esto ya solo me faltara que me presten un monitor de 25kHz o que alguien con uno de estos monitores me ayude a probar el tema para ver si podemos hacer mostrar a Windows 512 x 400p 60Hz 24,96kHz o 640 x 400p 60Hz 24,96kHz sobre dicho monitor y luego ya ponernos a hacer resoluciones de entre 200 y 400 líneas no entrelazadas para mostrar perfectamente, sin entrelazar, sin estrechamiento y sin perder la relación de aspecto 3:4 todos los juegos verticales sobre un monitor en horizontal 4:3.
Un saludo.