Pues lo normal, en el 99% de los programas es que para re-escalar se use algún filtro por defecto. Es decir, si partimos de una imagen de 2x1 pixel y tenemos un pixel blanco y el otro negro, al convertir a 1x1, generará un pixel gris. Al ampliar pasa algo parecido.
Pues bien, si tenemos una imagen de 320x240 con el tamaño duplicado a 640x480 sin ningún filtro, veremos pixels que en realidad serán de 2x2 pixels. Y al reducir a 320x240, no tiene por qué quedar la imagen como era original. La culpa? pues de los algoritmos de re-escalado, que son complejos y hacen lo que les da la gana, fundiendo pixeles adyacentes y cosas del estilo. Sin embargo, si desactivamos todos los filtros, la cosa queda bien:
Ahí te mando un gif animado que acabo de hacer de ejemplo, fíjate sobre todo en los contornos:

Fotograma Nítido: Reducción sin filtro -> Ampliación sin filtro
Fotograma Borroso: Reducción con filtro -> Ampliación sin filtro
La ampliación la añado para no ver el gráfico muy pequeño, y al ser sin filtro no altera el resultado. En teoría, al pasar de 640x480 a 320x240 teniendo pixeles gordos de 2x2 pixels en realidad (al ser la resolución de la consola 320x240), no debería haber enborronamiento visible, pero lo que son estas cosas...