Mozesz to np. zrobic poprzez Control Panel -> Opcje Folderow -> Typy Plikow i recznie wskazac aplikacje, ktora to ma otwierac.
Ja osobiscie ulatwilbym sobie zycie poprzez zainstalowanie np. Irfan czy tez ACDsee, ale to tylko moja prywatna opinia 
PPM na jakimkolwiek pliku graficznym opcja “otwórz za pomocą…” wybierasz podgląd plików windows i zaznaczasz ptaszka przy “zawsze używaj tej aplikacji do tego typu plików”
Ja osobiście też używam irfan view, bo wg mnie to najlepszy i najprostszy w obsłudze program do przeglądania grafiki 
Zawsze w ustawieniach (opcje folderów i wyświetlania plików) możesz przywrócić domyślne ikony. Jezeli program umożliwia wyłączenie funkcji “associate with *.* files”, to można z niej skorzystać. Ale wtedy się sporo namiesza 