Inwestowanie w pamięci DDR2 to strata pieniędzy, lepiej to w diabła sprzedać na części póki jeszcze są chętni na allegro (trochę kasy za to dostaniesz) i kupić całkowicie nową maszynę.
A co jest powodem, że chcesz przyspieszać swój komputer? Moim zdaniem nie warto inwestować teraz w taki sprzęt, bo ma on 3-4 lata - lepiej poczekać i dozbierać na coś nowego.
Twoja płyty obsłuży maksymalnie do 8 GB pamięci RAM (DDR2).
Zależy jakiego renderowania. Jeśli renderujesz używając CPU to do tego zestawu nic nie wyczarujesz. Możesz niby kupić najlepszego Core2Extreme, ale szkoda inwestować w podkładkę 775. Natomiast jeśli renderujesz używając GPU (np. Cycles render w Blenderze) to wystarczy, że do tego zestawu dokupisz dobrą grafikę.
Pierwsza kwestia - to w jakich programach pracujesz ? Być może zasadne byłaby wymiana karty graficznej (i tak ją wykorzystasz w nowszym sprzęcie). Dokładanie pamięci … nie sądzę by jakąś wielką różnicę sprawiło rozszerzenie pamięci z 6 do 8GB (bo tylko tyle twoja obecna płyta obsłuży).
Kolejna rzecz - która może wpłynąć na komfort pracy - to szybki dysk (lub nawet rozważ konfigurację RAID - choć niekoniecznie z użyciem kontrolera który masz na płycie głównej).
Kartę graficzną można jak najbardziej zmienić, w porównaniu do 8800GT różnica będzie olbrzymia. W przyszłości zmienisz platformę, wtedy nową kartę po prostu zostawisz. W nic innego inwestować się nie opłaca, s.775 jest obecnie skrajnie nieopłacalne (do tego 6 GB RAM jest wystarczające), spróbuj tylko podkręcić Q6600 do ~3 GHz i będzie okej. No i oczywiście trzeba zadbać o odpowiedni zasilacz.