Posiadasz za mało pamięci RAM, aby uruchomić grę / serwer. Jeżeli uruchamiasz w tle serwer możesz regulować ilość przydzielanej pamięci za pomocą parametrów startowych.
Trudno się dziwić dlaczego jest taki błąd, dla tej gry ponieważ jest pisana w javie potrzeba minimum(!) 1024MB RAM. Możesz ten problem naprawić próbując zrobić plik .bat z następującym poleceniem:
java -Xmx512M -jar Minecraft.exe
I zapisać ten plik .bat tam gdzie masz launcher minecraft’a ten oryginalny. Zrób tak i powiedz czy pomogło. Tu masz jak zrobić plik .bat jak byś nie wiedział http://www.tweaks.pl/jak-stworzyc-plik-wsadowy-bat/