Bardzo Dziękuję za odpowiedź the_scx the_scx
Na pierwszy rzut oka wygląda to fajnie ale 
Plik zawiera prawie 100 000 lini więc jak do takiego dużego pliku stworzyć polecenie ?
Mógłbyś też jakoś wytłumaczyć jak to zrobić na Windows 7. Jak to zainstalować i uruchomić bo z tego co widzę to nie jest takie proste jak by się wydawało
udało mi się odpalić takie coś:
Czy ja to w ogóle dobrze zrobiłem ?
Korzystając z propozycji the_scx the_scx zrobiłem to tak:
in.txt - (tutaj edytowałem i umieściłem swoje dane)
out.txt - ten plik generuje program
awk95.exe
AWK
prog.awk - ten plik edytowałem wpisując polecenie the_scx
!a[$0]++ { print $0; next } /^[[:space:]]*$/ { print $0 }
run.bat - na koniec uruchamiam plik i program generuje oczyszczoną ze zduplikowanych linii bazę danych 
