W takim przypadku się zgodzę.
Pod warunkiem, że w ogóle ma i potrzebuje bazę danych. Jak na razie była mowa tylko o plikach. 
Nie ma aż takiej potrzeby aby używać specjalistyczne/programistyczne narzędzia aby porównać 2 pliki i usunąć powtórzenia a następnie dodać do nowego pliku tylko nowe linki, które nie wystąpiły w jednym z pliku tekstowym a nie w obydwu… a większość programów właśnie w ten sposób porównuje co dla mnie jest nieodpowiednim rozwiązaniem.