Wiele danych w niewielu plikach

Dla specjalistów Programowanie
#1

Witam!

Nie wiedziałem gdzie wstawić ten temat, ostatecznie wstawiłem go do Programowania…

Chciałbym napisać skrypt (jak narazie w PHP), który będzie generował dane i zapisywał je tak, aby szybko można było je odnaleźć i odczytać. Danych będzie bardzo dużo. Do tej pory napisałem skrypt, który do każdej generowanej części tworzy osobny plik… ale już po 5 minutach miałem ich 100 tys., więc nie było to zbyt szybkie rozwiązanie.

Interesowałoby mnie w jaki sposób zapisać wiele danych w taki sposób, aby jak najszybciej je odczytać i - drugorzędna sprawa - szybko przenieść, np. na pendrive?

Z góry dzięki.

#2

Nie pomyślałeś o bazie danych?

#3

Myślałem, ale jedyna którą potrafię obsługiwać to MySQL… A podobno przy milionach rekordów są z nią problemy.

@EDIT

Zresztą, nauka podstaw obsługi bazy danych to nie problem… Więc co byście polecili jako bazę?

#4

SQLite jest małe, szybkie i proste – do paru GiB powinno dać radę. Pytanie tylko jak dużo danych będziesz chciał przechowywać i jakiego typu?

#5

Tekst… To będzie coś w stylu tęczowych tablic, generowane bez przerwy, więc dokładnej liczby nie określę.