Cześć, polecicie jakiś inny system niż greylog do zbierania danych, który lepiej sobie radzi z archiwizacją (kompresją), logi muszę przechowywać 12 miesięcy a greylog dysk 2TB zapycha mi w miesiąc.
Syslog-ng również odpada z innych względów.
Nie wiem co tam zbierasz, ale mam dziesiatki serwerów i nie ma problemów z Graylogiem.
dziwne sytuacje z nim mam, od wczoraj z dnia na dzień przestał działać interfejs webowy, dzisiaj wchodzę patrze zużycie procesora 99% ramu 22GB , gdzie normalnie było okolo 30% procka i 8GB , i przez dwa dni zebrał 200GB logów (tylko nie widzę jakiś bo nie mam dostępu do niego przez przeglądarkę) co jest niemożliwością bo obciążenie jest stałe , zbieram ruch tcp, udp, średnio dziennie jakieś 10GB, wyłączyłem kartę sieciowa myślałem że jakiś atak na IP, ale nie pomogło dalej zużycie na 100%… już straciłem do niego cierpliwość
Jak pisałem, kilkadziesiąt serwerów przez rok wygenerowało mi bazę o wielkości 2,2GB. Coś masz nie tak.
uporałem się z tematem zużycia procesora, nie wiem dlaczego graylog w pliku konfiguracyjnym zmienił sobie liczbę zapisanych rekordów , wcześniej robiły się archiwa co 20GB, on zmienił na 500GB i to go bolało i przymulało, wróciłem do ustawień na 20GB i jest oki, niestety dalej nie działa mi z poziomu przeglądarki a w netstat nie widzę portu 9000 (dla web interface), zapora otwarta na wszystko.
Mówisz 2,2 gb? hmmm… zbieram logi 3 tysięcy użytkowników 24h, na 5 miesięcy starczył mi dysk 2TB, procesor spokojnie daje radę 2 rdzeniowy ale ram’u zeżre tyle ile mu dam mial 4 żarł , dałem 8 zżarł teraz ma 12 i też 92% zużycia… 
Jak zbierasz logi z hostów, to nie dziwne, że baza Ci puchnie. Usługa graylog2 jest włączona? Na pewno web masz na 9000, a nie na 9005? Na 9000 nasłuchuje API.
Mam 3 Graylogii , każdy z nich na wirtualnej maszynie, i web na 9000 , przestał działać też elasticsearch, nie chciało mi się bawić już z tym wszystkim usunąłem wirtualke i zrobiłem klona pracującego prawidłowo, z tej którą usunąłem skopiowałem sobie z folderu elasticsearch (te z logami), pytanie teraz czy jak je wrzucę do nowej maszyny to czy da się je odczytać.
Zrób migawkę lub przetestuj na osobnej wirtualce.
Tak zrobię, masz grayloga i elasticsearch na jednej maszynie czy osobno??? bo wiem że takie praktyki też często są stosowane. Teraz wyskoczyła mi informacja że używam przestarzałej wersji grayloga, ale wydaje mi się on tak “niestabilny” że aż się boje update robić 
żeby się coś nie wysypało.
Wszystko w jednym. Wyszła już 3.0 wersja Grayloga, ale w repo Gentoo jest jeszcze 2.5
Pytanie czy po aktualizacji, zaraz się nie okażę że elasticsearch i java nie wstanie bo nie chca współpracowac z nowa wersja
Jeśli masz to na jakimś Łubudubu, to wszystko możliwe. Wiesz przed aktualizacją jest taka zasada, że sprawdza się wymagania do działania softu; sprawdza się czy nikt nie zgłasza problemów. Przed aktualizacją testuje się w środowisku testowym.