Sprzęt i cały system operacyjny w 128 GB RAM

50 GB systemu w ramie :wink: no nie wiem…z pyppy Linuksa zajmuje jakieś 500mg Jam się rozpędzi. … cały system :wink:

Edit.
Z pakietem biurowym i przeglądarka :smiley:

Ok, już tłumaczę, jeśli set tych maszyn wirtualnych jest w miarę stały to idzie to w miarę prosty sposób zautomatyzować.
Wrzucanie całych maszyn wirtualnych to marnowanie miejsca w pamięci operacyjnej - lepiej jest przechowywać np. system operacyjny takiej wirtualki na dysku klasycznym (talerzowym lub ssd), a tylko dysk zawierający te dane na których będziesz często wykonywał zapis/odczyt przechowywać na obrazie przechowywanym w RAMdisku.
Tak, żeby to trochę uprościć: dane które są względnie stałe (obraz systemu, zainstalowane aplikacje) przechowujesz na dyskach klasycznych, a dane na których chcesz operować przed rozpoczęciem pracy przenosisz do RAMdisk, obrabiasz, a następnie jeśli uznasz, że nadal są Ci potrzebne przenosisz na dysk klasyczny.
Z drugiej strony czy rozwiązaniem Twojego problemu nie będzie wtedy LVM z wielkim cache ustawionym na RAM-ie. Jeśli ustawisz taki cache na wysoką wartość to te dane, na których będziesz operował w sposób ciągły będą: 1) przechowywane cały czas w takim cache, 2) będą względnie zabezpieczone przed awarią na skutek braku zasilania czy hangu systemu.


Co do marnowania, tak żeby to zobrazować: u mnie system operacyjny + podstawowe aplikacje i dane użytkownika zajmują ok. 300GB na dysku - czyli na ten moment nie zmieściłby się nawet cały do RAM-u, ale z pamięci operacyjnej zabiera sobie ok. 20GB na biblioteki systemu operacyjnego które są właśnie teraz wykorzystywane oraz dane które system sobie władował do pamięci bo uznał, że mogą być potrzebne - dlatego ładowanie tych 300GB do RAM-u nie miałoby żadnego sensu - system władował sobie 20GB danych do pamięci bo uznał, że będzie to dobre, a jeśli obraz systemu miałbym jeszcze w RAM-ie to te dane znalazłyby się w nim dwukrotnie. Aplikacje, które są przystosowane do pracy z dużymi zestawami danych jak np. bazy danych robią dokładnie to samo: jeśli mają dostępne 50GB RAM to ładują sobie do pamięci tyle danych ile jest tylko możliwe żeby przyspieszyć działanie. Jedynym przyspieszeniem byłoby zapisywanie transakcji na ramdisk, ale wtedy traci sens takie zapisywanie - więc znowu dane te leżałby w pamięci dwukrotnie. W moich scenariuszach więc tworzenie RAMdisku niema żadnego sensu - macierz sprzętowa jest wystarczająco szybka. Dlatego z takim zaciekawieniem większość ludzi będzie patrzeć na to co piszesz, bo ilość zastosowań w których miałoby to jakikolwiek sens jest dość mała. Nowoczesne aplikacje i systemy operacyjne są dostosowane do pracy z tak dużą ilością pamięci podręcznej i w znakomitej większości przypadków radzą sobie same bez potrzeby kombinatoryki użytkownika.

@anon741072 500 MB RAM zajmie cały system w pamięci z pakietem biurowym i przeglądarką? Oczy przecieram ze zdumienia. POZYTYWNIE jak zwykle dziękuje

@GioWDS

To dlaczego Linux Mint 19.2 zainstalowanym SSD zajmuje tylko 1-2 GB (obecnie mam coś koło 5GB bo mam otwarte 7 okien przeglądarki po 10 tabów w każdej) przy 16 GB całkowitej? To samo Windows 10, on tak 3-4 GB?

A najważniejsze pytanie:
Czy możesz troszkę prościej opisać swoją część pierwszą, co to jest ten LVM i cache który pozostaje po wyłączeniu zasilania. Twoją metodę stosuję teraz, że wrzucam na RAMdysk wielkości powiedzmy 20 GB plik .vdi oraz pliki .sav (migawki) bo je mocno modydfikuje i zapisuje uurchamiam i zmieniam coś. Tam siedzą distra linuxa więc rózne rozmiary mi wychodzą bo distro distrowi nie równe jak sam @anon741072 mi udowadnia. Jak kończe z tym pracę to przenosze na dysk klasyczny plik .vdi i .sav
Ale czy to będize najszybsze rozwiązanie? Ktoś pisał żeby wrzucić cały program VirtualBoxa do RAMdysku… no nie wiem czy to ma sens bo go bym musiał synchronizować też a łatwiej tylko pliki ale nie wiem bo nie robiłem. Podpowiedz prosze bo idziesz w BARDZO DOBRYM KIERUNKU. Acha i co z opinią, że to co zapisane w RAMdisku zgrywane na dysk z powrotem może mieć inną sumę kontrolną?

Gdzie ktoś tak pisał?

Cała rzecz polega na tym ile system ma dostępnego RAMu.
Jeśli masz 16GB RAM to system nie wrzuci 14GB danych do pamięci bo aplikacje nie miałyby na czym działać. Co nie zmienia faktu, że może pokazywać zużycie 2GB, a zbuforowane mieć 10GB czy coś w tych okolicach.
W linuksie masz swapiness do ustawiania tego jak dużo danych ma wrzucać w pamięć podręczną.
Narzędzie vmtouch powie Ci jak duża część jakiegoś katalogu jest wrzucona w podręczną.

@bachus
Ktoś pisał o wrzucaniu całego programu, w którym pracuje do ramdisku.

@GioWDS
Czy to oznacza, że mając 2 identyczne komputery, po dołożeniu do jednego z nich 2 razy więcej RAM, ten z większą ilością RAMu będzie chodził szybciej nawet z 1 oknem 1 karty przeglądarki?
(Np. pierwszy komp ma 16 GB RAM, drugi ma 32 GB RAM)

Już sam nie wiem czy na poważnie jest dyskusja, czy trollujesz dość umiejętnie :frowning:

@bachus Chłopie po co miałbym to robić, zauważ że wpadam tu wyłącznie kiedy mam problem do rozwiązania. Nie jestem regularnym odwiedzającym właśnie przez takie uwagi. Ciągle jak o coś pytam to dostaje pytania nie na temat, ciekawość, zazdrość, mściwość. Naprawdę to jest męczące. Jest tu jednak wielu użytkowników którzy dają gotową odpowiedź od ręki i dzięki temu to się jakoś trzyma. Postaw się w mojej sytuacji i przeczytaj sobie to co napisałeś w moim kierunku i wyobraź sobie, że przy każdym poście muszę czytać takie niesprawiedliwe i nieprzyjemne wpisy.
Mimo wszystko wniosłeś do dyskusji wiele dobrego, które przemyśle i które na pewno pomogą mi w rozwiązaniu problemów. Nie obrażaj się zatem jeśli niniejsza wypowiedź Cię uraziła w jakikolwiek sposób.

@Kuba99x - może odwróćmy nieco sytuację: przeczytaj swoje posty, i postaraj się wyciągnąć jakąś średnią.
W informatyce istniej pewna zasada, określana z angielskiego gigo (garbage in garbage out). Sposób w jaki przedstawiasz swoje idee, powoduje … frustracje.
Do tego dochodzi - coś jakby chęć otrzymania wszystkiego “na tacy”. Pytasz o rzeczy podstawowe, przy absolutnie niestandardowych założeniach.
Przykład:

Tymczasem, prawie na wstępie, został poruszona ta kwestia w odniesieniu do określonego typu pamięci, i nie chodzi o sumę kontrolną (poszukaj i przeczytaj jeszcze raz ze zrozumieniem co napisał Fizyda.
Przy całej tej wiedzy, która została tu “objawiona”, wypadałoby pewne rzeczy uporządkować, usystematyzować, i dopiero wrócić do tematu.

@Veers Zapewne mi nie uwierzysz jak bardzo doceniam Twoje wpisy w różnych wątkach forum, nawet te które są konstruktywną krytyką. Lubię otaczać się ludźmi mądrzejszymi ode mnie bo ciągną mnie do góry. Tak właśnie czuje się tutaj wśród Was i przyznaję, że owszem nie rozumiem pewnych kwestii i owszem chciałbym mieć gotowe rozwiązanie podane na tacy na dany problem.
Przeczytałem i czytam nie raz to czego nie rozumiem, staram się jak mogę. Wychodzi jednak na to bez użalania się nad samym sobą oraz absolutnie bez pretensji do jakiegokolwiek Użytkownika, że postawiłem sobie za wysoką poprzeczkę. Przyznaje otwarcie, iż nie potrafię zrozumieć tego (i nie tylko) zagadnienia związanego z I/O.
Pocieszeniem jest dla mnie to, że dzięki Wam wiem, iż przy sprzęcie opartym na Ryzenie 3-gen oraz Intelu 9gen dla mainstreemu czyli opartego o czipsety odpowiednio X570 i Z390 nie będzie dobrym pomysłem wrzucanie systemu operacyjnego do RAMu bo do tego powinienem mieć pamięci ECC.
Schodzę zatem oczko niżej i staram się w tym samym wątku aby nie robić zamieszania podejść do sprawy w sposób: wrzucenie do RAMdisk jedynie programu, w którym intensywnie testuję dystrybucje linuksa czyli VirtualBoxa lub zejście jeszcze oczko niżej przez co rozumiem wrzucanie do RAMdisk jedynie plików które są w tę i z powrotem obrabiane czyli .vdi i .sav. Pierwszy to dysk twardy VBoxa, a drugi to zapis jej aktualnego stanu (migawka). Oba pliki są wpierw ładowane do RAM disku, uruchamiam VBOXa testuję, zmieniam, zapisuję zmieniony stan dysku .vdi oraz migawka .sav. Takie operacje odczytu i zapisu wykonuję na tyle często, że chciałem z uwagi na oszczędność czasu wrzucić do RAMdisku. Po zakończeniu prac na dany dzień zapisuję .vdi i .sav na trwały nośnik czyli dysk SSD. Wyłączam komputer. Na drugi dzień włączam i ładuję do RAMdisku .vdi oraz .sav i jadę z tym dalej. Przy okazji zastanawiałem się też co może niektórzy mi mogli zarzucić jako chaos i nie trzymanie się tematu czy mogę zapisywać pliki ściągane z internetu na RAMdisk, a potem zapisywać na trwałym nośniku tylko te, które chce aby na nim się znalazły. Ściągam bowiem np. archiwa programów linuxa, otwieram, jeśli widżę że nie podołam skompilować lub jeśli ściągnąłem nie ten sterownik co potrzeba to kasuje z RAMdisku oszczędzając lifespan SSD. Stąd zatem zrodziło się moje pytanie czy aby na pewno jest to dobra droga skoro dostaje informacje, że pamięć RAM robi błędy i mogę np. zapisać plik w RAMdisku który z uwagi na to że jest w pamięci ulotnej zostanie przekłamany.
Szkoda, że nie dowiedziałem się, które pliki nie powinny być ściągane do RAMdisku bo są nieodporne na błędy (np .exe).
Mam nadzieję, że trochę rozjaśniłem sprawę. Jeszcze raz dziękuję Wszystkim za pomoc, może tego nie widzicie ale doceniam każdy wpis nawet negatywny o ile niesie w sobie jakąś, nawet małą dawkę użytecznych informacji.

Ja się nic nie obrażam, tylko się zaciekawiłem. W ‘internetach’ jestem od ponad 20 lat i masz pewien taki sposób dyskusji, że nie wiadomo jak się do tego odnieść. Jesteś zupełnie nieuważny co Ci wszycy piszą, co chwilę zmieniasz zdanie, mieszasz pojęcia. Najpierw wygląda że wiesz o czym piszesz, później wychodzi że używasz pojęć których nie rozumiesz. Każdy się stara dostosować do poziomu, aby Ci pomóc zadając odpowiednie pomocniczne pytania. Nadal nie odpowiedziałeś, czy budujesz coś pod konkretne zastosowanie, czy to akademikcja dyskusja. Nie potrafisz chociaż nakreślić co chcesz robić, żeby dać Ci rozwiązanie:

  • VM z vHDD w RAMie,
  • VM na odpowiedniej szybkiej pamięci SSD,
  • kontener,
  • albo tylko aplikacja z jej danymi w RAMie (RAMdysk).
    Są tu osoby, które mają sporo doświadczenia, ale nie ułatwiasz. Ja staram się zrozumieć co robisz, ale nie pomagasz.

Cytując klasyka:
" – No widzisz jak ty nic o życiu nie wiesz.
– Jak to?! Mam trzy fakultety!
– E tam, te wasze fakultety.
"

Po pierwsze: RAM DYSK - to jest taki wirtualny nośnik, utworzony PROGRAMOWO (bo nie mówimy tu o innych platformach specjalizowanych), w wydzielonym, wolnym obszarze pamięci RAM.
Dla systemu hosta - zachowuje się on tak, jak każdy inny nośnik danych (np. FDD, HDD itd.)

Po drugie: jak każde urządzenie w komputerze - podlega on operacjom wejścia - wyjścia. Chyba najkrócej i treściwie opisuje to Wikipedia: https://pl.wikipedia.org/wiki/Układ_wejścia-wyjścia
Podczas tych operacji, dochodzi do różnych sytuacji, z którymi normalnie radzą sobie mechanizmy zaimplementowane w sprzęcie i systemie operacyjnym. (a jeśli trzeba, to ludzie - jak już zostało wspomniane - wymyślili odpowiednie rozwiązania sprzętowe)

Po trzecie: już sama wirtualna struktura nośnika utworzonego w RAM, jest narażona na błędy, więc nie ma znaczenia, czy będzie to plik, blok danych, czy wolna przestrzeń.Tu bardzo dużo zależy od stabilności platformy sprzętowej i jakości oprogramowania. Tak więc - nie to, co na ram dysk będziesz chciał wrzucić jest tu problemem (choć jak o tym myślę, to od razu przelatuje mi przez myśl fragmentacja komórek pamięci), lecz to co finalnie będziesz z tej pamięci zrzucał.

Po czwarte: skoro ci tak zależy na wydajności podsystemu “dyskowego” - to czemu nadal się upierasz przy rozwiązaniach “mainstream” ? Ktoś kiedyś powiedział - że jak coś ma być do wszystkiego - będzie do niczego … (a wiesz - taki TR , i9-X że o Xeonach nie wspomnę - mają czterokanałowy kontroler pamięci… i obsługują ECC …)

Na koniec zaś pytanie dość istotne: czy możesz przedstawić jakieś dane, na podstawie których określiłeś taki a nie inny kierunek poszukiwanego rozwiązania?

@Veers Myślałem, że nie ma przeciwskazań aby RAMdisk utworzyć na mainstreemie, który już posiadam. Nie kupię zatem już HEDT :frowning:
Dane: Zauważyłem, że wielu ludzi korzysta tu z RAMdysku posiadając zwykły RAM w linuksie, to mnie jeszcze bardziej utwierdziło, że to dobry pomysł.; RAM jest szybki; Warto używać RAMdisku jak się ma RAMu pod dostatkiem;
Czy zatem jak ściągnę np. plik .iso do RAMdysku to może mieć on inną sumę kontrolną niż powinien?

Może mieć inną sumę kontrolną zarówno “do RAMu”, jak i na dysk. Przecież wszystko przechodzi przez RAM.

@Kuba99x - kupuj i rób co chcesz - tylko najpierw ZDEFINIUJ POTRZEBY.

Takie słowo do przemyśleń : odpowiedz sobie na pytanie:
Skoro " … RAM jest szybki; Warto używać RAMdisku jak się ma RAMu pod dostatkiem …" - to czemu tak niewiele osób korzysta z tego rozwiązania ?

(wybaczcie niestosowny dowcip, ale tak mnie jakoś naszło: Ferrari jest szybkie, warto używać Ferrari jadąc po zakupy do warzywniaka…)

Idąc dalej, stwierdzasz że nie kupisz już HEDT - choć od początku trzymasz się platform które z HEDT mają niewiele wspólnego.

azkengaldera2

Kto na przykład?
Sporo sprzętu miałem w rękach, ale takiego z zainstalowanym oprogramowaniem do tworzenia RAM dysków jeszcze nie widziałem.

@bachus A jednak tak mało razy okazuje się, że ściągniety plik .exe lub .iso na dysk SSD okazuje się błędny, no właściwie nigdy. Wyjątek: jak serwer zerwie połączenie bo jest słabe np. mirror na drugim końcu świata.

@Veers myślę że mało osób go używa bo o tym po prostu nie wie, a dwa ma za mało ramu.
Zdanie o HEDT nie ma sensu bo w środku tematu wyszło że ktoś pisał że potrzebuję HEDT, ja myślałem zawsze, że nie.
Dowcipem wyśmiewasz to, że chcę po prostu mieć szybko to obrabiane bo Tobie się wydaje, że niepotrzebnie tracę kasę?
Nadal nie ma w mojej wypowiedzi ani złej woli ani złości jakby co. Ja się tu nie złoszczę, maks irytuję :slight_smile:

Ale totalnym absurdem jest używać ponad 20GB pamięci na trzymanie w niej śmieci.
Sam katalog windows zajmuje około 18GB, dorzuć jeszcze program files (edge, media player itd.) i zrobi się znacznie więcej.

Po załadowaniu systemu używa on jakieś 2-4GB pamięci, tzn. że większość zawartości katalogu windows może nigdy nie zostać załadowana do pamięci, tam są przecież np. bazy sterowników, czy biblioteki zapewniające kompatybilność ze starszym oprogramowaniem.

https://www.morele.net/dysk-ssd-adata-xpg-sx8200-pro-512gb-pcie-x4-nvme-asx8200pnp-512gt-c-5342180/

Za 600zł masz nośnik który jest w stanie wyciągnąć 6GBps w trybie RAID0 i o pojemności 500GB, i będzie działać bez żadnego kombinowania, konfiguracji, nie będzie też wymagał potężnego UPSa, żeby wszystkiego szlag nie trafił.

Poza tym, nie wiem czy wiesz, ale zwykła płyta obsługuje maksymalnie 128GB pamięci, a to wcale nie jest dużo.

@anon42271672

Wiem, że niestety tylko 128 GB i wiem że to nie jest dużo.
Wiem o istnieniu tego rewelacyjnego dysku.
Nie wiem czy Ty wiesz, że ja na codzień pracuję pod linuksem, a tam dyski SSD M.2 NVMe PICEx pracują 25% wolniej niż w Windowsie (np. Samsung 970 Pro, lub Evo Plus).
O dziwo wspomniany dysk ADATY pracuje pod linuksem z niewiadomego powodu szybciej niż Samsung. Podejrzewam, że to kwestia dostępności do tajemnic jego kontrolera. Samsung nie udostępnia swojego kontrolera SSD stąd pewnie te niskie prędkości ale na innych dyskach w linuksie też jest słabo.
Przy okazji zapytam, na co trzeba uważać aby zrobić RAID 0 z dysku NVMe? Co na tym tracę itd? Czy to tylko dla Windowsa czy na linuksie też pójdzie?
Dlaczego uważasz że absurdem jest używać ponad 20GB RAM na trzymanie tam śmieci i co rozumiesz przez śmieci?
Pamiętaj, że tu nie chodzi absurd tylko mam zamiar zrobić ramdisk ale z miłą chęcią słucham przestróg, że np. nie warto bo wyskoczy Ci błąd.
Natomiast nie chodzi mi o pytania i twierdzenia typu a po co Ci to, lepiej wydaj pieniądze na to, jesteś głupi, ja bym zrobił to i to. No nie jesteś mną i moimi pieniędzmi. Natomiast nie obrażaj się jestem zadowolny z tego Twojego wpisu bo utwierdza mnie w pewnych przekonaniach, wnosi ciut nowych informacji chociaż tu akurat wszystko wiedziałem oprócz RAID0. Dobrze, że uczestniczysz bo lubię konstruktywną krytykę. Mam olewkę na wyzywanie i nie lubie tego tylko z powodu straty czasu na czytanie jeśli ktoś miałby zacząć mnie atakować i wyzywać. Na szczęście nikt tego nie zrobił.

1/ tak samo jak z każdego innego dysku robisz RAID
2/ tracisz to samo, co w każdym innym RAID0: zwiększenie awaryjności wolumenu (uszkadza się jeden dysk i tracisz dane).