Klaster z kilku komputerów

Oprogramowanie komputerowe GNU/Linux
#1

Witam,

Zastanawiam się w jaki sposób można by było zrobić klaster z komputerów. Od czego można tutaj zacząć. Można poprosić o jakieś materiały i propozycje rozwiązań z których korzystaliście.

Druga sprawa to tego co bym miał go wykorzystać nie zawszę będzie potrzebne wszystkie maszyny. Czy dałoby się zrobić, tak, że komputery klastrowe mogłyby być dynamicznie włączane/wyłączane poprzez możliwości “wake by LAN”

~~Edit

Może jeszcze dodam, że chciałbym mieć postawione hypervisora i zrobić wirtualizacje kilku systemów.

#2

HyperVisor, wirtualizacja i obliczania rozproszone - uuu, trudny temat.

Zależy ile możesz pieniędzy wydać i czego oczekujesz.

Zacząłbym od zastanowienia się nad aspektami wykorzystania OpenCL

(czyli możliwości przerzucania obliczeń również na kartę graficzną oprócz wykorzystania

procesora) -> działa pod Linuksem i Windowsem

oraz DirectCompute (wykorzystania kart graficznych do obliczeń, działa pod Windows obecnie,

jak API DirectX11 zostanie przeportowane w pełni na Linuksa, a jest duża szansa, że wtedy

i tam uświadczymy DirectCompute )

Z dedykowanych systemów - niestety docelowo drogich w eksploatacji

to Windows HPC Server - nody w większości to systemy Windows,

ale korzystające z DirectCompute.

Dla DirectCompute musisz posiadać karty graficzne dedykowane

pod DirectX11 (lub DirectX10), również z tego co się orientuje zamiast kupować

dedykowany serwer NVidii Tesla lub serwerów FireStream AMD,

można nabyć dedykowaną kartę instalowaną w złączu PCI-EXpress 2.0/2.1

16x - koszt to około 8 tysięcy złotych zamiast 40 tysięcy, ale wydajność w porównaniu

do zwykłych kart graficznych nieporównywalna.

Chociaż na początek wystarcza AMD Radeon 5670 z 512MB Ramu - 280 zł :slight_smile:

Z darmowych rozwiązań -> AbiCloud / Ubuntu Cloud.

Do pisania obliczeń rozproszonych korzystałem z jppf (Java)

http://www.jppf.org/

Wszystko zależy, jakie dane chcesz przetwarzać,

np.: do kryptografii polecam akceleratory kryptograficzne (jako karty PCI-Express)

  • swego czasu Sun (obecnie Oracle) naprawdę w miarę dobre robił,

do tego IBM czy CryptoTech.

**************************

Temat hypervisora - tu też kilka konkretnych pytań, które musisz zadać sobie

przed wyborem

  1. Jakie systemy chcesz wirtualizować ?

  2. Jakie zasoby chcesz udostępniać systemom wirtualizowanym ?

  3. Jaki sprzęt chciałbyś do tego użyć?

  4. Jakie pieniądze chcesz przeznaczyć ?

  5. Jaki sprzęt posiadasz - może uda się w miarę tanim kosztem doprowadzić

do naprawdę wygodnego centrum dla obliczeń rozproszonych,

jak i wirtualizacji ? :slight_smile:

Mam nadzieję, że trochę przybliżyłem temat. :wink:

Karol

#3

Co do wirtualizacji i obliczeń rozproszonych, to było parę numerów poświęconych temu tematowi w Linux-Magazine. Jak znajdę te artykuły/numery, to chętnie napiszę, w których wydaniach czasopisma można znaleźć określone informacje. Potem tylko należy wybrać się do jakiejś czytelni/biblioteki i odnaleźć określone numery czasopism(lub zakupić - numery archiwalne wcale nie powinny być drogie).

– Dodane 03.10.2010 (N) 11:06 –

Dopiszę tylko tyle, że istnieją rozwiązania w całości zrzucające ten ciężar na jądro systemu - program nie musi nic wiedzieć, że system funkcjonuje w ten sposób. Nie będzie to tak wydajne, jak w przypadku specjalistycznych programów, ale Pan i tak pewnie nie chce z nich korzystać.

Domyślam się, że jądro po prostu przekazuje część procesów na inne maszyny, a wszystkie potoki są przesyłane przez sieć.

#4

rotkeh ,

Rejestrując się na niniejszym forum zobowiązałeś się przestrzegać jego regulaminu. Niestety, w tym momencie łamiesz go nie tytułując poprawnie tematu. Proszę zapoznać się w pierwszej kolejności z regulaminem forum, a następnie z tym tematem. Po zapoznaniu się proszę poprawić tytuł tematu, używając przycisku zmien.gif