• Re: Klastry

    From Pawel@110:300/1.1 to All on Wed Apr 10 21:33:14 2013
    On 09.04.2013 22:45, Olek wrote:
    On 09.04.2013 20:26, Pawel wrote:
    Poza tym, widzialem jakis filmik na youtubie ktory pokazywal, ze wezel
    jest automatycznie wykrywany jak jest dostepny, wiec wydaje mi sie, ze
    takie cos daloby sie zrobic(automatyczne przelaczanie obliczen na
    dostepne wezly, jak jakis wezel jest niedostepny).

    Ale jaki sens jest męczyć te procesory?
    Np po to, zeby miec wiecej miejsca na dysku na wieksza ilosc kopii.

    Dyski dziś są tak tanie, że po co to kompresować, skoro to zajmuje tyle czasu procesora?
    Pomysł to tak chyba z nudów, co?
    Nie. Sa dwa powody, pierwszy to ten co napisalem u gory, a drugi, to
    chec nauczenia sie kolejnej rzeczy.

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Dialog Net (110:300/1.1@linuxnet)
  • From Pawel@110:300/1.1 to All on Wed Apr 10 22:35:05 2013
    On 09.04.2013 19:18, orcus@pwr.wroc.pl wrote:
    On 2013-04-09, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    Jesli nie da sie tego obejsc (przynajmniej tego drugiego problemu
    tyczacego wezlow), to czy jest jakas inna aplikacja do budowy klastrow,
    ktora by nie miala tych ograniczen?

    jakiej funkcjonalności oczekujesz od "klastra"? jakiego systemu chcesz używać na węzłach? być może wystarczy Ci system kolejkowy ze schedulerem(toraue lub slurm).

    Wlasnie probuje cos kombinowac ze slurmem, ale szczerze mowiac, nie
    jestem pewien co to robi.
    Z opisu wynika jakby to robilo klaster (chyba), ale z drugiej strony
    napisane jest, ze to jest scheduler i teraz juz nie wiem co to wlsciwie
    robi i jak to dziala.

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Dialog Net (110:300/1.1@linuxnet)
  • From ein@110:300/1.1 to All on Wed Apr 10 22:47:58 2013
    -----BEGIN PGP SIGNED MESSAGE-----
    Hash: SHA1

    Pawel wrote:
    On 09.04.2013 22:45, Olek wrote:
    On 09.04.2013 20:26, Pawel wrote:
    Poza tym, widzialem jakis filmik na youtubie ktory pokazywal,
    ze wezel jest automatycznie wykrywany jak jest dostepny, wiec
    wydaje mi sie, ze takie cos daloby sie zrobic(automatyczne
    przelaczanie obliczen na dostepne wezly, jak jakis wezel jest
    niedostepny).

    Ale jaki sens jest męczyć te procesory?
    Np po to, zeby miec wiecej miejsca na dysku na wieksza ilosc
    kopii.

    Dyski dziś są tak tanie, że po co to kompresować, skoro to
    zajmuje tyle czasu procesora? Pomysł to tak chyba z nudów, co?
    Nie. Sa dwa powody, pierwszy to ten co napisalem u gory, a drugi,
    to chec nauczenia sie kolejnej rzeczy.

    To chyba lepiej w tym przypadku doczytać czym jest backup różnicowy, a
    czym przyrostowy.

    -----BEGIN PGP SIGNATURE-----
    Version: GnuPG v1.4.12 (GNU/Linux)
    Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/

    iEYEARECAAYFAlFlz/4ACgkQbhT/MDrqNUGHtwCfdNEg6RG9jIwOr7WRCdeCM11q DZkAmgJ5/gX3urSs29AHJAU9ugRboBX0
    =znpa
    -----END PGP SIGNATURE-----

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: ATMAN - ATM S.A. (110:300/1.1@linuxnet)
  • From orcus@pwr.wroc.pl@110:300/1.1 to All on Thu Apr 11 10:40:46 2013
    On 2013-04-10, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    Wlasnie probuje cos kombinowac ze slurmem, ale szczerze mowiac, nie
    jestem pewien co to robi.

    To jest system kolejkowy, scheduler i resource manager. Czyli coś co przyjmuje zadania i je uruchamia przydzielając zasoby na funkcjonujących węzłach.

    Z opisu wynika jakby to robilo klaster (chyba), ale z drugiej strony napisane jest, ze to jest scheduler i teraz juz nie wiem co to wlsciwie
    robi i jak to dziala.

    Pierwszą rzeczą którą musisz sobie uświadomić to fakt, że to co chcesz zrobić nie jest proste. Musisz znaleźć aplikację która wspiera rozproszoną kompresję(najlepiej z użyciem MPI), lub podzielić
    kompresję na kilka procesów i to je uruchamiać jako zadania.

    Dodatkowym utrudnieniem jest to, że w dowolnym momencie chciałbyś móc wyłączyć laptopa, czyli przerwać pracujące na nim zadanie.

    Gotowca raczej ciężko będzie znaleźć.

    Jeśli chodzi o rozpraszanie dowolnej aplikacji wielowątkowej na wiele
    maszyn to wszystkie technologie jakie znam które robią to automatycznie wymagają specjalnego systemu operacyjnego(zwykle modyfikacja linuks) i
    bardzo szybkiego interconnectu lub przybijania konkretnych wątków do
    rdzeni.

    --
    Pozdrawiam
    orcus

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Politechnika Wroclawska (110:300/1.1@linuxnet)
  • From Pawel@110:300/1.1 to All on Thu Apr 11 18:41:46 2013
    On 10.04.2013 22:47, ein wrote:
    -----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1

    Pawel wrote:
    On 09.04.2013 22:45, Olek wrote:
    On 09.04.2013 20:26, Pawel wrote:
    Poza tym, widzialem jakis filmik na youtubie ktory pokazywal,
    ze wezel jest automatycznie wykrywany jak jest dostepny, wiec
    wydaje mi sie, ze takie cos daloby sie zrobic(automatyczne
    przelaczanie obliczen na dostepne wezly, jak jakis wezel jest
    niedostepny).

    Ale jaki sens jest męczyć te procesory?
    Np po to, zeby miec wiecej miejsca na dysku na wieksza ilosc
    kopii.

    Dyski dziś są tak tanie, że po co to kompresować, skoro to
    zajmuje tyle czasu procesora? Pomysł to tak chyba z nudów, co?
    Nie. Sa dwa powody, pierwszy to ten co napisalem u gory, a drugi,
    to chec nauczenia sie kolejnej rzeczy.

    To chyba lepiej w tym przypadku doczytać czym jest backup różnicowy,
    a czym przyrostowy.

    A znasz jakas aplikacje ktora by potrafila robic roznicowy backup+synchronizacje? Zalezy mi na tym, zeby backup uwzgldnial nie
    tylko dodane/zmienione pliki, ale takze usuniete pliki.

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Dialog Net (110:300/1.1@linuxnet)
  • From Pawel@110:300/1.1 to All on Thu Apr 11 19:28:20 2013
    On 11.04.2013 10:40, orcus@pwr.wroc.pl wrote:
    On 2013-04-10, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    Wlasnie probuje cos kombinowac ze slurmem, ale szczerze mowiac, nie
    jestem pewien co to robi.

    To jest system kolejkowy, scheduler i resource manager. Czyli coś co przyjmuje zadania i je uruchamia przydzielając zasoby na funkcjonujących węzłach.

    Jesli dobrze zrozumialem, to ten slurm nadal potrzebuje klastra do
    dzialania? Dobrze rozumiem? bo w pierwszym poscie napisales, ze
    wystarczy mi ten slurm, wiec myslalem, ze nie ma potrzeby robienia klastra.


    Z opisu wynika jakby to robilo klaster (chyba), ale z drugiej strony
    napisane jest, ze to jest scheduler i teraz juz nie wiem co to wlsciwie
    robi i jak to dziala.

    Pierwszą rzeczą którą musisz sobie uświadomić to fakt, że to co
    chcesz
    zrobić nie jest proste. Musisz znaleźć aplikację która wspiera rozproszoną kompresję(najlepiej z użyciem MPI), lub podzielić
    kompresję na kilka procesów i to je uruchamiać jako zadania.

    Co do pakera z mozliwoscia kompresji rozproszone to nie znalazlem.
    Jedyne co udalo mi sie znalezc (nie liczac 7z - sporo RAMu ciagnie :/),
    to bzip2:
    w wersji na kilka rdzeni (pbzip2 - http://compression.ca/pbzip2/) i
    druga wersje w wersji na kilka prockow(MPIBZIP2 - http://compression.ca/mpibzip2/).
    Niestety, ale chyba nie da sie tego wykorzystac do tego co ja chce zrobic.


    Dodatkowym utrudnieniem jest to, że w dowolnym momencie chciałbyś móc wyłączyć laptopa, czyli przerwać pracujące na nim zadanie.

    Gotowca raczej ciężko będzie znaleźć.

    Domyslam sie. W razie potrzeby moge wyskrobac jakis skrypt, byle bym nie musial pisac od nowa jakiegos pakera.

    Jeśli chodzi o rozpraszanie dowolnej aplikacji wielowątkowej na wiele maszyn to wszystkie technologie jakie znam które robią to automatycznie wymagają specjalnego systemu operacyjnego(zwykle modyfikacja linuks) i bardzo szybkiego interconnectu lub przybijania konkretnych wątków do rdzeni.

    A moglbys podrzucic nazwy tych technologii?
    Mowiac o interconneccie, to mowisz o polaczeniu sieciowym?

    A masz moze pomysl (jakich slow, zwrotow uzywac) czego mialbym szukac?
    Nie mam za bardzo pomyslu czego mialbym szukac.

    A nie wiesz, czy nie daloby sie tego zrobic na wzor BOINCa? Takie
    rozwiazanie byloby chyba najlepsze, przynajmniej jesli chodzi o to
    zadanie. Znasz moze takie rozwiazania?

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Dialog Net (110:300/1.1@linuxnet)
  • From horhe@110:300/1.1 to All on Thu Apr 11 20:29:50 2013
    W dniu 2013-04-11 18:41, Pawel pisze:
    On 10.04.2013 22:47, ein wrote:

    To chyba lepiej w tym przypadku doczyta czym jest backup rnicowy,
    a czym przyrostowy.

    A najlepiej skorzysta z zalet deduplikacji.

    A znasz jakas aplikacje ktora by potrafila robic roznicowy backup+synchronizacje? Zalezy mi na tym, zeby backup uwzgldnial nie
    tylko dodane/zmienione pliki, ale takze usuniete pliki.

    https://sites.google.com/site/hashbackup/


    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: http://www.wit.edu.pl (110:300/1.1@linuxnet)
  • From orcus@pwr.wroc.pl@110:300/1.1 to All on Thu Apr 11 21:10:21 2013
    On 2013-04-11, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    On 11.04.2013 10:40, orcus@pwr.wroc.pl wrote:
    On 2013-04-10, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    Wlasnie probuje cos kombinowac ze slurmem, ale szczerze mowiac, nie
    jestem pewien co to robi.

    To jest system kolejkowy, scheduler i resource manager. Czyli coś co
    przyjmuje zadania i je uruchamia przydzielając zasoby na funkcjonujących >> węzłach.

    Jesli dobrze zrozumialem, to ten slurm nadal potrzebuje klastra do dzialania? Dobrze rozumiem? bo w pierwszym poscie napisales, ze
    wystarczy mi ten slurm, wiec myslalem, ze nie ma potrzeby robienia klastra.

    klaster to zbior komputerow(byc moze roznych) ktore uzywaja takich
    samych lub roznych systemow operacyjnych i paru bibliotek(np mpi) aby
    wspolnie umozliwic prace aplikacji. Mozna je puszczac z palca albo
    wykorzystac system kolejkowy ze schedulerem i resource managerem. Te
    funkcje pelni slurm. Jest wiec czescia klastra.

    W praktyce rozne systemy maja rozne wersje bibliotek(nie o numerki tu
    chodzi a o "implemwntacje") i zwykle ciezko je pozenic.

    Zainstaluj ktoras implementacje mpi na maszynac i potestuj tego mpiowego
    bzipa. Z taka konfiguracja nie potrzebujesz systemu kolejkowego. Jedynie
    sam musisz stworzyc prostego resource managera ktory wykryje ktore maszyny
    sa dostepne i na nich zapusci bzipa i ewentualnie zrestartuje obliczenia
    jak wylaczysz laptopa.

    druga wersje w wersji na kilka prockow(MPIBZIP2 - http://compression.ca/mpibzip2/).
    Niestety, ale chyba nie da sie tego wykorzystac do tego co ja chce zrobic.

    Wrecz przeciwnie - to chyba najlepszy trop.

    A moglbys podrzucic nazwy tych technologii?

    Na codzien zajmuje sie systemami obliczeniowymi i staramy sie wyciagnac
    z maszyn maksimum mozliwosci, wiec to co chcesz zrobic pewnie
    potraktowalibysmy z przymrozeniem oka. Obiecujaca technologia jest vSMP. Calkiem niedawno w Polsce stanela najwieksza taka maszyna z ponad 700
    rdzeniami i 4TB ramu, ale to wymaga licencji, przerobionego linuksa i
    sieci infiniband.

    Mowiac o interconneccie, to mowisz o polaczeniu sieciowym?

    Tak. Jakos dane musza trafic do worker nodow i wrocic po obrobce. W
    przypadku duzej mocy i slabej sieci moze trwac ro dluzej niz obrobka.

    A masz moze pomysl (jakich slow, zwrotow uzywac) czego mialbym szukac?
    Nie mam za bardzo pomyslu czego mialbym szukac.

    Ciagnij temat mpi. Polecam openmpi i jakies proste hello world zevy
    sprawdzic czy dziala przed puszczaniem kompresji.

    A nie wiesz, czy nie daloby sie tego zrobic na wzor BOINCa? Takie rozwiazanie byloby chyba najlepsze, przynajmniej jesli chodzi o to
    zadanie. Znasz moze takie rozwiazania?

    Musisz szukac pakera obslugujacego ktoras z bibliotek do obliczen
    rozproszpnych lub framework. Poza mpi zainteresowac Cie moze hadoop
    czyli implementacja googlowego MapReduce w wykonaniu fundacji Apache ale
    titaj AFAIK potrzevujesz sporo ramu by ruszuc z miejsca.

    --
    Pozdrawiam
    orcus

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Politechnika Wroclawska (110:300/1.1@linuxnet)
  • From ein@110:300/1.1 to All on Fri Apr 12 18:17:46 2013
    -----BEGIN PGP SIGNED MESSAGE-----
    Hash: SHA1

    Pawel wrote:
    On 10.04.2013 22:47, ein wrote:
    -----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1

    Pawel wrote:
    On 09.04.2013 22:45, Olek wrote:
    On 09.04.2013 20:26, Pawel wrote:
    Poza tym, widzialem jakis filmik na youtubie ktory
    pokazywal, ze wezel jest automatycznie wykrywany jak jest
    dostepny, wiec wydaje mi sie, ze takie cos daloby sie
    zrobic(automatyczne przelaczanie obliczen na dostepne
    wezly, jak jakis wezel jest niedostepny).

    Ale jaki sens jest męczyć te procesory?
    Np po to, zeby miec wiecej miejsca na dysku na wieksza ilosc
    kopii.

    Dyski dziś są tak tanie, że po co to kompresować, skoro to
    zajmuje tyle czasu procesora? Pomysł to tak chyba z nudów,
    co?
    Nie. Sa dwa powody, pierwszy to ten co napisalem u gory, a
    drugi, to chec nauczenia sie kolejnej rzeczy.

    To chyba lepiej w tym przypadku doczytać czym jest backup
    różnicowy, a czym przyrostowy.

    A znasz jakas aplikacje ktora by potrafila robic roznicowy backup+synchronizacje? Zalezy mi na tym, zeby backup uwzgldnial
    nie tylko dodane/zmienione pliki, ale takze usuniete pliki.

    Googla wyłączyli?

    słowa kluczowe rsnapshot rdiff-backup (z naciskiem na to pierwsze.
    -----BEGIN PGP SIGNATURE-----
    Version: GnuPG v1.4.12 (GNU/Linux)
    Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/

    iEYEARECAAYFAlFoM6oACgkQbhT/MDrqNUFkuACdEyM6/XS2UafevE7Wkv/cUS7G +2MAn2JjTHJzynGlnfk3+9JY09oLmuud
    =JORb
    -----END PGP SIGNATURE-----

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: ATMAN - ATM S.A. (110:300/1.1@linuxnet)
  • From Pawel@110:300/1.1 to All on Sat Apr 13 16:29:15 2013
    On 11.04.2013 21:10, orcus@pwr.wroc.pl wrote:
    On 2013-04-11, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    On 11.04.2013 10:40, orcus@pwr.wroc.pl wrote:
    On 2013-04-10, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    Wlasnie probuje cos kombinowac ze slurmem, ale szczerze mowiac, nie
    jestem pewien co to robi.

    To jest system kolejkowy, scheduler i resource manager. Czyli coś co
    przyjmuje zadania i je uruchamia przydzielając zasoby na funkcjonujących >>> węzłach.

    Jesli dobrze zrozumialem, to ten slurm nadal potrzebuje klastra do
    dzialania? Dobrze rozumiem? bo w pierwszym poscie napisales, ze
    wystarczy mi ten slurm, wiec myslalem, ze nie ma potrzeby robienia klastra.

    klaster to zbior komputerow(byc moze roznych) ktore uzywaja takich
    samych lub roznych systemow operacyjnych i paru bibliotek(np mpi) aby wspolnie umozliwic prace aplikacji. Mozna je puszczac z palca albo wykorzystac system kolejkowy ze schedulerem i resource managerem. Te
    funkcje pelni slurm. Jest wiec czescia klastra.

    Czyli samego slurma nie mozna wykorzystac do obliczen rozproszonych. Z
    tego co do tej pory mowiles, to myslalem, ze ten slurm sam sie
    kontaktuje z wezlami, a wg tego co teraz mowisz, to musi byc zrobiony
    juz klaster i dopiero w tym klastrze uruchamia sie tego slurma, ktory
    zarzadza rozdzialem zadan na poszczegolne wezly.



    W praktyce rozne systemy maja rozne wersje bibliotek(nie o numerki tu
    chodzi a o "implemwntacje") i zwykle ciezko je pozenic.

    Mam wlasnie z tym problem, a dokladniej z tym mpibzipem. O ile z
    kompilacja na serwerku nie bylo wiekszych problemow (wystarczylo
    zainstalowac kilka pakietow i dodac do Makefile zmienna CFLAGS ze
    sciezka do naglowkow mpi (dokladniej do pliku mpi.h)), to z kompilacja
    pod Mintem mam problem. Podejrzewam problem z wersjami tego mpi. Na
    Debianie sa jakies starsze biblioteki, a na Mincie nowsze i pewnie
    dlatego ten mpibzip ma problemy, skoro rozwoj mpibzipa zakonczyl sie w 2007.

    Zainstaluj ktoras implementacje mpi na maszynac i potestuj tego mpiowego bzipa. Z taka konfiguracja nie potrzebujesz systemu kolejkowego. Jedynie
    sam musisz stworzyc prostego resource managera ktory wykryje ktore maszyny
    sa dostepne i na nich zapusci bzipa i ewentualnie zrestartuje obliczenia
    jak wylaczysz laptopa.

    Jak nie uda mi sie skompilowac tego na Mincie, to bede musial to
    potestowac na jakis podobnych architekturach i dytrybucjach. Myslalem o zainstalowaniu na wirtualnej maszynie z dwoch dystrybucji i zobaczyc,
    czy pojdzie.
    Co do obecnych testow, to nie wiem, czy czegos nie zrobilem nie tak, bo
    jak puszczalem tego mpibzipa na serwerku, to nie widzialem, zeby cos sie pojawialo na Mincie w procesach. Nawet głupiego procesu ssh nie widzialem. Wszystko robilem wg tej strony: http://techtinkering.com/2009/12/02/setting-up-a-beowulf-cluster-using-open-mpi -on-linux/
    Odpuscilem sobie tylko ten przykladowy program, a zamiast niego dalem
    tego mpibzipa.



    druga wersje w wersji na kilka prockow(MPIBZIP2 -
    http://compression.ca/mpibzip2/).
    Niestety, ale chyba nie da sie tego wykorzystac do tego co ja chce zrobic.

    Wrecz przeciwnie - to chyba najlepszy trop.

    Ciekawe, czy jest jakis inny paker, ktory moglby wykorzystac mozliwosci
    mpi. Jakby nie patrzec, ta wersja jest troche stara.


    A moglbys podrzucic nazwy tych technologii?

    Na codzien zajmuje sie systemami obliczeniowymi i staramy sie wyciagnac
    z maszyn maksimum mozliwosci, wiec to co chcesz zrobic pewnie potraktowalibysmy z przymrozeniem oka. Obiecujaca technologia jest vSMP.
    A mozna wiedziec czemu? Ciekawi mnie, czy takie zadania jak moje nie sa ciekawe? W pewnym sensie ja takze probuje wycisnac maksimum mozliwosci
    ze swojego sprzetu, ale na znacznie mniejsza skale. O 4 TB RAMu moge w najblizszym czasie tylko pomarzyc(nawet na dyskach nie mam tyle
    miejsca). Wlasnie za to lubie linuksa, ze nawet na kiepskim sprzecie
    mozna wiele ciekawych projektow zrobic.


    Calkiem niedawno w Polsce stanela najwieksza taka maszyna z ponad 700 rdzeniami i 4TB ramu, ale to wymaga licencji, przerobionego linuksa i
    sieci infiniband.
    Raj dla graczy ;-), a tak na powaznie, to o takim czyms zwykly
    uzytkownik moze tylko pomarzyc, choc osobiscie chetnie bym sie takim
    sprzetem pobawil (ile mozliwosci).


    Mowiac o interconneccie, to mowisz o polaczeniu sieciowym?

    Tak. Jakos dane musza trafic do worker nodow i wrocic po obrobce. W
    przypadku duzej mocy i slabej sieci moze trwac ro dluzej niz obrobka.

    A co jeszcze jest transmitowane przez siec oprocz danych? Z tego co sie zzorientowalem, to cale srodowisko (wlacznie z aplikacja wykonujaca obliczenia) musi byc zainstalowane na kazdym wezle.


    A nie wiesz, czy nie daloby sie tego zrobic na wzor BOINCa? Takie
    rozwiazanie byloby chyba najlepsze, przynajmniej jesli chodzi o to
    zadanie. Znasz moze takie rozwiazania?

    Musisz szukac pakera obslugujacego ktoras z bibliotek do obliczen rozproszpnych lub framework. Poza mpi zainteresowac Cie moze hadoop
    czyli implementacja googlowego MapReduce w wykonaniu fundacji Apache ale titaj AFAIK potrzevujesz sporo ramu by ruszuc z miejsca.

    A co rozumiesz, mowiac o sporej ilosci RAMu?
    A nie wiesz, czy daloby sie wykorzystac jakis gotowy paker wielowatkowy
    do pracy rozproszonej?
    Czy kazda aplikacja do pracy rozproszonej musi byc robiona pod katem
    pracy wieloprocesorowej.

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Dialog Net (110:300/1.1@linuxnet)
  • From orcus@pwr.wroc.pl@110:300/1.1 to All on Sun Apr 14 10:39:59 2013
    On 2013-04-13, Pawel <ppf9@USUN_TOpoczta.fm> wrote:
    Czyli samego slurma nie mozna wykorzystac do obliczen rozproszonych. Z
    tego co do tej pory mowiles, to myslalem, ze ten slurm sam sie
    kontaktuje z wezlami, a wg tego co teraz mowisz, to musi byc zrobiony
    juz klaster i dopiero w tym klastrze uruchamia sie tego slurma, ktory zarzadza rozdzialem zadan na poszczegolne wezly.

    To juz zalezy od tego co rozumiemy jako klaster. Jak masz 2 zupelnie
    rozne systemy(nawet w roznych lokalizacjach) i uruchomisz na nich slurma
    to juz jest klaster. Z drugiej strony jak nie masz slurma ale
    uruchamiasz zadania mpi "z palca" to tez jest klaster.

    Slurm kontaktuje sie ze swoimi klientami w celu sprawdzenia ich stanu i uruchamiania procesow. Jesli przez "zrobic klaster" rozumiesz
    zintegrowane srodowisko homogeniczne pod wzgledem bibliotek to tego nie
    robi nic.

    W praktyce rozne systemy maja rozne wersje bibliotek(nie o numerki tu
    chodzi a o "implemwntacje") i zwykle ciezko je pozenic.

    Mam wlasnie z tym problem, a dokladniej z tym mpibzipem. O ile z
    kompilacja na serwerku nie bylo wiekszych problemow (wystarczylo zainstalowac kilka pakietow i dodac do Makefile zmienna CFLAGS ze
    sciezka do naglowkow mpi (dokladniej do pliku mpi.h)), to z kompilacja
    pod Mintem mam problem. Podejrzewam problem z wersjami tego mpi. Na
    Debianie sa jakies starsze biblioteki, a na Mincie nowsze i pewnie
    dlatego ten mpibzip ma problemy, skoro rozwoj mpibzipa zakonczyl sie w 2007.

    Czesto tego typu proste aplikacje nie potrzebuja dalszego rozwoju.

    Zainstaluj ktoras implementacje mpi na maszynac i potestuj tego mpiowego
    bzipa. Z taka konfiguracja nie potrzebujesz systemu kolejkowego. Jedynie
    sam musisz stworzyc prostego resource managera ktory wykryje ktore maszyny >> sa dostepne i na nich zapusci bzipa i ewentualnie zrestartuje obliczenia
    jak wylaczysz laptopa.

    Jak nie uda mi sie skompilowac tego na Mincie, to bede musial to
    potestowac na jakis podobnych architekturach i dytrybucjach. Myslalem o zainstalowaniu na wirtualnej maszynie z dwoch dystrybucji i zobaczyc,
    czy pojdzie.
    Co do obecnych testow, to nie wiem, czy czegos nie zrobilem nie tak, bo
    jak puszczalem tego mpibzipa na serwerku, to nie widzialem, zeby cos sie pojawialo na Mincie w procesach. Nawet głupiego procesu ssh nie widzialem. Wszystko robilem wg tej strony:

    http://techtinkering.com/2009/12/02/setting-up-a-beowulf-cluster-using-open-mpi -on-linux/
    Odpuscilem sobie tylko ten przykladowy program, a zamiast niego dalem
    tego mpibzipa.

    Rob to malymi kroczkami. Czy jestes w stanie z tego jednego glownego
    wezla pingnac pozostale po nazwie? Czy jestes w stanie zalogowac sie do
    nich przez ssh uzywajac bezhaslowego mechanizmu?

    Jesli to skompiluj i uruchom prosty program(z linka albo jakies mpiowe
    hello world).

    Na codzien zajmuje sie systemami obliczeniowymi i staramy sie wyciagnac
    z maszyn maksimum mozliwosci, wiec to co chcesz zrobic pewnie
    potraktowalibysmy z przymrozeniem oka. Obiecujaca technologia jest vSMP.
    A mozna wiedziec czemu? Ciekawi mnie, czy takie zadania jak moje nie sa ciekawe? W pewnym sensie ja takze probuje wycisnac maksimum mozliwosci
    ze swojego sprzetu, ale na znacznie mniejsza skale. O 4 TB RAMu moge w najblizszym czasie tylko pomarzyc(nawet na dyskach nie mam tyle
    miejsca). Wlasnie za to lubie linuksa, ze nawet na kiepskim sprzecie
    mozna wiele ciekawych projektow zrobic.

    Przede wszystkim na systemie stuningowanym do pracy wsadowej nie da sie pracowac interaktywnie. Jak ktos ma duzo cierpliwosci to moze dalby rade
    z commandline. Dodatkowo dostepna w Twoom przypadku do obliczen moc jest
    bardzo zmienna w czasie i raczej zaden scheduler nie przewidzi kiedy
    skonczy sie zadanie co powoduje ze sporo mocy idzie w gwizdek. Checia restartowanoa wezlow w trakcie obliczen tez nie pomagasz. Wolny
    interconnect i systemy IO rowniez powoduja straty mocy. Superkomputery
    maja obciazenie na poziomie 75-90% liczone jako czas w ktorym procesor
    zajmuje sie zleconymi zadaniami(reszta idzie na przerwy serwisowe,
    obsluge systemu czy czekanie na komunikacje/IO) i to jest wartosc
    liczona w skali roku.

    A co jeszcze jest transmitowane przez siec oprocz danych? Z tego co sie zzorientowalem, to cale srodowisko (wlacznie z aplikacja wykonujaca obliczenia) musi byc zainstalowane na kazdym wezle.

    Wiekszosc systemow tak dziala. AFAIR mpi ma mozliwosc dystrybucji kodu,
    ale srodowisko musi byc juz obecne na wezle.

    Musisz szukac pakera obslugujacego ktoras z bibliotek do obliczen
    rozproszpnych lub framework. Poza mpi zainteresowac Cie moze hadoop
    czyli implementacja googlowego MapReduce w wykonaniu fundacji Apache ale
    titaj AFAIK potrzevujesz sporo ramu by ruszuc z miejsca.

    A co rozumiesz, mowiac o sporej ilosci RAMu?

    Na start moze zjesc 512MB, ale za to masz juz czesciowo przygotowane srodowisko. Jak z java - placisz pamiecia a wygode.

    A nie wiesz, czy daloby sie wykorzystac jakis gotowy paker wielowatkowy
    do pracy rozproszonej?

    Nie wiem, ale raczej w modelu bez recznego dzielenia zadan bedzie
    ciezko. Gdybys podzielil prace na procesy(np. podzial pakowania na
    podstawie katalogow - osobna instancja pakera na kazdy katalog) to da
    sie to zrobic od reki. Kazda instancje wtedy puszczasa jako osobne
    zadanie a slurm zajmuje sie spraqdzaniem jakie maszyny chodza i
    uruchamianiem na nich zadan.

    Czy kazda aplikacja do pracy rozproszonej musi byc robiona pod katem
    pracy wieloprocesorowej.

    Jesli nie uzywasz tedhnologii ktora dostarczy aplikacji wirtualna
    maszyne SMP to kazda aplikacja musi wspierac Twoj framework do obliczen rozprosaonych.

    Z punktu widzenia aplikacji to albo ona wspiera rozproszenie(poprzez
    mpi) albo ktos dostarcza jej cos do wyglada jakj jedna maszyna z wieloma procesormi(jak vSMP).

    --
    Pozdrawiam
    orcus

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Politechnika Wroclawska (110:300/1.1@linuxnet)
  • From Pawel@110:300/1.1 to All on Wed Apr 17 20:16:22 2013
    Dzieki za pomoc.

    Chwilowo wypadlo mi cos innego do pracy i musze na co najmniej kilka dni odstawic zabawe z klastrami, ale sprobuje sie uporac z kompilacja tego
    bzipa pod mintem i zobacze, czy pojdzie.

    Jak bede mial problemy, to sie odezwe na grupie.

    --- MBSE BBS v0.95.15 (GNU/Linux-x86_64)
    * Origin: Dialog Net (110:300/1.1@linuxnet)