gildot

Topo
Sobre
FAQ
Tópicos
Autores
Preferências
Artigos
Sondagens
Propor artigo


8/3
gildicas
9/30
jobs
10/9
perguntas
10/25
press

 
Ideias para expandir um cluster de Linux.
Contribuído por vaf em 12-11-02 11:38
do departamento crunch-crunch-crunch
Tecnologia fhc escreve "Montámos no Departamento de Engenharia Electromecânica da Universidade da Beira Interior um cluster de Linux Mandrake 9.0 (não é CLIC, foi à unha) para correr a nossa licença de Fluent, um pacote utilizado em resolução de malhas de elementos finitos. Neste momento tem um mestre e dois escravos (diskless), mas proximamente terá mais escravos associados. Todos os processadores são AMD 1700 GHz e têm 512Mb RAM, excepto o mestre, com 256Mb e 60Gb de disco.

Trabalha que é uma beleza, distribui a carga impecavelmente, nunca vimos o Fluent tão rápido. Mas vamos contruir outro, desta vez Openmosix, para correr cargas distribuídas sem compilar com MPI."

A pergunta é a seguinte: já existem decerto outros em Portugal. Gostaríamos de colher e partilhar experiências, não temos segredos a esconder. Vamos até ao fim do ano iniciar um pacote que permite ligar os escravos conforme a solicitação do sistema, suspendendo-os se estes não forem solicitados (poupança de energia oblige, o nosso Reitor faz questão, e bem, nessa política.) Quem se quer associar connosco para partilhar conhecimentos?

Para vossa informação fazemos o boot dos escravos com PXE, partilhamos o sistema mestre com clusternfs, ao contrário do CLIC. Cada módulo escravo custa menos de EUR 350 e o sistema tal como está já faz chorar as DEC alpha que temos. A autenticação é com NIS e o sistema suporta os sistemas MPI, PBS e GEXEC. A monitorização é realizada com ganglia e gmond. Posso fornecer mais pormenores se houver interesse manifesto nisso.

Why Windows is better than Linux | Linux no Banco Central do Brasil  >

 

gildot Login
Login:

Password:

Referências
  • Linux
  • fhc
  • Mais acerca Tecnologia
  • Também por vaf
  • Esta discussão foi arquivada. Não se pode acrescentar nenhum comentário.
    parabéns (Pontos:2, Interessante)
    por ruben dig em 12-11-02 15:05 GMT (#1)
    (Utilizador Info)
    Eu pessoalmente a partir deste mês deixei de tomar conta de um cluster muito semelhante do lab de visão da univ. do algarve e o pode-se ver o cluster na minha pag em w3.ualg.pt/~rsolivei e em http://w3.ualg.pt/~dubuf/calhau.html onde podes correr uma benchmark caseira e comparar a performance, já agora o sistema é baseado em debian woody mas sempre pensei que se perde performance à brava por estar compilado em i386 por isso acho que a opção mandrake foi a melhor, é claro que a construção do cluster foi num fim de semana o que influenciou a decisão :) a favor do debian

    Boa sorte para o cluster e se quiserem contactar-me vejam na minha página o meu email
    Recomendações (Pontos:2, Informativo)
    por Kha0S em 12-11-02 15:14 GMT (#2)
    (Utilizador Info) http://khaos.uevora.pt
    Da minha experiência em clusters posso fazer duas recomendações:

    - Se possível optém por maquinas SMP
    - Usem o openmosix, trabalha lindamente!

    Mas claro, isto é tudo relativo, varia com o que se faz com o cluster.

    Já agora fica a sugestão, porque não criar um site, ML, whatever, para reunir a comunidade de administradores de clusters em Portugal.

    Se houver gente interessada, disponibilizo uma máquina para o efeito :-)
    Se quiserem contactar, força.

    Cumprimentos a todos!
    Re:Recomendações (Pontos:1)
    por fhc em 12-11-02 22:54 GMT (#13)
    (Utilizador Info)
    Amanhã envio uma mensagem ao GILDOT para reunir a malta. Posso abrir uma conta com um username e uma password para montarmos o site.

    Conto, é claro, com a vossa colaboração ao mantermos o site.

    Francisco Colaço

    Re:Recomendações (Pontos:1)
    por fhc em 12-11-02 22:55 GMT (#14)
    (Utilizador Info)
    Amanhã envio uma mensagem ao GILDOT para reunir a malta. Posso abrir uma conta com um username e uma password para montarmos o site.

    Conto, é claro, com a vossa colaboração ao mantermos o site.

    Mas se o Khaos está pronto para o site, não poderia estar mais de acordo.

    Francisco Colaço

    Já agora (Pontos:2)
    por Branc0 em 12-11-02 15:29 GMT (#3)
    (Utilizador Info) http://www.syners.org
    E para quando não houver muito que fazer, contem lá onde posso arranjar documentação simples para fazer um mini-cluster.

    Já agora, sem ser no Google :)


    "Se vi mais além do que outro, é porque estava nos ombros de gigantes."
    Sir Isaac Newton

    Re:Já agora (Pontos:2)
    por MavicX em 12-11-02 15:31 GMT (#4)
    (Utilizador Info)
    "Já agora, sem ser no Google :)"

    Que tal o renovado Altavista :-)

    Pedro Esteves

    Re:Já agora (Pontos:2)
    por Branc0 em 12-11-02 15:36 GMT (#5)
    (Utilizador Info) http://www.syners.org
    Isso era fantástico, imagina qual foi o primeiro resultado? :)


    "Se vi mais além do que outro, é porque estava nos ombros de gigantes."
    Sir Isaac Newton

    Re:Já agora (Pontos:2, Informativo)
    por Kha0S em 12-11-02 16:03 GMT (#8)
    (Utilizador Info) http://khaos.uevora.pt
    Para fazeres um cluster caseiro e ver a diferença de desempenho, sem usares nenhuma aplicação feita de raiz para correr em cluster, instala o OpenMosix. Encontras muita documentação no site.
    Para que querem isso ? (Pontos:2)
    por MavicX em 12-11-02 15:41 GMT (#6)
    (Utilizador Info)
    Ainda não vi bem o interesse de ter High Performance clusters 2-3 nodes ou mesmo meia duzia de nodes a não ser o puro prazer de fazer isso.

    Só o que perdes em trabalho e em performance a paralelizar as aplicações para poupares meia duzia de minutos acho que não vale a pena.

    Se querem fazer uma cluster que tal optarem como apareceu num artigo á pouco tempo, pelo grid computing. Podem meter um cliente em cada box do vosso departamaneto e correr as aplicações á noite quando não houver menos utilização. Sempre aprendem algo e fazem uma cluster poderosa .

    Pedro Esteves

    Re:Para que querem isso ? (Pontos:2, Informativo)
    por Kha0S em 12-11-02 15:57 GMT (#7)
    (Utilizador Info) http://khaos.uevora.pt
    Dá uma olhadela então no openmosix. Facilmente crias um COW (Cluster of Workstations) com pouco trabalho. Resume-se a aplicar um patch, recompilar o kernel e instalar as userland tools. A detecção de nós é feita automaticamente.

    Cumprimentos.

    Re:Para que querem isso ? (Pontos:2)
    por MavicX em 12-11-02 16:43 GMT (#10)
    (Utilizador Info)
    Não percebes-te o que eu disse :-)

    O que eu queria dizer é : Não ganhas nada em ter uma cluster com 2-3 nodes. Vale mais comprar um computador melhor (SMP de perferencia) e correr o processo sem pararelizar a aplicação e comprar mais computadores. Poupas dinheiro e trabalho.

    O openmosix ainda é pior em termos de performance. Corre aplicações sem ser paralelizadas, mas perdes tanto em performance que niguem cria high performance clusters com openmosix. É um projecto interessante mas sem grandes aplicações practicas.


    Pedro Esteves

    Re:Para que querem isso ? (Pontos:1)
    por Kha0S em 12-11-02 17:32 GMT (#11)
    (Utilizador Info) http://khaos.uevora.pt
    Não ganhas nada? Estas a dizer que ganho mais tempo em correr a aplicação numa única máquina do que num cluster que em 2 nodos|nós SMP, corre a aplicação em quase 1/4 do tempo do que corria antes (na mesma máquina sem paralelização e usando apenas 1 processador).
    Realmente não te percebo, pq não fazes sentido!
    É que tudo depende da aplicação... não se pode generalizar! A casos em que compensa e há casos que não.
    Re:Para que querem isso ? (Pontos:2, Interessante)
    por fhc em 12-11-02 23:02 GMT (#15)
    (Utilizador Info)
    Pedro, primeiramente não sou informático. Sou engenheiro de formação (mecânico, mas a bordejar agora a electrotécnica). Não posso, portanto, dar-me ao luxo de beber a minha informação de fontes tão fidedignas como a PCW e a Exame Informática.

    Dito isto, e como já projectei alguns sistemas microprocessados, posso falar algo com alguma autoridade. Creio sinceramente que o cluster é mais poderoso do que a máquina GRID simplesmente porque para o mesmo nível de computação esta é mais cara que aquele.

    Ainda para mais num cluster a escalabilidade é aproximadamente linear (a memória é local, não te esqueças), e numa máquina com multiprocessadores esta é logaritmica (só um processador--- aliás, gestor de cache--- pode escrever na memória de cada vez).

    Como eu não posso senão medir as coisas sem me fiar no que me dizem os entendidos das revistas que nem para papel higiénicos servem, dada a aspereza do papel *couchon* ;-) (erro intencional). Francisco Colaço

    Re:Para que querem isso ?(??????) (Pontos:1)
    por SkyNet em 13-11-02 16:23 GMT (#17)
    (Utilizador Info)
    Claro que não percebo, existe algum speed up, nem que baixo em usar um cluster, mesmo com 2/3 nodes. Quanto a ser necessario comprar maquinas, pode interessar juntar varias maquinas por si so inuteis para se ter alguma coisa mais vistosa em relação a performace. Para poupar minutos? isso é muito bom, o numero de vezes que corres uma aplicação com o tempo teoricamente creste para infinito, logo o tempo que poupas tambem. Mais uma coisa em termos de escalablidade não se pode dizer que uma maquina SMP é menos escalar que uma cluster. Depende das aplicações, da forma como estão feitas, e resolvidas as dependencias de dados. Num cluster existe apenas a possibilidade de trabalhar a nivel de abstração mais alto permitindo aumentar a escalablidade, não interessa a memoria, mas sim o que fazes com ela. É importante falar na velocidade da rede que limita a escalablidade dos clusters. Limitação essa que não existem em SMP, uma vez que a comunicação de dados é feita a velocidade dos barramentos.
    Kata Ton Daimona Eaytoy
    Há que considerar a componente custo. (Pontos:1)
    por fhc em 14-11-02 11:00 GMT (#21)
    (Utilizador Info)
    Quando fizémos este cluster tínhamos um dilema: EUR 1500 disponíveis. Ou comprávamos uma máquina quase moderna ou optávamos por uma solução cluster.

    Para o mesmo dispêndio o cluster é mais rápido. Esta é a questão.

    Motherboards com dois processadores e dois processadores e 1,25Gb de memória teriam custo maior do que EUR 1500, e não seriam por demais expansíveis. Ora, temos três processadores e ainda nos podemos dar ao luxo de reutilizar as motherboards como clientes quando as quisermos substituir.

    Mesmo se as não substituirmos, podemos expandir o cluster com EUR 350 por bloco (512Mb RAM, AMD Athlon 1,7 GHz, motherboard e placa de rede com PXE).

    Falamos em rendibilidade de investimento, logo proteção do dinheiro investido. É claro que se tivéssemos três mil contos disponíveis nem hesitaria em fazer um cluster igual, mas com mais escravos. Ou talvez uma COW com MPI ou openmosix. De qualquer forma, qualquer SMP custaria mais que EUR 1500, aquiesçam nisso. Além de que os três processadores são mais rápidos que uma máquina SMP com dois processadores.

    Este foi um desafio em que a solução que escolhemos é notoriamente superior. Pensem em termos de relação custo/desempenho, ou BANG or euro, se quiserem. Ou mesmo em desempenho absoluto, com um limite máximo de custos. Francisco Colaço

    Re: nodos?? (Pontos:1)
    por m3thos em 13-11-02 19:22 GMT (#18)
    (Utilizador Info) http://mega.ist.utl.pt/~mmsf
    Não.. é mesmo nós e não nodos.


    Miguel F. M. de Sousa Filipe
    handle: m3thos
    email: mmsf@rnl.ist.utl.pt
    More Human than Human.
    Re:Para que querem isso ? (Pontos:1)
    por fhc em 12-11-02 22:51 GMT (#12)
    (Utilizador Info)
    Não é verdade. Para o mesmo dispêndio, o cluster de diskless é sempre mais poderoso do que a máquina monolítica, visto que o escravo não corre senão o Fluent. Tenho a percepção de ganhos de velocidade a correr os modelos na ordem dos 100%, o que não conseguiria com um segundo processador, visto que é no raio do barramento que tudo se perde, especialmente qundo existe um processo de X a fazer updates na placa gráfica. De qualquer modo, a solução CLUSTER é melhor aquando da utilização de uma aplicação compilada com MPI. Aí só contesta quem não o experimentou. É claro que estamos a falar para o mesmo nível de gasto, uma preocupação que nós, docentes, temos que ter quando usamos o dinheiro dos contribuintes nas nossas próprias actividades de investigação. Se é a própria IBM a fazer um cluster de AMD e a colocá-lo na lista dos top 500, quem sou eu para os contarriar :-)

     

     

    [ Topo | FAQ | Editores | Contacto ]