gildot

Topo
Sobre
FAQ
Tópicos
Autores
Preferências
Artigos
Sondagens
Propor artigo


8/3
gildicas
9/30
jobs
10/9
perguntas
10/25
press

 
Google Clustering - Quantidade melhor que Qualidad
Contribuído por BladeRunner em 22-05-03 10:39
do departamento googlanços
Hardware Killer Tomato escreve "Um bom exemplo de que quantidade pode ser melhor do que qualidade. Transcrevendo - "Amenable to extensive parallelization, Google’s web search application lets different queries run on different processors and, by partitioning the overall index, also lets a single query use multiple processors. To handle this workload, Google’s architecture features clusters of more than 15,000 commodity class pcs with fault-tolerant software. This architecture achieves superior performance at a fraction of the cost of a system built from fewer, but more expensive, high-end servers. " É so ver em PHPEverywhere. É um pdf muito interessante."

Entrevista com o pai da Ethernet | A influência dos télélés nos hábitos sociais  >

 

gildot Login
Login:

Password:

Referências
  • PHPEverywhere
  • Mais acerca Hardware
  • Também por BladeRunner
  • Esta discussão foi arquivada. Não se pode acrescentar nenhum comentário.
    Onde está o Wally ? (Pontos:2)
    por MiguelA em 22-05-03 12:48 GMT (#1)
    (Utilizador Info) http://anetmorreu.blogspot.com
    O primeiro comentário que faço é o seguinte:

    Onde é que eles metem 15 mil PCs ? Ok, eles estão distribuídos geograficamente, mas mesmo assim tratam-se de cerca de mil máquinas por site, o que não deixa de ser muita máquina.

    Eu acho estranho no PDF não haver uma comparação de custos com os Blades, que julgo serem as peças de hardware mais apropriadas para estes cenários, visto que reduzem o espaço necessário.

    Cumps,
    Miguel Albano
    If Spam was Money...then I'd be filthy Rich... But I'm not, so why try to sell me anything ?!?
    Re:Onde está o Wally ? (Pontos:1)
    por sab em 22-05-03 15:51 GMT (#6)
    (Utilizador Info) http://virtual.inesc.pt/~sab/
    Blade ou tower é uma questão de como montas no server.

    A questão de fundo do artigo é mais que tipo de processadores e que arquitectura de software + sistema montar. Tal como eles dizem no artigo, a aplicação deles é extremamente paralelizável. Isto é, não te interessa muito saber o que eu procuro no google, e não me interessa muito saber o que tu procuras no Google, interessa-nos é que as nossas buscas sejam rápidas. Ora o que eles dizem é que para a aplicação deles é mais barato utilizar uma arquitectura que emule (eles de facto têm racks como é óbvio - isso vem descrito no artigo) muitos pcs interligados do que ter "meia dúzia" de servers muito grandes. Isto porque o que eles gastam é capacidade de processamento e os servidores grandes são caros e em termos de capacidade de processamenteo desactualizam-se depressa. Também referem que podem aplicar esta aproximação porque a fiabilidade do sistema deles é suportada por software e não por hardware.

    O artigo é muito interessante para quem queira preceber como é que o Google funciona em termos de sistemas (não os algoritmos utilizados para fazer as buscas).
    -Sab
    "Um mundo melhor é deixado como um exercício para o leitor, Paul Graham"

    Re:Onde está o Wally ? (Pontos:3, Informativo)
    por mvalente em 23-05-03 11:21 GMT (#11)
    (Utilizador Info) http://www.ruido-visual.pt/
    A questão de fundo do artigo é mais que tipo de processadores e que arquitectura de software + sistema montar.

    Cumprimentos

    Mario Valente

    Hardware é custom (Pontos:2, Informativo)
    por jneves em 22-05-03 16:42 GMT (#7)
    (Utilizador Info) http://silvaneves.org/
    Uma coisa que não é conhecida em relação ao google é que o hardware é custom, inclusivé a motherboard é desenhada por eles. Isto permite-lhes optimizar as máquinas para serem substituídas rapidamente. O melhor exemplo que tenho é o facto de as fontes de alimentação estarem seguras com velcro, de forma a facilitar a substituição...
    Re:Hardware é custom (Pontos:1)
    por ktorn em 23-05-03 2:30 GMT (#10)
    (Utilizador Info) http://www.ktorn.com
    Eh entao verdade que eles nao se dao ao trabalho de arranjar avarias e simplesmente jogam fora as maquinas com problemas?
    Clusters versus Farms (Pontos:2)
    por MiguelA em 22-05-03 12:51 GMT (#2)
    (Utilizador Info) http://anetmorreu.blogspot.com
    O segundo comentário tem a ver com esta expressão tão usada como Clustering.

    Ora, se não estou em erro, um Cluster é um conjunto de máquinas interligadas entre si com a principal função de garantirem Availability. Geralmente partilha uma unidade de Storage, de forma a que quando uma das máquinas vai abaixo a outra possa assumir rapidamente as suas funções. Podem estar ambas activas, e neste caso funcionam igualmente como uma Farm.

    Agora, uma Farm, que se baseia sempre em conceitos de Load Balacing, é um conjunto de máquinas, todas elas independentes, que podem ou não partilhar uma storage comum, mas cujo objectivo é aumentar de forma significante a performance, já que duas máquinas com um processador são sempre mais rápidas que uma só máquina com dois processadores.

    Cumps,
    Miguel Albano
    If Spam was Money...then I'd be filthy Rich... But I'm not, so why try to sell me anything ?!?
    Re:Clusters versus Farms (Pontos:2, Informativo)
    por SmokeScreen em 22-05-03 14:41 GMT (#4)
    (Utilizador Info)
    AFAIK, existe ainda um outro tipo de Clusters que são usados para processamento distribuido.. e que necessitam de um ponto central de storage para guardar resultados.
    A noção que tenho é que há clusters "fail-over" (os que descreves) e clusters para processamento...

    Of course, I could be wrong...
    Re:Clusters versus Farms (Pontos:2)
    por MiguelA em 22-05-03 14:45 GMT (#5)
    (Utilizador Info) http://anetmorreu.blogspot.com
    Claro...existem várias formas de se usar um Cluster, o que acontece é que a definição de um Cluster não muda. Não deixam de ser máquinas ligadas entre si, o que já não acontece numa Farm, onde geralmente é um equipamento destinado a Load Balacing que efectua a escolha do nó.

    Agora, também se pode usar um conjunto de máquinas para processamento sem que seja efectivamente um Cluster...poderá ser apenas uma Farm.

    Miguel Albano
    If Spam was Money...then I'd be filthy Rich... But I'm not, so why try to sell me anything ?!?
    Re:Clusters versus Farms (Pontos:3, Esclarecedor)
    por m3thos em 22-05-03 21:37 GMT (#9)
    (Utilizador Info) http://mega.ist.utl.pt/~mmsf
    Onde e' que foste buscar a ideia que duas maquinas UP sao sempre mais rapidas que uma maquina DP ?

    o problema da frase e' o "sao sempre".
    que como e' obvio.. nao sao.. basta ver a performance de uma aplicacao com threads.
    ou de aplicacoes com partilha de dados..
    e' que dois CPUs a partilhar um BUS de .. digamos .. (por baixo) 1GB/sec sao sempre mais rapidos a comunicar do que dois CPUs a partilhar uma rede tcp/ip c/ placas GIGABIT...
    para ja' nao falar..
    de que sai mais barato comprar um dual athlon
    do que comprar DOIS athlon + placas gigabit.

    tu tens clusters nao pk duas maquinas sao mais rapidas que uma com dois cpus..
    mas porque maquinas com MUITOS cpus sao muito mais caras que MUITAS maquinas normais, e a diferenc,a de prec,o e' maior que a diferenc,a de performance. :)

    mas naturalmente um sistema multi processador e' mais rapido que varios sistemas uni-processadores interligados..
    visto que os interfaces de comunicacao dentro de uma maquina so' sao sempre mais rapidos que os interfaces de comunicac,ao entre varias maquinas.
    Alias, se isto nao fosse verdade.. porque raio e' que a SGI, IBM, SUN, HP, entre outros andavam a perder tempo e dinheiro a fazer servidores com dezenas de processadores?!?

    clustering e' uma maneira de fazeres super computacao mais barata... porque o melhor mesmo era sistemas com MUITOS cpus...

    Quanto, 'a definicao de cluster vs farm, como se caracterizam coisas como BeoWolfs, sistemas Mosix, etc?
    sao sistemas de clusters.. ou sao farms?

    sempre ouvi falar(sempre li)
    beowolf cluster, openmosix cluster, e nao beowolf farm, openmosix farm.

    alem disso... epa.. isto e' uma cena que sai no IEEE, considero-a uma fonte fiavel, onde viste essa definicao de farm vs cluster ?

    Miguel F. M. de Sousa Filipe
    handle: m3thos
    More Human than Human.
    Re:Clusters versus Farms (Pontos:2)
    por raxx7 em 25-05-03 21:02 GMT (#12)
    (Utilizador Info)

    clustering e' uma maneira de fazeres super computacao mais barata... porque o melhor mesmo era sistemas com MUITOS cpus...

    Se te resolve o problema a um custo menor, então a solução é melhor.
    Os sistemas multiprocessador oferecem melhor interligação entre CPU à custo por CPU muito superior.
    Se a performance do software não estiver muito dependente da interligação entre CPUs, um cluster é a melhor solução porque ter permite resolver mais depressa o teu problema com o dinheiro que podes gastar.
    Se não for o caso, é melhor gastares o dinheiro noutra arquitectura..


    Remember to be the Killer, not the Victim! (Nuklear Girl)
    Link correcto (Pontos:2, Informativo)
    por liberdade em 22-05-03 13:29 GMT (#3)
    (Utilizador Info)
    Porque não o link directo para o artigo em .pdf publicado pela IEEE Computer?
    http://www.computer.org/micro/mi2003 /m2022.pdf

    ---------------------------------------
    GILDOT *Sux*
    Re:Link correcto (Pontos:5, Engraçado)
    por scorpio em 22-05-03 18:42 GMT (#8)
    (Utilizador Info) http://eurotux.com/
    Ah! A liberdade da informação!

     

     

    [ Topo | FAQ | Editores | Contacto ]