Resultados 1 a 8 de 8
  1. #1
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    18,473

    [EN] Azure hits the high notes in Linpack tests, SoftLayer strangles itself

    Richard Chirgwin
    14 Feb 2017

    The best clouds are genuinely competitive with do-it-yourself high performance computing – and Microsoft's top-tier Azure is the best of the lot.

    That's the conclusion from research conducted by Mohammad Mohammadi and Timur Bazhirov of Exabyte and offered as a pre-print at Arxiv.

    The two boffins took a simple approach to creating the benchmarks: they ran up the High Performance Linpack on cloud instances, read the dials, and compared that to number 60 on the Top 500 list (at the time of the test), the National Energy Research Science Corporation's Edison unit.

    The AWS configurations generally scaled poorly in terms of speedup obtained by increasing the number of nodes. Non-hyper-threaded machines with placement groups achieved 17 times the performance at 32 nodes, compared to one node, which compared to hyper-threaded that achieved 16 times the performance at 32 nodes compared to one node.

    Of the three Azure configurations tested, the H-series performed best, with 32 nodes delivering 28 the performance of a single node; this was, the researchers noted, the best scale-up of all the cloud computing offerings they tested.

    Rackspace's Computel-60 instances scaled to 18 times the performance at 32 nodes compared to one node; while scaling IBM's SoftLayer from one node to 32 nodes only achieved 4 times the speed.

    The Edison reference system scaled 27 times the speed from one to 32 nodes.

    The researchers believe the biggest determinant of scalability is the interconnect in place: “Microsoft Azure outperforms other cloud providers because of the low latency interconnect network that facilitates efficient scaling. SoftLayer has the least favourable speedup ratio at scale, likely because of the interconnect network again.”

    Here's their criticism of SoftLayer in detail: “The network quickly saturates at scale, demonstrating the worst performance out of all cases studied. The processor clock speeds are also inferior when compared to other cloud options.”

    https://www.theregister.co.uk/2017/0...c_say_boffins/
    Última edição por 5ms; 14-02-2017 às 10:27.

  2. #2
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    18,473
    E o Google Cloud?

  3. #3
    Moderador
    Data de Ingresso
    Oct 2010
    Localização
    Rio de Janeiro
    Posts
    2,737
    Não defendendo meu empregador mas:

    1. Comparações apenas em Ghz é sacal. Em MIPS e FLOPS seria mais interessante a comparação...
    2. Quanto à rede, ela é projetada para não ter (quase) gargalos físicos. Pode ser que o teste do jornal/da Exabyte tenha sido numa época de noisy neighbours ou de algum DDoS específico...

  4. #4
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    18,473
    Linkpack "determina" GFLOPS, indicador de interesse de aplicações cientificas e de engenharia (number crunching).

    A rede é a interna, opcionalmente usada para formar um cluster com utilização de MPI. O seu empregador oferece InfiniBand e servidores com processador POWER, o que seria a comparação esperada/honesta a ser feita com HPC, alegadamente o objetivo do experimento. Mais importante porém, é que o Google Compute foi lançado focado para atender esse segmento e uma das provocações à AWS era que o poder computacional das instâncias era consistente, fundamental quando você usa algoritmos de decomposição que, como dizia o Chacrinha, "acaba quando termina" -- o tempo decorrido depende da instância mais lenta. Como explicar então a ausência do Google Compute do estudo? Talvez a pesquisa de "Mohammad Mohammadi and Timur Bazhirov of Exabyte and offered as a pre-print at Arxiv" tenha a resposta sobre os critérios utilizados.
    Última edição por 5ms; 14-02-2017 às 22:45.

  5. #5
    Moderador
    Data de Ingresso
    Oct 2010
    Localização
    Rio de Janeiro
    Posts
    2,737
    Sim, eu sei que o Linpack determina isso. Todos os nossos servidores são pré-testados com esse bicho (e quando devolvidos pelo cliente ou esvaziados para upgrade de host OS no caso de cloud, são retestados exaustivamente) e qualquer desvio do nosso número padrão de performance manda voltar o processador pra RMA.

    Só que nossa cloud não é com Power (produto ainda restrito a alguns datacenters e apenas como bare metal), e sim com x86 mesmo (o processador atual dos clouds, 2683v3 - dá pra ver quando você contrata um - não é o mais novo nem o topo de gama, mas não é tão velho quanto alguns que você acha na concorrência, por exemplo, uma vez que o lifecycle da SL é relativamente baixo, exceto para bare metals ativos, que ficam lá e só acabam quando terminam. O cliente cancelou, a máquina vai pra fora do rack).
    E não temos mais Infiniband nos clouds faz um tempo, é 10GE mesmo (setups mais antigos em fibra, setups mais novos em cobre), em switches daquele fabricante conhecido por baixíssima latência e altíssimo preço. Cada host atualmente pode chegar a 20Gbps para a rede pública e 20Gbps para o storage SAN (e tem a opção de storage local, que é em SSD).

    Seria interessante ler a metodologia dos testes de maneira exata e detalhada. Da maneira que o jornal colocou (tabelinha de instancias e gigahertz oferecidos) a comparação é muito simplória, isso se não for "comprada" (já que o mesmo jornal sentou a marreta na empresa no caso de algumas semanas atrás do portal offline).

  6. #6
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    18,473
    Comparative benchmarking of cloud computing vendors with High Performance Linpack

    Mohammad Mohammadi, Timur Bazhirov
    Exabyte Inc., San Francisco, California 94103, USA

    Abstract—We present a comparative analysis of the maximum performance achieved by the Linpack benchmark [1] on compute intensive hardware publicly available from multiple cloud providers. We study both performance within a single compute node, and speedup for distributed memory calculations with up to 32 nodes or at least 512 computing cores. We distinguish between hyper-threaded and non-hyper-threaded scenarios and estimate the performance per single computing core. We also compare results with a traditional supercomputing system for reference. Our findings provide a way to rank the cloud providers and demonstrate the viability of the cloud for high performance computing applications.
    Index Terms—Cloud Computing, High Performance Computing, Linpack

    https://arxiv.org/pdf/1702.02968.pdf

  7. #7
    Moderador
    Data de Ingresso
    Oct 2010
    Localização
    Rio de Janeiro
    Posts
    2,737
    Leitura interessante. Mas metodologias não explicitadas em detalhes reproduzíveis além de uma explicação genérica
    Os caras ainda querem uma porta de 10Gbps numa VM?

  8. #8
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    18,473
    Aposto um pacote de mariolas que esse paper será rejeitado por cada publicação cientifica de renome em que for submetido.

    Google Cloud não foi incluido no "estudo" por motivo óbvio: o gigante seria surrado, como foi a Softlayer, porque é um teste de speedup de cluster. Para aplicações que utilizam MPI o throughput da rede é decisivo (e principal mercado/aplicação do InfiniBand) e nenhum pesquisador sério iria comparar sistemas com tamanha disparidade de hardware e, muito menos, concluir obviedades.

Permissões de Postagem

  • Você não pode iniciar novos tópicos
  • Você não pode enviar respostas
  • Você não pode enviar anexos
  • Você não pode editar suas mensagens
  •