Resultados 1 a 9 de 9
  1. #1
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983

    A Tiny Tool to Monitor Progress for (cp, mv, dd, tar, etc.) Commands in Linux

    Aaron Kili
    September 30, 2016

    Progress, formerly known as Coreutils Viewer, is a light C command that searches for coreutils basic commands such as cp, mv, tar, dd, gzip/gunzip, cat, grep etc currently being executed on the system and shows the percentage of data copied, it only runs on Linux and Mac OS X operating systems.

    Additionally, it also displays important aspects such as estimated time and throughput, and offers users a “top-like” mode.

    It utterly scans the /proc filesystem for fascinating commands, and then searches the fd and fdinfo directories to find opened files, seeks positions, and reports status for the extensive files. Importantly, it is a very light tool, and compatible with practically any command.

    How to Install Progress Viewer in Linux

    ...

    After successfully installing it, simply run this tool from your terminal, below we shall walk through a few examples of using Progress on a Linux system.

    You can view all the coreutils commands that Progress works with by running it without any options, provided non of the coreutils commands is being executed on the system:

    $ progress




    To display estimated I/O throughput and estimated remaining time for on going coreutils commands, enable the -w option:





    Start a heavy command and monitor it using -m option and $! as follows:

    $ tar czf images.tar.gz linuxmint-18-cinnamon-64bit.iso CentOS-7.0-1406-x86_64-DVD.iso CubLinux-1.0RC-amd64.iso | progress -m $!





    http://www.tecmint.com/progress-moni...inux-commands/

  2. #2
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983

    Online.net 1Gbit Paris -> OVH 100Mbit Montreal (via PNI e rede OVH)










    BTW capacidade OVH Londres <-> OVH Newark = 600GE
    Última edição por 5ms; 05-10-2016 às 02:24.

  3. #3
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983

    Rsync @ 1Gbps: Como dizem os professores ...

    ... não é dúvida, é dívida.

    Fui fazer a lição de casa para entender como um computador remoto conectado à 100Mbit poderia estar recebendo à taxa de 1Gbps.

    A principio imaginei que a OVH tinha elevado a conexão inbound das mariolas e que o tempo para copiar o maildir completo seria reduzido de 6 horas para alguns minutos. Valeu OVH! A ilusão durou mais uns 2 minutos, quando o rsync atingiu 99% (segundo o progress -m) e voltou a zero ... desta vez copiando a 100Mbps (screenshots anteriores). O que será que tinha acontecido?

    Segundo documentação e posts sobre o RSYNC, o programa inicialmente lê o arquivo (no caso, 30GB) para calcular checksum e só após começa a copiar/atualizar. A taxa que o Progress mostrou de ~100MB/s supostamente corresponde à taxa de leitura do arquivo acessando o disco (SATA3) para calcular checksum, o que me parece abaixo do esperado, pois o servidor usa RAID-1 HW e mantém muitos gigabytes de RAM livres para cache. Uma hipótese fantasiosa que me passou pela cabeça, e já foi descartada, seria que o rsync estaria acessando o arquivo local via socket de rede, daí a limitação de 1Gbps, mas existe uma explicação mais plausivel relacionada à frequência variável dos cores vs I/O intensivo -- o que impactaria o desempenho do rsync, que é intensivo em CPU e IO (pelo menos anos atrás foi comprovada a deficiência de algoritmos do "ondemand governor" e alegadamente do kernel Linux).

    Vou repetir o rsync em servidores com HDDs SAS com 10K e 15K rpm e ver se chego a alguma conclusão. Também vou testar a operação com frequência máxima.
    Última edição por 5ms; 05-10-2016 às 15:28.

  4. #4
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983

    RSYNC fase 1 - leitura (HDD SATA3 RAID-1 RW)










    # cpufreq-info

    analyzing CPU 0:
    current CPU frequency is 2.87 GHz (asserted by call to hardware).
    analyzing CPU 1:
    current CPU frequency is 3.22 GHz (asserted by call to hardware).
    analyzing CPU 2:
    current CPU frequency is 2.03 GHz (asserted by call to hardware).
    analyzing CPU 3:
    current CPU frequency is 3.18 GHz (asserted by call to hardware).

    :~# dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync
    16384+0 records in
    16384+0 records out
    1073741824 bytes (1.1 GB) copied, 7.40609 s, 145 MB/s

  5. #5
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983

    RSYNC Fase 2 - E3-1220 1Gbit SATA3 DC3 Room 4 -> E3-1240 1Gbit SAS 10K DC3 Room 3







    # cpufreq-info
    analyzing CPU 0:
    current CPU frequency is 2.87 GHz (asserted by call to hardware).
    analyzing CPU 1:
    current CPU frequency is 3.30 GHz (asserted by call to hardware).
    analyzing CPU 2:
    current CPU frequency is 3.26 GHz (asserted by call to hardware).
    analyzing CPU 3:
    current CPU frequency is 3.27 GHz (asserted by call to hardware).


    Servidor destino:

    :~# dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync
    16384+0 records in
    16384+0 records out
    1073741824 bytes (1.1 GB) copied, 4.91157 s, 219 MB/s

  6. #6
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983

    RSYNC Fase 1 - leitura ( E3-1240 1Gbit SAS 10K)










    RSYNC Fase 2 - E3-1240 1Gbit SAS 10K DC3 Room 3 -> E3-1240 1Gbit SAS 15K DC3 Room 4





  7. #7
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983
    Conclusão: o HDD SATA3 é que está lerdo

  8. #8
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983
    A titulo de curiosidade, a fase 1 do RSYNC com disco SAS 15K rpm



  9. #9
    WHT-BR Top Member
    Data de Ingresso
    Dec 2010
    Posts
    14,983
    Citação Postado originalmente por 5ms Ver Post
    Conclusão: o HDD SATA3 é que está lerdo
    Os SATA3 daquele servidor.


    Inconformado, hoje repeti o RSYNC em outro servidor com SATA3 RAID-1 SW e ...



    O Ministério da Saúde avisa: instalar programas que revelam problemas faz mal a saúde

Permissões de Postagem

  • Você não pode iniciar novos tópicos
  • Você não pode enviar respostas
  • Você não pode enviar anexos
  • Você não pode editar suas mensagens
  •