Re: [gentoo-user-br] Instalando o Lame

[Eduardo Schoedler]

Grande Fabiano!

Cara, nem é para tanto... rsrsrs.
Na verdade esse octa-core é um server Dell R900, onde roda todo o sistema da intranet do grupo.
Uma das tarefas dele é gerar um mp3 de saída de um tratamento de uma entrada, seja wave/mp3.

Me perguntaram porque uma máquina de R$ 30k leva mais tempo para recompactar um mp3 do que um Core2-Duo pé-de-boi (comprado na loja da esquina)... e fiquei meio sem saber oq dizer... rsrsrs.

Vendo os testes, descobrimos o motivo em conjunto.
O lame não é multi-thread, e também cada core do octa tem o clock menor do que cada core do core2... por isso a diferença.

Abraços à todos !!!

Eduardo.

  From: Fabiano - deStilaDo 
  Sent: Thursday, November 13, 2008 11:58 PM
  To: gentoo-user-br@l.g.o 
  Subject: Re: [gentoo-user-br] Instalando o Lame


  Se você faz questão de mostrar o octa-core dando um pau, vc pode fazer um scriptizinho pra rodar 8 lames em paralelo, aih vc ganhar em throughtput pelo menos, maior numero de arquivos (ou segundos de musica) convertidos por unidade de tempo =)

  O problema é o fazer o script, hehehehe =P

  Mas não deve ser nada de outro mundo também, me parece um exercício interessante pra uma hora sem nada pra fazer, talvez dê pra implementar com trap/wait, ou algo assim. Em C é bem fácil fazer com fork(), wait() e execve().

  Ou ainda, se vc não quiser brincar, só pra fazer um testezinho rápido, eu fiz uma função em bash que aceita vários arquivos como parametro e roda o lame para todos eles ao mesmo tempo e mostra o tempo total no final. Você pode rodar essa função pra 8 arquivos por exemplo e deixar que o escalonador do kernel cuide do paralelismo pra voce e ver os 8 cores em 100% =)


  A sintaxe é bem simples, pares de arquivos de entrada e saida, respectivamente:
  multi_lame entrada1 saida1   entrada2 saida2   entrada3 saida3 ...etc.

  Por exemplo eu rodando para 3 arquivos no meu amd X2:

  [00:53:50] (0) fabiano@destilador:/fd/mp3/tmp
  $ function multi_lame() { while (( $# > 0 )) ; do in=$1 ; shift ; out=$1 ; shift ; echo "Rodando lame: $in --> $out" ; lame -S $in $out &  done ; time wait ; }

  [00:54:02] (0) fabiano@destilador:/fd/mp3/tmp
  $ multi_lame   arq1.wav arq1.mp3   arq2.wav arq2.mp3   arq3.wav arq3.mp3
  Rodando lame: arq1.wav --> arq1.mp3
  [1] 13268
  Rodando lame: arq2.wav --> arq2.mp3
  [2] 13269
  Rodando lame: arq3.wav --> arq3.mp3
  [3] 13270
  [1]   Done                    lame -S $in $out
  [2]-  Done                    lame -S $in $out
  [3]+  Done                    lame -S $in $out

  real    0m6.261s
  user    0m10.183s
  sys     0m0.083s


  Cola tua saída pra 8 arquivos aê =PPP


  2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>

    Já adianto que o bladeenc não converte de mp3 para mp3 ... e tb não é multi-thread.
    Eu até poderia gerar um passo a mais, exportando o mp3 para wave com o mpg321... mas aí para compactar não achei nenhum que seja multi-thread.

    Abraços!
    Eduardo.

      From: Eduardo Schoedler 
      Sent: Thursday, November 13, 2008 5:47 PM
      To: gentoo-user-br@l.g.o 
      Subject: Re: [gentoo-user-br] Instalando o Lame


      Olá Fabiano e Diogo!

      O htop quase me enganou... ele mostrou o lame consumindo 100%, mas ao constatar pelo dstat, ele mostrou idle de 50% da máquina durante o processo. Vejam:

      # dstat -c -C 0,1,total -M topcpu
      -cpu0-usage---cpu1-usage---total-cpu----most-expensive-
      usr sys idl :usr sys idl :usr sys idl |  cpu process
      100   0   0 :  1   0  99 : 51   0  50 |lame         100
      100   0   0 :  0   1  99 : 50   1  50 |lame         100
       99   1   0 :  0   1  99 : 50   1  50 |lame         100
      100   0   0 :  1   0  99 : 51   0  50 |lame         100
       99   1   0 :  1   0  99 : 50   1  50 |lame         100
      100   0   0 :  1   0  99 : 51   0  50 |lame         100


      Logo, ele não faz multi-thread nenhum.
      Alguém aí tem outra sugestão para mp3 encoder em linha de comando ?
      Tenho um octa-core que não pode perder de um core2 duo... rsrsrs.

      Abraços!

        From: Fabiano - deStilaDo 
        Sent: Thursday, November 13, 2008 4:38 PM
        To: gentoo-user-br@l.g.o 
        Subject: Re: [gentoo-user-br] Instalando o Lame


        Me parece que o lame não eh multi-thread, logo ele só vai usar um core, mesmo que vc tenha 20 cpus...

        Execute o htop enquanto codifica um mp3 pra você ver, deve ter um core em 100% e o resto normal.



        2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>

          Galera, tem outra coisa fazendo diferença.... acho que pode ser o clock de cada CPU, apesar de um ser octa-core e outro dual-core.
          Não sei se realmente o lame faz uso dos octa-cores.

          Testes no Octa-core (Gentoo rodando amd64, portanto sem MMX).
          ======================================================

          # time lame ... teste.mp3
          LAME 3.98.2 64bits (http://www.mp3dev.org/)
          ...
          real    0m56.400s
          user    0m56.370s
          sys     0m0.030s


          O pior resultado do Core2 Duo ainda é 11segs melhor que o octa-Xeon.


          Abraços!
          Eduardo.



            From: Eduardo Schoedler 
            Sent: Thursday, November 13, 2008 5:25 PM
            To: gentoo-user-br@l.g.o 
            Subject: Re: [gentoo-user-br] Instalando o Lame


            Alguns testes no Core 2 Duo:

            Com MMX ativo (e nasm instalado):
            =============================

            # time lame ...  teste.mp3
            LAME 3.98.2 32bits (http://www.mp3dev.org/)
            CPU features: MMX (ASM used), SSE (ASM used), SSE2
            ...

            real    0m41.770s
            user    0m41.660s
            sys     0m0.040s


            Com MMX desativo (não adiantou só recompilar o Lame, tive de desinstalar o nasm):
            =====================================================================

            # time lame ... teste.mp3
            LAME 3.98.2 32bits (http://www.mp3dev.org/)
            ...

            real    0m45.143s
            user    0m45.010s
            sys     0m0.060s


            Já são 4s de diferença.


            Abraços!

              From: Fabiano - deStilaDo 
              Sent: Thursday, November 13, 2008 4:15 PM
              To: gentoo-user-br@l.g.o 
              Subject: Re: [gentoo-user-br] Instalando o Lame


              teste sem o mmx no core 2 =)

              algo assim deve funcionar:
              $ time lame xxxxxx (tempo com mmx)
              $ quickpkg lame
              $ USE=-mmx emerge lame -1va
              $ time lame yyyyyy (tempo sem mmx)
              $ emerge lame -1Kva       # restaurar o lame com mmx =)




              2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>


                "Thiago Nunes" escreveu: 



                  2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>:


                    Estou tentando instalar o Lame em um Gentoo rodando em amd64.
                    Porém está acontecendo um negócio estranho.
                    Note que ele não está utilizando o USE de mmx, embora eu esteja forçando.




                    Alguém tem uma dica para mim conseguir compilar o Lame com o USE mmx ?


                  Eu não tenho uma dica, mas se servir de consolo eu te mostro algo que
                  vai justificar a falta.

                  Em "/usr/portage/profiles/arch/amd64/package.use.mask" eu encontrei o seguinte:
                  ---
                  # 8 Aug 2008: Alexis Ballier <aballier@g.o>
                  # x86 asm only, it won't be built on amd64 if mmx useflag is enabled but that
                  # saves people from needlessly installing nasm
                  # Refs bug #93279
                  media-sound/lame mmx
                  ---

                  Isso é porque a use mmx ativada traz o nasm como dependência, que é um
                  compilador de assembly, mas só para assembly x86 (:-).

                  []s



                Hummmm... realmente, depois que eu mandei o e-mail resolvi atualizá-lo em um gento x86 que tenho aqui.
                Ele instalou o nasm como dependência.

                É incrível, mas esse servidor (octa-Xeon E7310 de 1,6GHz com 16GB RAM) tá perdendo FEIO (aprox 10 ~15segs) para compactar um mp3 contra um Core2-duo E4500  @ 2.20GHz.

                Acredito que o flag mmx pode estar fazendo alguma diferença... mas não sei se é tanto assim.

                Abraços!
                Eduardo.


              -- 
              Fabiano.




        -- 
        Fabiano.




  -- 
  Fabiano.