Re: [gentoo-user-br] Instalando o Lame

[Fabiano - deStilaDo]

Então, rodar um benchzinho como aquela função que eu escrevi deve mostrar
exatamente isso, o servidor é focado em throughtput, e desktop em
velocidade. Para 2 arquivos, o core 2 deve ganhar, para mais, o octa core
deve ganhar.

Mas agora eu fiquei curioso pra ver tua saida, hehe. Pra facilitar sua vida
e minha curiosidade, suponhamos que vc só tenha fácil aí um arquivo para
recodificado, você pode fazê-lo 8 vezes ao mesmo tempo para 8 arquivos de
saída diferente. Melhor ainda, só colar os comandos abaixo pra você
executar  o teste para 2, 6 e 8 lames em paralelo, só setar a variável
entrada para o nome do mp3 a ser recodificado =):


[01:23:03] (0) fabiano@destilador:/fd/mp3/tmp
$ export entrada=entrada.mp3

[01:23:14] (0) fabiano@destilador:/fd/mp3/tmp
$ function multi_lame() { while (( $# > 0 )) ; do in=$1 ; shift ; out=$1 ;
shift ; echo "Rodando lame: $in --> $out" ; lame -S $in $out &  done ; time
wait ; }

[01:23:21] (0) fabiano@destilador:/fd/mp3/tmp
$ multi_lame $( echo "$entrada saida"{1..2}.mp3 )

Rodando lame: entrada.mp3 --> saida1.mp3
[1] 13822
Rodando lame: entrada.mp3 --> saida2.mp3
[2] 13823
[1]-  Done                    lame -S $in $out
[2]+  Done                    lame -S $in $out

real    0m14.336s
user    0m27.939s
sys     0m0.063s

[01:23:39] (0) fabiano@destilador:/fd/mp3/tmp
$ multi_lame $( echo "$entrada saida"{1..6}.mp3 )

[01:24:41] (0) fabiano@destilador:/fd/mp3/tmp
$ multi_lame $( echo "$entrada saida"{1..8}.mp3 )





2008/11/14 Eduardo Schoedler <eschoedler@×××××××××××.br>

>  Grande Fabiano!
>
> Cara, nem é para tanto... rsrsrs.
> Na verdade esse octa-core é um server Dell R900, onde roda todo o sistema
> da intranet do grupo.
> Uma das tarefas dele é gerar um mp3 de saída de um tratamento de uma
> entrada, seja wave/mp3.
>
> Me perguntaram porque uma máquina de R$ 30k leva mais tempo para
> recompactar um mp3 do que um Core2-Duo pé-de-boi (comprado na loja da
> esquina)... e fiquei meio sem saber oq dizer... rsrsrs.
>
> Vendo os testes, descobrimos o motivo em conjunto.
> O lame não é multi-thread, e também cada core do octa tem o clock menor do
> que cada core do core2... por isso a diferença.
>
> Abraços à todos !!!
>
> Eduardo.
>
>
>  *From:* Fabiano - deStilaDo <fabianoengler@×××××.com>
> *Sent:* Thursday, November 13, 2008 11:58 PM
> *To:* gentoo-user-br@l.g.o
> *Subject:* Re: [gentoo-user-br] Instalando o Lame
>
> Se você faz questão de mostrar o octa-core dando um pau, vc pode fazer um
> scriptizinho pra rodar 8 lames em paralelo, aih vc ganhar em throughtput
> pelo menos, maior numero de arquivos (ou segundos de musica) convertidos por
> unidade de tempo =)
>
> O problema é o fazer o script, hehehehe =P
>
> Mas não deve ser nada de outro mundo também, me parece um exercício
> interessante pra uma hora sem nada pra fazer, talvez dê pra implementar com
> trap/wait, ou algo assim. Em C é bem fácil fazer com fork(), wait() e
> execve().
>
> Ou ainda, se vc não quiser brincar, só pra fazer um testezinho rápido, eu
> fiz uma função em bash que aceita vários arquivos como parametro e roda o
> lame para todos eles ao mesmo tempo e mostra o tempo total no final. Você
> pode rodar essa função pra 8 arquivos por exemplo e deixar que o escalonador
> do kernel cuide do paralelismo pra voce e ver os 8 cores em 100% =)
>
>
> A sintaxe é bem simples, pares de arquivos de entrada e saida,
> respectivamente:
> multi_lame entrada1 saida1   entrada2 saida2   entrada3 saida3 ...etc.
>
> Por exemplo eu rodando para 3 arquivos no meu amd X2:
>
> [00:53:50] (0) fabiano@destilador:/fd/mp3/tmp
> $ function multi_lame() { while (( $# > 0 )) ; do in=$1 ; shift ; out=$1 ;
> shift ; echo "Rodando lame: $in --> $out" ; lame -S $in $out &  done ; time
> wait ; }
>
> [00:54:02] (0) fabiano@destilador:/fd/mp3/tmp
> $ multi_lame   arq1.wav arq1.mp3   arq2.wav arq2.mp3   arq3.wav arq3.mp3
> Rodando lame: arq1.wav --> arq1.mp3
> [1] 13268
> Rodando lame: arq2.wav --> arq2.mp3
> [2] 13269
> Rodando lame: arq3.wav --> arq3.mp3
> [3] 13270
> [1]   Done                    lame -S $in $out
> [2]-  Done                    lame -S $in $out
> [3]+  Done                    lame -S $in $out
>
> real    0m6.261s
> user    0m10.183s
> sys     0m0.083s
>
>
> Cola tua saída pra 8 arquivos aê =PPP
>
> 2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>
>
>>  Já adianto que o bladeenc não converte de mp3 para mp3 ... e tb não é
>> multi-thread.
>> Eu até poderia gerar um passo a mais, exportando o mp3 para wave com o
>> mpg321... mas aí para compactar não achei nenhum que seja multi-thread.
>>
>> Abraços!
>> Eduardo.
>>
>>
>>  *From:* Eduardo Schoedler <eschoedler@×××××××××××.br>
>> *Sent:* Thursday, November 13, 2008 5:47 PM
>>   *To:* gentoo-user-br@l.g.o
>> *Subject:* Re: [gentoo-user-br] Instalando o Lame
>>
>> Olá Fabiano e Diogo!
>>
>> O htop quase me enganou... ele mostrou o lame consumindo 100%, mas ao
>> constatar pelo dstat, ele mostrou idle de 50% da máquina durante o processo.
>> Vejam:
>>
>> # dstat -c -C 0,1,total -M topcpu
>> -cpu0-usage---cpu1-usage---total-cpu----most-expensive-
>> *usr* sys idl :usr sys *idl* :usr sys idl |  cpu process
>> *100*   0   0 :  1   0  *99* : 51   0  50 |lame         100
>> *100*   0   0 :  0   1  *99* : 50   1  50 |lame         100
>> * 99*   1   0 :  0   1  *99* : 50   1  50 |lame         100
>> *100*   0   0 :  1   0  *99* : 51   0  50 |lame         100
>> * 99*   1   0 :  1   0  *99* : 50   1  50 |lame         100
>> *100*   0   0 :  1   0  *99* : 51   0  50 |lame         100
>>
>>
>> Logo, ele não faz multi-thread nenhum.
>> Alguém aí tem outra sugestão para mp3 encoder em linha de comando ?
>> Tenho um octa-core que não pode perder de um core2 duo... rsrsrs.
>>
>> Abraços!
>>
>>
>>  *From:* Fabiano - deStilaDo <fabianoengler@×××××.com>
>> *Sent:* Thursday, November 13, 2008 4:38 PM
>> *To:* gentoo-user-br@l.g.o
>> *Subject:* Re: [gentoo-user-br] Instalando o Lame
>>
>> Me parece que o lame não eh multi-thread, logo ele só vai usar um core,
>> mesmo que vc tenha 20 cpus...
>>
>> Execute o htop enquanto codifica um mp3 pra você ver, deve ter um core em
>> 100% e o resto normal.
>>
>>
>> 2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>
>>
>>>  Galera, tem outra coisa fazendo diferença.... acho que pode ser o clock
>>> de cada CPU, apesar de um ser octa-core e outro dual-core.
>>> Não sei se realmente o lame faz uso dos octa-cores.
>>>
>>> Testes no Octa-core (Gentoo rodando amd64, portanto sem MMX).
>>> ======================================================
>>>
>>> # time lame ... teste.mp3
>>> LAME 3.98.2 64bits (http://www.mp3dev.org/)
>>> ...
>>> real    0m56.400s
>>> user    0m56.370s
>>> sys     0m0.030s
>>>
>>>
>>> O pior resultado do Core2 Duo ainda é 11segs melhor que o octa-Xeon.
>>>
>>>
>>> Abraços!
>>> Eduardo.
>>>
>>>
>>>
>>>  *From:* Eduardo Schoedler <eschoedler@×××××××××××.br>
>>> *Sent:* Thursday, November 13, 2008 5:25 PM
>>>   *To:* gentoo-user-br@l.g.o
>>> *Subject:* Re: [gentoo-user-br] Instalando o Lame
>>>
>>> Alguns testes no Core 2 Duo:
>>>
>>> Com MMX ativo (e nasm instalado):
>>> =============================
>>>
>>> # time lame ...  teste.mp3
>>> LAME 3.98.2 32bits (http://www.mp3dev.org/)
>>> CPU features: MMX (ASM used), SSE (ASM used), SSE2
>>> ...
>>> real    0m41.770s
>>> user    0m41.660s
>>> sys     0m0.040s
>>>
>>>
>>>  Com MMX desativo (não adiantou só recompilar o Lame, tive de
>>> desinstalar o nasm):
>>> =====================================================================
>>>
>>> # time lame ... teste.mp3
>>> LAME 3.98.2 32bits (http://www.mp3dev.org/)
>>> ...
>>> real    0m45.143s
>>> user    0m45.010s
>>> sys     0m0.060s
>>>
>>>
>>> Já são 4s de diferença.
>>>
>>>
>>> Abraços!
>>>
>>>
>>>  *From:* Fabiano - deStilaDo <fabianoengler@×××××.com>
>>> *Sent:* Thursday, November 13, 2008 4:15 PM
>>> *To:* gentoo-user-br@l.g.o
>>> *Subject:* Re: [gentoo-user-br] Instalando o Lame
>>>
>>> teste sem o mmx no core 2 =)
>>>
>>> algo assim deve funcionar:
>>> $ time lame xxxxxx (tempo com mmx)
>>> $ quickpkg lame
>>> $ USE=-mmx emerge lame -1va
>>> $ time lame yyyyyy (tempo sem mmx)
>>> $ emerge lame -1Kva       # restaurar o lame com mmx =)
>>>
>>>
>>>
>>> 2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>
>>>
>>>>
>>>> "Thiago Nunes" escreveu:
>>>>
>>>>
>>>> 2008/11/13 Eduardo Schoedler <eschoedler@×××××××××××.br>:
>>>>>
>>>>> Estou tentando instalar o Lame em um Gentoo rodando em amd64.
>>>>>> Porém está acontecendo um negócio estranho.
>>>>>> Note que ele não está utilizando o USE de mmx, embora eu esteja
>>>>>> forçando.
>>>>>>
>>>>>
>>>>>
>>>>>> Alguém tem uma dica para mim conseguir compilar o Lame com o USE mmx ?
>>>>>>
>>>>>
>>>>> Eu não tenho uma dica, mas se servir de consolo eu te mostro algo que
>>>>> vai justificar a falta.
>>>>>
>>>>> Em "/usr/portage/profiles/arch/amd64/package.use.mask" eu encontrei o
>>>>> seguinte:
>>>>> ---
>>>>> # 8 Aug 2008: Alexis Ballier <aballier@g.o>
>>>>> # x86 asm only, it won't be built on amd64 if mmx useflag is enabled
>>>>> but that
>>>>> # saves people from needlessly installing nasm
>>>>> # Refs bug #93279
>>>>> media-sound/lame mmx
>>>>> ---
>>>>>
>>>>> Isso é porque a use mmx ativada traz o nasm como dependência, que é um
>>>>> compilador de assembly, mas só para assembly x86 (:-).
>>>>>
>>>>> []s
>>>>>
>>>>
>>>> Hummmm... realmente, depois que eu mandei o e-mail resolvi atualizá-lo
>>>> em um gento x86 que tenho aqui.
>>>> Ele instalou o nasm como dependência.
>>>>
>>>> É incrível, mas esse servidor (octa-Xeon E7310 de 1,6GHz com 16GB RAM)
>>>> tá perdendo FEIO (aprox 10 ~15segs) para compactar um mp3 contra um
>>>> Core2-duo E4500  @ 2.20GHz.
>>>>
>>>> Acredito que o flag mmx pode estar fazendo alguma diferença... mas não
>>>> sei se é tanto assim.
>>>>
>>>> Abraços!
>>>> Eduardo.
>>>>
>>>
>>> --
>>> Fabiano.
>>>
>>>
>>
>>
>> --
>> Fabiano.
>>
>>
>
>
> --
> Fabiano.
>
>


-- 
Fabiano.