Comprei um amd64 desde 2004 e desde então uso gentoo/freebsd 64-bits. 
Sim, tivemos muitos problemas entre 2004 e 2006 com suporte a softwares 
64bits como firefox, flash, openoffice. Por isso tanto no Gentoo quanto 
no FreeBSD existiam os binários sem necessidade de compilação.

Para ser sincero, faz tempo que não me utilizo de 32bits, o que seria um 
retrocesso tecnológico pois mesmo no campo de desenvolvimento ganha-se 
muito com as "palavras maiores".

Não vejo qualquer tipo de instabilidade tanto em máquinas com 
ACCEPT_KEYWORD="~amd64" quanto em máquinas sem.

Geralmente os problemas são de compilação, raramente de execução.

Performance? Com certeza máquinas 64bits não são mais lentas que 
máquinas 32bits.

Att