Fala Fernando.. beleza?
Na verdade ocorre realmente um refresh do contexto ao ligar o Next.
Na primeira vez ele lê apenas o XML e faz um refresh. O Next analisa o contexto para completar com o que o usuário não configurou e faz um segundo refresh.
Nesse segundo refresh vão os beans anotados e as configurações extras que o next colocou.
Isso normalmente não é problema.
No seu caso, imagino que você esteja abrindo a porta num método de pós inicicialização. O que você tem que fazer também, é fechar a porta num método destrutor do bean. Se você estiver utilizando a interface InitializingBean a interface equivalente para fechar o bean é DisposableBean. Implemente as duas e feche a porta no método destrutor.
Foi feita uma grande refatoração do next agora, que estará disponível na próxima versão.
Nessa refatoração o sistema de inicialização foi mudado e não ocorre esse duplo refresh.
Se não conseguir resolver com as dicas que eu dei, volte a perguntar.