A velocidade da internet já não é um problema como era no periodo inicial com a conexão discada, no entanto a Google já algum tempo vem trabalhando para que principalmente os sites e blogs mais leves tenham destaque nas buscas. Ele adotou mais este critério porque busca obcessivamente a qualidade do acesso, onde velocidade de carregamento é um componente da usabilidade. Para descobrir se seu site ou blog carrega rápido ou não, use o serviço WebPageTest. Talvez tenha de otimizar todo ele ou com sorte, manter ele como está. Você pode também fazer comparações com outros e mesmo teste para sites móveis.
WebPageTest