Foi, inicialmente, chamado de Descanso, depois, de São Januário. Do Castelo passou a ser após a construção da fortaleza em seu cume.
O primeiro acesso era pela Ladeira da Misericórdia, cujo início existe, até hoje, junto à igreja de NªSª de Bonsucesso. Mais tarde veio a ter mais dois acessos: a Ladeira do Seminário (do Poço do Porteiro, da Mãe do Bispo ou da Ajuda), que vinha de onde hoje fica os fundos do Museu Nacional de Belas Artes, e a chamada Ladeira do Colégio (do Castelo, do Cotovelo ou do Carmo), que ficava no prolongamento da Rua por detrás do Carmo (hoje Rua do Carmo) e ia dar no Colégio dos Jesuítas.
O local não poderia ter sido melhor quando, em 1567 o governador Mem de Sá ordenou a mudança. Do local era possível ver não só a entrada da barra como toda a extensão da baía. Prédios importantes foram construídos e que resistiram até o arrasamento do morro, no início do séc.XX. A fortaleza de S.Sebastião, a igreja consagrada ao mesmo santo, a casa da Câmara, o colégio e a igreja dos jesuitas destacavam-se entre o casario dos primeiros habitantes. A igreja dos jesuítas tinha sobre a porta a inscrição 1567, ano em que se iniciou sua construção.
A expulsão dos jesuitas, ordenada pelo marquês de Pombal e executada pelo conde de Bobadela em 1759, ocasionou a transformação do prédio que era colégio em um hospital militar e a igreja em capela do hospital; a seu lado, nas bases de uma nova igreja não concluída, foi instalado um observatório astronômico. Havia, ainda, um posto de sinais para comunicação com as fortalezas e os navios.
Coube ao prefeito Carlos Sampaio decretar, em agosto de 1920, o fim do morro do Castelo. No dia 1º de novembro de 1921 celebrou-se a última missa na igreja de São Sebastião, ocupada pelos «barbadinhos». As lendas sobre tesouros escondidos pelos jesuítas que, ao sairem apressados, teriam deixado enterrados no morro, foram se dissipando à medida que o desmonte prosseguia.
As obras que deveriam estar terminadas para a Exposição do Centenário da Independência, só vieram a ser concluídas anos mais tarde. A área resultante do desmonte, num total de 184 mil metros quadrados, passou a ser conhecida por Esplanada do Castelo.
A terra obtida do desmonte foi utilizada para a formação da Av. Beira-Mar, do aeroporto Santos Dumond, e do bairro da Urca.
A foto maior mostra a Ladeira do Colégio na encosta do Morro do Castelo (repare, à esq., a igreja de São José); no desenho vêem-se os três acessos ao alto do morro; na foto aérea, de 1934, é possivel identificar o Theatro Municipal e a Av. Rio Branco e ver parte da Esplanada; na última foto, outro aspecto da Esplanada vendo-se, ao longe e pelos fundos, a igreja de Sta Luzia.
