Na vertente este da serra da Lapa, inscrito atualmente no Parque Arqueológico do Vale do Côa, de seus muros avistam-se os castelos de Ansiães, Castelo Melhor, Castelo Rodrigo, Ranhados e Penedono.
O Castelo de Numão está classificado como Monumento Nacional desde 1910.
A primitiva ocupação humana de seu sítio remonta à pré-história, ao período Neolítico. Acredita-se que um castro dos Lusitanos tenha aqui sido erguido, posteriormente romanizado. Aquando da Invasão muçulmana da Península Ibérica, estes conquistadores aqui teriam erguido uma fortificação.