Ubicado en la colina más alta de la ciudad, con 548 m, es la actual sede del Museo del Ejército en la ciudad. Su construcción se remonta a la época romana.
Los vestigios de las estructuras anteriores indican que siempre fue un lugar fortificado, desde el pretorio romano y la defensa de la alcazaba musulmana.
Su primer y principal arquitecto fue Alonso de Covarrubias desde 1545, pero en el patio intervino Villalpando y fue finalmente Juan de Herrera el autor de la monumental escalera bajo bóveda de cañón y la remodelación del ala meridional que la alberga.
Tuvo diversos usos, fue residencia real con Carlos V, cárcel de la Corona en 1643, cuartel militar de ejércitos propios y extraños, o talleres de sederos, antes de albergar la Academia de Infantería.
La portada principal, con un arco de medio punto almohadillado con los característicos “espejos” de piedra, coronado por un escudo imperial flanqueado por las figuras de los monarcas visigodos Recaredo y Recesvinto y rematado por un frontón triangular, es obra de Covarrubias. El gran patio central está rodeado por dos galerías y presidido por la figura del emperador, copia de la obra de Pompeyo Leoni. Al exterior presenta grandes torreones cuadrados en sus esquinas, las del lado norte adelantadas y las del flanco sur al ras de la fachada modificada por Juan de Herrera, rematados por tejados y chapiteles de pizarra negra.
"La fachada muestra gran horizontalidad, con tres cuerpos, que rematan en balaustrada. La reconstrucción del Alcázar ha modificado de forma necesaria el aspecto original del edificio, haciéndose notar en sus cuatro fachadas: una es renacentista; otra plateresca; la del lado este es medieval, con torreones y defensa almenada; y la del lado sur es de estilo churrigueresco, levantada según planos de Juan de Herrera".