Ubicado en un extremo del pueblo, su origen se remonta a finales del siglo XIV ligado a la familia de los Pacheco. La mayor parte de las alusiones a esta fortaleza fecha su edificación a finales del siglo XV, pero en el Archivo Municipal de Ciudad Rodrigo se custodia un documento que data del 16 de agosto de 1474, donde se recoge que el rey Enrique IV, agradeciendo los servicios prestados por su montero mayor, Esteban Pacheco, concedió la jurisdicción del lugar para su posterior repoblación a su yerno Alvar Pérez Osorio, casado con su hija María Pacheco, cuarta Señora de Cerralbo, poseedora de la fortaleza de Alberguería. De esta manera, se comprueba que el castillo de La Alberguería de Argañán ya existía mucho antes, hecho que corrobora el conocimiento de que al menos desde el año 1376 los Pacheco tenían ya posesión de esta zona, perteneciente al entonces denominado ‘Campo del Algañán’.
Por su ubicación en la frontera lusa, este castillo fue durante siglos constante objeto de contiendas bélicas, de ahí que su finalidad fuera militar, formando una línea defensiva en el oeste de los reinos de León y Castilla frente a la continua sublevación de Portugal, dentro de un convulso periodo donde las fronteras eran tan movedizas como las arenas del desierto. Pero si por algo sobresale este castillo es por su resistencia numantina frente al alzamiento de Portugal a mediados del siglo XVII. Según consta en los escritos de la época, en el año 1643, el gobernador de la Beira, Álvaro de Abrantes, atacó La Alberguería de Argañán, se apoderó de la localidad y le prendió fuego, dentro de una campaña militar en su afán por conquistar tierras salmantinas que le llevó incluso hasta Calzada de Don Diego, a escasos kilómetros de la capital.
Sin embargo, no pudo rendir el castillo, al parecer porque poseía gran número de artillería, retirándose entonces hasta Alfayate tras talar la campiña y adueñarse del ganado. Situada sobre peña viva, esta fortaleza era uno de los exponentes más claros de cómo el origen defensivo se podía llevar a su máxima expresión, lo que propició que gran parte del pueblo se construyera desde entonces en el interior de sus muros para proteger a los lugareños de los constantes asedios.
Efectivamente, años más tarde, en la primavera de 1652 los portugueses entraron nuevamente por el campo de Agadones, saqueando e incendiando Cespedosa, El Sahúgo y Martiago. Por este motivo, un año después se pidió al Consejo de Guerra el dinero suficiente para llevar a cabo la reparación de la fortificación, pero esta propuesta no fue muy bien acogida y la cantidad solicitada nunca llegó, favoreciendo que el 12 de marzo de 1660 los portugueses invadieran el campo de Argañán con 6.000 infantes y 800 hombres a caballo, tomando el castillo de La Alberguería de Argañán que tanto habían anhelado. No tardó la Corona en darse cuenta de tan craso error, nombrando general de la frontera lusa al duque de Osuna, quien reunió sus tropas en Ciudad Rodrigo, desde donde partió un año después para sitiar el castillo y recuperarlo en apenas seis horas. Seguidamente el Rey pidió al duque de Osuna que fortificase Valdelamula y que restaurase el castillo de La Alberguería.
Sin embargo, en febrero de 1665, un violento temporal de lluvias arruinó buena parte de las fortalezas de la Raya de Castilla y Extremadura, causando importantes destrozos en el castillo. Desde entonces, al consolidarse la frontera con Portugal y perder su importancia estratégica, esta fortaleza se convirtió progresivamente en pasto del olvido, empleándose gran parte de sus piedras en la construcción de las viviendas de la localidad, como ha sucedido en otros muchos castillos de la provincia de Salamanca.
Perteneciente en tiempos a la Casa de Cerralbo, este castillo de forma trapezoidal con torreones en sus esquinas posee paredes de mampostería de granito, y las esquinas de sillería. Actualmente se encuentra en ruinas, casi escondido entre las casas de La Alberguería de Argañán y destinados sus alrededores para labores agrícolas. No obstante, todavía se pueden ver los restos del foso, las columnas de un patio y los muros que sustentaban la fortaleza.
Tal era la importancia de este castillo, que en una carta del 13 de diciembre de 1643, Urbán de Ahumada lo describía al mismísimo Rey de la siguiente manera: “Construido de argamasa, sin foso, y situado sobre una peña, aunque en un llano rodeado de eminencias a tiro de arcabuz, y que permite que el enemigo lo arrase con medios cañones, por carecer de terraplén y posibilidad de tenerlo, con cuatro cubos y una barbacana que los une con nueve medios cubillos con la torre del Homenaje. La puerta del castillo está fortificada con una media luna y estacada, tienen dos piezas de bronce de dos libras y media de bala, otras de bronce mas pequeñas y cuatro pedreros de hierro, siendo incapaz de alojar artillería más pesada. La fortaleza podría mantener una de guarnición 290 infantes”.