V roku 1340 zavítal na hrad kráľ Karol Róbert. Uhorskí králi Ľupču už dlhšiu dobu nenavštívili a preto bol pobyt panovníka príležitosťou na vydávanie a overovanie listín. Karol Róbert najprv vtedajšiemu ľupčianskemu vicekastelánovi Ondrejovi, synovi Kiliána, daroval na jeho vlastnú žiadosť majetok v stolici Zala (v Zadunajsku). Údaj o funkcii vicekastelána vypovedá o rozvoji vnútornej správy hradu aj priľahlého panstva. Ondrejov pôvod v pomerne vzdialenom regióne zároveň poukazuje na politiku, ktorú panovnícky dvor už uplatňoval pri obsadzovaní úradov. Do funkcií hradných kapitánov, kastelánov a ich zástupcov boli často dosadzovaní šľachtici bez väzieb na domáce prostredie. Takýmto výberom sa predchádzalo zneužívaniu moci, známemu z éry Matúša Čáka a zároveň sa obmedzovala bežná korupcia.

O správe hradu a panstva v ére Pavla Rubigalla (1567 – 1575) vieme pomerne málo. Viac informácií máme o jeho stavebných aktivitách na hrade. Opevnenie hradu na južnej strane nechal posilniť výstavbou mohutnej tzv. Rubigallovej veže. Jej dostavbu by mohol datovať rok uvedený na reprezentačnom renesančnom portáli, ktorým sa vstupovalo do veže zo strany hradného nádvoria. Vo vysokom vlyse portálu sa nachádzal Rubigallov erb (nezachoval sa) a po jeho stranách nápis: DOMINVS / DEVS / PROTECTOR / MEVS / PAVL(US) : RVBIGALL(US) : A : C : ANNO : 1573 : 1AR. Latinský rýmovaný nápis, ktorý možno preložiť ako Pán Boh, môj ochranca, bol Rubigallovým mottom. Rok 1573 zaiste odkazoval na dobu vytvorenia portálu a teda aj dostavbu celej novovybudovanej veže. Pod nápisovým poľom portálu sú dodnes zachované tri portrétne vyobrazenia mužských postáv. Postava v strede je s najväčšou pravdepodobnosťou jediným známym vyobrazením Pavla Rubigalla. Postavy po stranách možno interpretovať ako jeho synov a dedičov – Pavla ml. a Teodora.

Po odhalení sprisahania Františka Wešelényho cisár Leopold I. v novembri 1670 nariadil konfiškáciu všetkých majetkov Márie Séčiovej. Ľupčianske panstvo s hradom sa tak stalo súčasťou Banskej komory v Banskej Bystrici. Banská komora mala o panstvo záujem už o niekoľko desaťročí skôr, najmä kvôli rozsiahlym lesom na jeho území. Drevorubačstvo a výroba dreveného uhlia boli v ranom novoveku hlavnou podmienkou efektívneho rozvoja banskej a hutnej výroby, keďže huty v tomto období spotrebúvali mimoriadne veľké množstvá dreveného uhlia pri tavbe rúd. Medené huty, hámre a železiarne pod správou Banskej komory v Banskej Bystrici potrebovali na svoju prevádzku takúto základňu. Proces prevzatia Ľupčianskeho panstva do komorskej správy bol zavŕšený v roku 1672, keď Dvorská komora vo Viedni 1. júla nariadila hlavnému komorskému grófovi Jánovi Andrejovi Joanellimu de Telvana, aby podnikol opatrenia na zefektívnenie správy Ľupčianskeho panstva a zistil možné výnosy z neho.

Komunistický režim vnímal kláštory a rehoľné spoločenstvá ako vážne nebezpečenstvo, preto sa po uchopení moci dôkladne pripravoval na ich likvidáciu. Od konca päťdesiatych rokov bol aj hrad Ľupča na dlhých tridsať rokov zapojený do týchto plánov, namierených najmä proti ženským reholiam. Tie boli zasiahnuté udalosťami známymi ako „Akcia R-ehole“, ktorej úmyslom bolo postupné odstránenie rehoľníc z verejného života a ich izolovanie v charitných domovoch, kde mali čakať na svoju smrť. Na Slovensku mala charita vo svojej pôsobnosti 14 charitných domovov, z toho 9 pre rehoľnice. Vzhľadom na preplnenosť charitných domovov bol charite pridelený nový ústav v Slovenskej Ľupči s kapacitou približne 200 postelí. Charita získala Ľupčiansky hrad na základe rozhodnutia Dislokačnej komisie pri Zbore povereníkov 18. júla 1957. Následné adaptačné práce však prebiehali necitlivým spôsobom, ktorý značne pozmenil charakter hradu. Počet intervenovaných sestier postupne klesal, a posledné rehoľnice boli v objekte sústredené do 7. decembra 1988, keď bola oficiálne ukončená činnosť charity v priestoroch hradu.