Drewniana gotycka twierdza znajdowała się w Paskowie prawdopodobnie już w drugiej połowie XIII wieku, jednakże jest to udokumentowane na piśmie dopiero około 1484 roku. Twierdzę przebudował w formie zamku renesansowego pod koniec XVI wieku Ctibor Syrakovsky z Pěrkova.
W czasie wojny trzydziestoletniej Pasków spłonął w 1643 r. Właściciele, rodzina Bruntálských z Vrbna, pod koniec XVII wieku odrestaurowali go już w stylu barokowym. Do zamku dołączono dziedziniec z niewielkimi narożnymi basztami, tzw. okrąglakami.
W 1869 roku zamek spłonął i jego ówczesny właściciel, Saint Genois d'Aneaucourt, kazał przebudować budynek w stylu neoklasycystycznym, w jakim przetrwał do czasów obecnych. Wejście zaakcentowano ryzalitem z trójkątną tarczą i wazonami, po wschodniej stronie zamku dobudowano balkon.
Ostatnimi właścicielami szlacheckimi byli Stolbergowie. Pierwszy z nich, Günther, w 1893 roku kazał kopułową minę dopasować do płaskiego dachu wieży zamkowej a w 1914 roku wybudował obok zamku pseudobarokową kaplicę, którą poświęcił patronowi Stolbergów, św. Elżbieta z Duryňskiej.
W 1945 roku zamek rodziny Stolbergów został skonfiskowany w związku z kolaboracją z hitlerowcami. Od początku lat 50. XX w. do 2004 r. w zamku działał szpital onkologiczny. Po zakończeniu działalności szpitala tereny zamkowe zostały opuszczone i przez kilka lat popadały w ruinę.
W kwietniu 2013 roku miasto Pasków zakupiło historyczne budynki i część parku z wizją ich nowego wykorzystania. W ciągu kilku lat udało się stopniowo wyremontować większą część zamku, która obecnie jest użytkowana jako muzeum majątku Paskov i tło dla wydarzeń kulturalnych i społecznych miasta.
Zamek jest udostępniony do zwiedzania w sezonie letnim zawsze w soboty i niedziele w godzinach od 10.00 do 17.00. W tym czasie na górnym piętrze zamku instalowane są zmieniające się wystawy lokalnych malarzy i fotografów, które przyciągają zwiedzających z bliska i daleka.
Zamek otoczony jest parkiem, pierwotnie zbudowanym w stylu francuskim, później angielskim. Park jest ogólnodostępny dla zwiedzających.