Historie města Žirovnice má jednu specifickou vlastnost – až do republikánské revoluce 1918 je nerozlučně spjata s dějinami zámku, původně gotického hradu vybudovaného pány z Hradce na přelomu 13. a 14. století. Páni z Hradce prodali roku 1356 hrad pánům z Ústí. Ti jej prodali roku 1393 neurozenému rodu Kamaréfů, kteří se vyznačovali hluboce nezřízeným životním stylem. To prosperitě města pochopitelně nepřidalo, nehledě k tomu, že později sympatizovali s husity. Že mocný Oldřich z Rožmberka neměl jejich rod příliš v oblibě, je tedy pochopitelné. Proto se také postaral o jejich odstavení. Roku 1485 přechází Žirovnice pod panství kutnohorského rodu Vencelíků z Vrchovišť, kteří nechali celý hrad přestavět a vyzdobit freskami, patřícími dodnes k jedinečným historicko-kulturním památkám. Z jejich erbu byl převzat i dnešní městský znak – stříbrný jednorožec v modrém poli. V období třicetileté války byla Žirovnice stejně jako celý kraj sužována švédskými vojsky, město zpustošeno, značné škody utrpěl i zámek. Od konce 17. století vlastnili žirovnické panství Šternberkové, kteří obnovili zámek i řadu venkovských kostelů a kaplí. Za jejich panování došlo k obrovskému rozvoji. V roce 1854 byla Žirovnice povýšena na město a o deset později se velmi proslavila díky knoflíkářskému průmyslu. Výrobu perleťových knoflíků zavedl Josef Žampach a na tuto tradici navazuje i dnešní průmyslová výroba. V roce 1910 odkoupilo celé panství od Šternberků město. Žirovnický zámek v roce 1964 vyhořel, ale velká část zůstala naštěstí zachována. Jeho celková rekonstrukce byla ukončena až v roce 1992, protože za socialismu byla po politické linii zpomalována a blokována. Zámecké nádvoří i vnitřní prostory zámku jsou využívány při mnoha kulturních akcích.