Jde o původně renesanční zámecký objekt, jeden z pěti renesančních zámků na Šumpersku, jejichž vznik a osudy byly po staletí spojeny se jménem starobylého moravského rodu pánů ze Žerotína.

Rozsáhlá jednopatrová budova se dvěma vnitřními dvory hledí hlavním, jižním průčelím do rozsáhlého zámeckého parku, který se pozvolna svažuje k jihu, zatímco severní zámecké křídlo s dnešním vjezdem do zámku je obráceno směrem k obci a je částečně zakryto kaštanovou alejí, odbočující ze státní silnice k zámku

Se stavbou loučenského zámku začali bratři Žerotínové, synové Jana st. ze Žerotína někdy kolem roku 1608 (po smrti svého otce). K vybudování vlastního sídla si vybrali místo na jih od tehdejší obce Rejhotice (dnes součást Loučné). Zámek se stal centrem vízmberského panství (Vízmberk - Loučná).
V polovině 18. století získal zámek na zadluženém Janu Ludvíkovi velehradský klášter. Učený a uměnímilovný velehradský opat Filip Martin Zurisi si oblíbil vízmberský zámek a dal tu provést rozsáhlé úpravy. K východnímu křídlu byla za něho přistavěna rozsáhlá zámecká kaple, zasvěcená jeho oblíbeným patronům, slovanským věrozvěstům sv. Cyrilu a Metodějovi. Malby v ní jsou dílem známého pozdně barokního moravského malíře Ignáce Raaba, člena velehradského kláštera.
Roku 1833 koupil zámek Antonín Bedřich hrabě Mitrovský z Nemyšle. I on si vízmberský zámek velmi oblíbil. Byl to právě on, kdo vedle menších stavebních úprav zámeckého interiéru dal provést rozsáhlou úpravu zanedbaného zámeckého parku, který tehdy, v letech 1839 - 1845, dostal v podstatě nynější podobu anglického parku. Duší těchto okrašlovacích staveb byl stavební a železniční podnikatel František Klein. Po smrti Antonína Bedřicha Mitrovského v roce 1842 zakoupili vízmberské panství se zámkem a rozsáhlými železárnami železniční podnikatelé bratři Kleinové, povýšení za své podnikatelské zásluhy roku 1859 do šlechtického stavu s přídomkem "z Vízmberku". Z loučenského zámku, který si zvolili za trvalé rodinné sídlo, rozbíhaly se pak nitky jejich rozsáhlé podnikatelské činnosti po celé tehdejší rakouské monarchii.
Ti postupně renovovali a přizpůsobovali svému vkusu a moderním tehdy bytovým podmínkám jižní a východní křídlo zámku (větší úpravy možno datovat do 40. a 80. let 19. století). Kleinové shromáždili také na zámku poměrně rozsáhlou sbírku obrazů, která je dnes součástí zámecké obrazárny velkolosinského zámku. Pečlivě udržovaný zámecký park pak vyzdobili zajímavou pseudogotickou kašnou a četnými litinovými plastikami (např. sv. Huberta aj.), výrobky to sobotínských železáren.
Po 2. světové válce se stal zámek majetkem čs. státu a většina jeho původního vnitřního zařízení byla odvezena do depozitářů velkolosinského zámku. Dnes se hledá vhodný investor, který by zámku znovu vdechl život.

Při zámku je kaple s obrazy I. Raaba z roku 1779 a park se vzácnými stromy (mj. 600 let stará lípa s obvodem 730 cm).

Zámek sám je pro pro veřejnost nepřístupný.