In der Herzogburg, die um 1250 erbaut wurde pflegte schon Walther von der Vogelweide die hohe Minne. Ihre Glanzzeit erlebte die Herzogburg St. Veit unter den Spanheimer Herzögen. Über die Jahrhunderte wechselten viele Besitzer. Im Jahr 1933 kaufte Hubert Panger sen., Spenglermeister zu St. Veit  die Herzogburg, die bis heute im Besitz der Familie Panger ist.

Kultur wurde hier immer schon gepflegt, so beherbergte die Burg 60 Jahre lang das Stadtmuseum. Unvergessen sind die Podiumsdiskussionen die Peter Turrini, Peter Handke, H. C. Artmann, Arnulf Rainer, Hans Hollein, Thomas Bernhard, Günter Nenning als Diskussionsteilnehmer  nach St. Veit brachten. Daraus entwickelte sich der spätere Club 2 im ORF. In den 60ern wurde die Burg als Filmkulisse entdeckt, der „Pfarrer mit der Jazztrompete“ wurde in St. Veit gedreht.

Anfang der 2000er Jahre entstanden die berühmten Burgkulturtage mit jährlichen Open-Airs und internationalen Größen, die tausende Besucher anlockten. Legenden wie Bob Geldof, Jeff Beck, Eric Burdon, Rebekka Bakken, Woodstock Urgestein Miller Anderson, Chris Jagger, Roger Chapman, Opus, Ruskaja, Willi Resetarits u.v.m., ließen die Burg erbeben.

Im Jahr 2005 entstand im Osttrakt, über zwei Geschosse und einem Ausmaß von rund 500 m² die renommierte Galerie Herzogburg. Internationale Künstler wie Franz West, Bruno Gironcoli , Alfred Hrdlicka sowie Größen aus dem In- und Ausland wurden durch den künstlerischen Leiter, den Bildhauer Andres Klimbacher und der Burgfrau Astrid Panger in atemberaubenden Kunstausstellungen gezeigt. Derzeit sind Plastiken und Skulpturen von Andres Klimbacher nach Terminvereinbarung zu besichtigen.