Dominantní stavbu Valče představuje bezesporu zámek, na jehož místě stál kdysi gotický hrad, později renesančně přestavěný.

Stavba byla za hraběte Jana Kryštofa Kagera ze Štampachu částečně barokně upravena staviteli F.Barellim a po něm G. A. Biana Rossou, k dokončení velkolepé barokní přestavby pak došlo až za Globenů v letech 1730-1733. Zámek pak byl ještě upraven novobarokně v letech 1895-1896. Dne 2. dubna 1976 stavbu značně poškodil požár, jehož následky se bohužel dodnes nepodařilo vzhledem k nedostatečným finančním prostředkům odstranit. K zámku neodmyslitelně patří též rozsáhlý a proslulý park budovaný stejně jako zámecká budova ve dvou stavebních etapách. Zejména druhá fáze jej obohatila o známou galerii plastik z dílny Matyáše Bernarda Brauna, z nichž se jich dodnes dochovalo 27. Hned po Šporkově východočeském Kuksu tak Valeč vlastní nejpočetnější soubor kopií soch tohoto umělce.