Ferdinand I. měl se svojí chotí Annou Jagelonskou 15 dětí, převážně dcer. Je jasné, že se syny měl dalekosáhlé plány. (pozn. red.: chudinka Anna!!) Jeho druhorozeným synem byl sečtělý a vzdělaný Ferdinand II. Tyrolský (1529-1595), který měl slabost pro vše krásné kolem sebe, ať to byly krásné ženy či sbírky knih.

Právě ten nechal v oboře postavit v letech 1555-1556  dle vlastního návrhu nový letohrádek pro svoji tajnou lásku Filipinu Welserovou. Snad se nechal inspirovat svým otcem, který pro matku svých patnácti dětí nechal vystavět známý Letohrádek královny Anny (někdy též zvaný Matematický dům či později Belveder) na Hradčanech.

Proč tajná láska? Filipina Welserová (1527-1580) byla údajně neobyčejně krásná, chytrá, bohatá, dnes bychom řekli, že měla všech pět pé. Až na jednu podstatnou okolnost – neměla urozený původ. Ferdinand o dva roky starší Filipinu poznal, když doprovázel svého otce na císařský sněm do Augšpurku, poté se v letech 1547-1551 setkávali.

Rodina, vědoma si úskalí takového vztahu, ukryla Filipinu k tetě, Kateřině z Lokšan, na zámek Březnice (okr. Příbram). I tam ji však arcivévoda Ferdinand časem objevil a navzdory tehdejším zvykům ji na zámku Březnice pojal za ženu. Svatba se konala v mrazivém lednu 1557 a r. 1558 se narodil syn Andreas. Vztah však byl nadále utajován.

Ferdinand s Filipinou žili později na Křivoklátě, kde se jim narodil r. 1560 syn Karel.  Děti musely být po porodu vždy tajně vyneseny, ponechány před březnickou zámeckou resp. křivoklátskou hradní branou a posléze vychovávány jako nalezenci Filipinou.

Po porodu dvojčat, která ale záhy zemřela, se zdravotní stav Filipiny zhoršil. Rodina se odstěhovala r. 1567 na zámek Ambras v Tyrolsku. Až r. 1576 uznal toto manželství papež; o čtyři roky později Filipina zemřela.

Ferdinand Tyrolský velmi toužil po potomkovi, který by mohl požívat veškerá privilegia a výhody, což Andreas ani Karel vzhledem k morganatickému (nerovnému) sňatku svých rodičů nemohli. Byli tímto mj. vyloučeni z nástupnictví.

Dva roky po smrti Filipiny se proto Ferdinand oženil s mladičkou neteří, ale syna se nedočkal. Tolik příběh lásky spojený s letohrádkem, který stojí na svém místě několik staletí. V současné době patří objekt Památníku národního písemnictví, kromě pondělí je otevřeno denně do konce října od 10 do 18 hodin. Na internetových stránkách památníku je i podrobná historie letohrádku.