Pavillonen eller restaurant Skovlyst blev opført i 1881 og var tegnet af Arkitekt Henckel, og opført af den lokale tømmer og snedker mester "Snedker Jacob". Stedet blev opført med finansiering af folkeaktier og det blev hurtigt et samlingspunkt i skoven. Tilbage fra 1880erne og de næste mange år frem var det et yndet udflugtssted såvel for lokale som folk som ankom med toget fra både Frederikshavn og så langt væk som Aalborg, for at gå tur i skoven besøge cafeen på Skovlyst. I en lang årrække var det et fast samlingspunkt for en del af sport og foreningslivet i Sæby, som benyttede den nærliggende sportspladsen, som lysningen i skoven hurtigt blev døbt i folkemunde. Såvel fodbold som den nu hedengangne cricket klubben og efterfølgende tennis klubben havde til huse i skoven. Inde i Skovlyst var den indendørs bowlebane et muntert tilløbsstykke. De unge fra lokal området kunne så tjene et par håndøre i drikke penge ved at rejse kegler, hvilket naturligvis foregik manuelt.
Lørdag aften var der i sommersæsonen dans til den lyse morgen. Og søndag eftermiddag kunne det bedre borgerskab så atter indtage lokalerne til en kop te eller kaffe sammen med en kage eller en lille forfriskning. Mange vil sikkert huske, at igennem 60'erne og op igennem 70'erne blev Skovlyst kendt viden om som danseresturanen for de unge og deres pigtrådsmusik. Blandt andet har Brødrene Olsen, Peter Belli, og Burning red Ivanhoe spillet der. Pavillonen er oprindelig en trækonstruktion hvorpå der er forekommet en del mere eller mindre vellykket knopskydning. Nu har Sæby Scenen som har til huse i Skovlyst iværksat en større redningsaktion sammen med en stribe af lokale ildsjæle.
