Trädgårdsmästeriet är ett av Thorskogs äldsta bevarade hus, omkring 100 år gammalt, och en gång hem för slottets trädgårdsmästare. Under Eskil Larssons period som slottsherre, mellan 1912 och 1926, arbetade här två namngivna trädgårdsmästare: August Andersson (inte att förväxla med stalldrängen med samma namn) samt Johan Olof Fritiof Wessman. Den förste av dem var skriven på Thorskog Norra, och var därför sannolikt den som bodde här.

På en karta från 1792 ligger här en större manbyggnad i hörnet av gräsytan nära dagens tvättstuga. Byggnaden beskrivs som två vångar hög med tegeltak, ansedd för smeder. Längs bäcken låg smedjan, och strax ovanför, mot berget, fanns en torvlada. Byggnaderna är för länge sedan rivna, men platsen bär fortfarande spår av det arbete och liv som en gång fanns här.

År 1944 tar staten över driften av slottet och det används bland annat som behandlingshem för kvinnor. Det sägs att en av kvinnorna tragiskt tar sitt liv i ett av träden som stod här på gräsytan.

Händelsen blir början på berättelser om ett spöke – en närvaro som genom åren sägs visa sig för både gäster och personal. För att få ro och bli av med anden fäller senare ägare flera av träden, men trots det så återkommer vittnesmål om hemsökelser genom åren.