Warum solltest du? Gebäude baut man doch normaler Weise über die „Sommeraktion“ Bauarbeiter. Hast du die nicht ausgeführt, gibt es auch kein Gebäude.
Du kannst (mit einem Torfkahn) noch beliebig Torf gegen Ressourcen tauschen, das war es aber dann auch.