Wie die anderen hier denke ich auch, dass ein bauliches Problem vorliegt, genaueres wird dir aber wahrscheinlich nur ein Fachmann vor Ort sagen können.
Im Winter wenn es kalt ist und die Luftfeuchtigkeit niedrig ist, dann stimmt das Stoßlüften, aber gerne auch öfter als 3 mal, dafür aber kürzer, es geht nur darum das die Wände nicht auskühlen und somit Feuchtigkeit darauf kondensiert. Fenster nicht kippen sondern voll aufreißen damit ein maximaler Luftaustausch stattfindet.
Im Sommer solltest du allerdings nur in der Nacht lüften, sonst kondensiert dir die warme, feuchte Außenluft im Raum und die "ziehst" dir Feuchtigkeit sozusagen herein.
Du könntest noch versuchen dem Schimmel das Leben schwer zu machen, indem du den Raum mit einer Kalkfarbe ausmalst. Schimmelpilze mögen nämlich ein leicht saures Milieu und Kalkfarbe hat einen hohen PH Wert (basisch) und außerdem bindet sie Wasser. Wenn es viel zu feucht ist dann wird das allerdings auch wenig helfen.