Ich kann das überhaupt nicht nachvollziehen. Ich spiele auch #TI4 am liebsten zu sechst (oder wenigstens zu fünft), ich spiele sehr ungern "nur" zu zweit und natürlich denke ich manchmal "los, mach schon!", aber das, was andere hier "Downtime" nennen, genieße ich gerade bei den komplexeren Spielen.
Wenn man mal die eigenen Überlegungen abgeschlossen hat, auch mal rüber zu den Nachbarn zu schauen, ein bisserl quatschen, das Spiel bewundern und vielleicht schon mal auf die Siegbedingungen zu schielen, dafür hat man doch bei weniger Spielern gar nicht genügend Zeit? 
TL,DR: Downtime ist, was man draus macht.