Mit einer Mauer rund um den Neuen Garten die Ufer zum Heiligen See ausgenommen hat sich König Friedrich Wilhelm II, genannt der dicke Wilhelm, von der Außenwelt abgeschottet. Ein Portierhaus mit zwei Tortürmen bewachte die Zufahrt.