Ursprünglich sollte hier auf dem Reichsparteitagsgelände nach dem Willen Adolf Hitlers das riesige Deutsche Stadion entstehen, von dem jedoch nicht mehr als die Grundmauern fertiggestellt wurden. Der Silbersee befindet sich im nordwestlichen Teil der U-förmigen Baugrube, deren südöstlicher wurde dagegen zum Silberbuck aufgeschüttet. Das in der Region um den Dutzendteich sehr hoch stehende Grundwasser wurde anfangs gesümpft; diese Grundwasserhaltung wurde jedoch Anfang 1945 eingestellt, woraufhin sich die Baugrube mit Grundwasser füllte, das die hufeisenförmige Wasserfläche bildete.
In den folgenden Jahren bis 1962 wurde zunächst der südliche Teil des Gewässers, der sogenannte Pionierteich, als Schuttdeponie verwendet. Bis 1951 war in diesem Teil die Grube bis auf Bodenniveau mit Abfällen, Sondermüll und Schutt verfüllt, und man begann, die Hochdeponie Bauernfeindstraße zu errichten, die heute den Aussichtsberg Silberbuck bildet. Dabei wurde ohne weitere Vorsichtsmaßnahmen nach heutigen Maßstäben kritischer Sondermüll in die Deponie eingebracht, unter anderem auch Kampfstoffe aus dem Zweiten Weltkrieg und Abfälle aus der Pharma-, Mineralöl-, Pflanzenschutz- und Metallindustrie. Da diese Deponie nicht gegen das Grundwasser abgedichtet ist, können Schadstoffe in den eigentlichen Silbersee gelangen. In dem See selbst wurde Anfang der 1960er Jahre, als der Silberbuck seine Kapazitätsgrenze erreicht hatte, ebenfalls Müll abgelagert; allerdings wurde bald darauf der Deponiebetrieb eingestellt, so dass der See in seiner heutigen Form erhalten blieb.
Obwohl es die romantische, bewaldete Landschaft auf den ersten Blick nicht nahelegt, ist der Silbersee heute ein stark toxisch belastetes Gewässer. Insbesondere die Konzentration des Nervengifts Schwefelwasserstoff stellt eine große Gefahr für den Menschen dar. An manchen Ecken des Silbersees kann man den Schwefelwasserstoff an seinem unangenehmen Geruch nach faulen Eiern ganz offensichtlich erkennen, auch wenn die Konzentrationen in der Luft niedrig genug sind, um gesundheitliche Folgen auszuschließen. Das Baden im Silbersee ist jedoch lebensgefährlich und daher verboten.
Zusätzlich wird der Silbersee weiterhin durch die Altdeponie des heutigen Silberbucks belastet, von der giftige Stoffe durch Sickerwasser in den Silbersee gelangen.
Derzeit gibt es Bestrebungen die Messe in den Bereich des Silberbucks zu erweitern.
Eine vollständige Sanierung des Geländes ist aufgrund der Ausmaße der Deponie für die Stadt Nürnberg nicht finanzierbar. Das Deponievolumen beträgt 5,53 Mio. m³, davon liegen etwa 0,66 Mio. m³ unterhalb des Wasserspiegels. Schon die erforderliche nachträgliche Abdichtung der Deponien gegen das Grundwasser wäre technisch sehr aufwendig und mit immensen Kosten verbunden.