Der Verband gründete sich im Juni 1990 mit 98 Vereinen als Territorialverband "Sächsische Schweiz" der Gartenfreunde- und Siedlerfreunde e. V., in Nachfolge aus dem seit 1948 als "Kleingartenhilfe des FDGB" und danach des VKSK bestehenden Verbandes in Pirna und Sebnitz. Im Februar 1992 erfolgte eine Umbenennung in "Territorialverband 'Sächsische Schweiz' der Gartenfreunde" e. V. Pirna.

Verteilung der Kleingartenanlagen:
Heute gehören zum TV 157 Mitgliedsvereine und deren Anlagen mit 6 856 Parzellen. Ca. 270 ha beträgt die von den Kleingärtnern genutzte Fläche, wobei 200 ha in kommunalen Besitz sind.
Die Anlagen verteilen sich auf den gesamten Landkreis Sächsische Schweiz zwischen Müglitztal und Elbtal bis hin nach Sebnitz und Neustadt auf folgende Städte und Gemeinden:
Pirna (65), Heidenau (17), Neustadt (13), Dohna (7), Sebnitz (7),
Bad Gottleuba, Berggießhübel, Bad Schandau, Bahratal, Dürrröhrsdorf-Dittersbach, Gohrisch, Struppen, Hohnstein, Königstein, Liebstadt, Lohmen, Müglitztal, Porschdorf, Rathen, Rathmannsdorf, Stadt Wehlen, Stolpen.

Besondere Aktivitäten:
In der Kleingartenanlage "Elbaue" e.V. Heidenau wurde 2005 ein Nützlingslehrpfad angelegt und als Informationspfad für Schulen und Interessierte der Öffentlichkeit zugängig gemacht.
In der Kleingartenanlage "Mügeln" e.V. Heidenau entsteht zurzeit ein neues Projekt - ein Schulungs- und Informationsgarten.
In vielen Kleingartenanlagen gibt es Feuchtbiotope, Trockenmauern oder Streuobstwiesen, welche als Gemeinschaftsprojekte betreut werden.

Seit 23.2.1992 besteht ein Partnerschaftsvertrag mit dem Kreisverband Remscheid.

Der älteste Verein des Verbandes:
KGV "Gartenfreunde" e.V. Pirna-Copitz, 1912 gegründet