為了提供潔淨民生用水，改善衛生環境，1897年臺灣總督府衛生工程顧問威廉巴爾頓(W.K. Burton) 與其學生兼助手濱野彌四郎進行臺南地區的水源、水質的調查，於1912年開始建設臺南水道，以重力排水方式，提供臺南市區民生用水，工期共歷時10年，於1922年完工使用；1982年因烏山頭水庫、曾文水庫與潭頂淨水廠陸續完成而功成身退，見證日治時期衛生工程現代化的發展歷程。
整體之建築與空間形式極具特色，2002年指定為縣定古蹟、2005年指定為國定古蹟，2011年起臺南市政府開始進行古蹟修復計畫，並結合原農業局苗圃規劃成「臺南山上花園水道博物館」於2019年正式開放參觀。
山上花園水道博物館包括博物館區及相距約一公里的淨水池區。博物館區擁有Ａ館「快濾池室」、Ｂ館「快濾筒室/辦公室」及Ｃ館「送出唧筒室」等國定古蹟及濱野彌四郎碑座與難得一見的豐富林相； 淨水池區則包含「淨水池」、「量水器室」、「淨水池步道」及蝙蝠生態等，兼具文化與生態休閒教育。
