我国古籍中未见有“地下水”一词，但根据古文献记载和考古发掘证明，我们的祖先早在六七千年前就能利用地下水了。
相传我国人民在黄帝时代就懂得凿井取水了。浙江省余姚县河姆渡新石器时代遗址所发现的一口水井，是迄今我国发现最早的水井，这个竖井四壁有由四排木桩组成的方形桩木墙，排桩内顶套着一个方木框，以防排桩向里倾塌，反映出当时建井所采用的方法已相当科学，曾为后代广泛沿用。从尧时民歌中有“凿井而饮”的词句看，最早凿建水井的目的，主要是为了供人们饮水用。
据先秦文献《世本》记载：“汤旱，伊尹教民田头凿井以灌田。”在陕西沣西张家坡西周遗址中，发现8口水井，有的深达9米以上，形状有长方形和椭圆形。说明这个时候，人们已开始利用井水来灌溉农田了。
战国时期开凿水井就更加普遍。这个时期还出现了陶井，这标志着我国古代凿井技术又有新的创新。陶井井圈与井壁之间用土或碎陶片填实。施工方法与现代修建桥墩时采用的沉井法相似，这是施工技术的一个创造。此种水井除供饮用外，还供手工业用水。西汉以后，水井多为砖砌，井筒从下向上逐渐缩小，成梯形，井口较小，加盖，注意了安全卫生。
与凿建水井技术的不断提高相适应，提水用具也有逐步的改进和发展。起初是在绳索或长杆上系上汲水器具，放入井中提水，约在春秋时发明了用简单的杠杆器械的提水工具桔槔。之后，又有利用轮轴制成的辘轳和滑车提水工具的出现。
