指南针是我国古代的四大发明之一。早在战国时期，我国人民就利用磁铁制造了一种指示方向的工具——“司南”，司南就是指南的意思。
司南的样子像一只勺，由整块的天然磁铁琢磨而成，底圆，可以在平滑的“地盘”上自由旋转，等它静止的时候，勺柄就会指向南方。“地盘”是用青铜做的，有的是个涂漆的木盘。这种底盘内圆外方，四周刻有八干（甲、乙、丙、丁、庚、辛、壬、癸）和十二支（子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥），加上四维（乾、坤、巽、艮）共二十四向，用来配合司南定向。
到宋代时期，我国劳动人民已会制造人工磁体，这样就产生了更高一级的磁性指向仪器。制造人工磁体的方法之一是把钢针放在天然磁体上摩擦，因传磁而有了磁性。直到19世纪现代电磁铁出现以前，差不多所有的指南针都是采用这种人工磁化法制成的。
据沈括《梦溪笔谈》记载，北宋时有四种不同装置的针型指南针，即水浮法、缕悬法、指甲法和碗唇法。
人们把经过磁化的钢针，穿上几根灯草，放在一只盛满水的碗里，它就能浮在水上为航海船只指示方向，这就是水浮法。水浮法指南针漂浮于水面，能相对保持磁针的水平和稳定，比较实用，正是这种指南针，首先应用于航海事业。缕悬法是把一根磁针用单丝粘住，悬在木架上，针下则安放一个标有方位的圆盘，静止时，把一根磁针用单丝粘住，悬在木架上，针下则安放一个标有方位的圆盘，静止时，钢针就指示南北。缕悬法指针转动灵活，在指导方位上准确性较高，但使用时不能有风，物体不得晃动，有很多限制。
指南针在航海上的应用，又加速了指南针本身的发展。南宋时期，开始把磁针与分方位的装置组成一个整体。这种仪器近代叫罗盘，古代则有不同的名称，或曰地罗，或曰针盘，还有的叫子午盘、定盘针、经盘等。1274年吴自牧《梦粱录》里面提到，舟船遇“风雨冥晦时，惟凭针盘而行”。最晚到这时，指南针已经发展成罗盘针了。但直到明代中叶，罗盘针仍然是水浮针。
指南针在历史上有很多不同的形态，其中比较有意思的是指南鱼和指南龟。
指南鱼大约在北宋初年被发明出来。它用一块薄薄的钢片做成，样子很像一条鱼。它有两寸长、五分宽，鱼的肚皮部分凹下去一些，使它可以像小船一样浮在水面上。钢片做成的鱼没有磁性，所以没有指南的作用。如果要它指南，还必须将鱼形钢片放在火里烧红，趁热夹出，顺南北方向放置地面，冷却后因受地磁感应而带有了磁性。虽然磁性很弱，但也可以用来指示方向。
当时不但有钢片做的指南鱼，还有用木头做的指南鱼和指南龟。用木头做指南鱼的方法是用一块木头刻成鱼的样子，像手指那样大，在鱼嘴处往里挖一个洞，拿一条磁铁放在里面，使它的s极朝外，再用蜡封好口。另外用一根针从鱼口插进去，指南鱼就做好了。把指南鱼放到水面上，鱼嘴里的针就指向南方。
指南龟也是用木头刻成的，放磁铁的办法和木头指南鱼一样，磁铁被插在尾部。不过它有比木鱼更加独特的装置法，就是在木龟的腹部下方挖一小穴，然后把木龟安在竹钉子上，让它自由转动。这就是说，给木龟设置一个固定的支点。拨转木龟，待它静止之后，它就会南北指向。
