指南针是我国古代的四大发明之一。在战国时期已经有了用天然磁石指引方向的“司南”。它是用天然磁石制成的。形如汤勺，圆底，可以放在平滑的“地盘”上并保持平衡，且可以自由旋转。当它静止的时候，勺柄就会指向南方，古人称它为“司南”。但当时的司南的应用，是郑国人在深山采玉辨别方向的工具，还未用于航海。
到晋代，出现了指南舟。《晋官阁记》上记载：“灵芝池有鸣鹤舟、指南舟。”这是我国也是世界上用指南针导航的最早记载。崔豹在《古今注》中还提到一种“指南鱼”。这种指南的工具源自一种游戏，它是水上指南北的一种鱼形玩具，制作方法为：将薄铁叶剪裁成鱼形，鱼的腹部略下凹，像一只小船，磁化后浮在水面，就能指南北。
这种游戏启发了人们的思考，到了宋代，已经能够用人工磁化的方法来制造指南针，并且在航海上已得到广泛采用了。曾公亮在《武经总要》中载有鱼形指南针制作及使用方法：“用薄铁叶剪裁，长二寸，阔五分，首尾锐如鱼形，置炭火中烧之，候通赤，以铁钤钤鱼首出火，以尾正对子位，蘸水盆中，没尾数分则止，以密器收之。”这是一种人工磁化的方法，它利用地球磁场使铁片磁化。使用时，
“置水碗于无风处平放，鱼在水面泛浮，其首常南，向午也。”北宋宣和元年( 1119年），朱或在《萍洲可谈》中记有舟船航海时在阴晦日子观看指南针的记录。北宋宣和五年（1123年），徐兢所撰的《宣和奉使高丽图经》中则记有“是夜，洋中不可住，惟视星斗前迈，若晦冥，则用指南浮针，以揆南北”。这里的“观星”、“观日”和“视星斗前迈”等航行技术和方法当属于天文航行技术或天文航法的范围。沈括在《梦溪笔谈》中还记载了用磁石磨制指南针的方法，即用磁石摩擦铁针，铁针就能够被磁化。
关于磁针的装置方法，沈括介绍了四种方法，即水浮法、“指爪”法、“碗唇”法、“缕悬”法。沈括在对四种方法作了比较后，更为推崇“缕悬”法，认为它是比较理想而又切实可行的方法，但后世广为应用的则是水浮法。水浮法指南针与圆形的方位盘结合，就成了早期用于航海的罗盘。罗盘最早记载见于南宋曾三异的《因话录》：“地螺或有子午正针，或用子午丙壬间缝针。……天地南北之正，当用子午，或谓江南地偏，难用子午之正，故丙壬参之。”地螺即是地盘，主要作用是分度列向以定南北。
