举重在我国也起源很早，公元前4000年的古埃及的绘画记述了法老们举沙袋或其它重物来锻炼身体，这就是用举重来进行锻炼的最早的记录，运动员们用这种方法来增强身体力量，增加身上的肌肉。举重是一种衡量这种力量的大小、判定一组人中谁最强壮的方式。
在古代中国，士兵们通常用举起一种名为“鼎”的庞然大物来证明自己力大无穷，举重被尊为是一项壮举，这从希腊的雕塑和绘画中就可以反映出来。
在战国时代，举重就已经盛极一时了，涌现出许多叱咤风云的人物。《史记•秦本纪》载：“武王有力好戏，力士任鄙、乌获、孟说皆至大官，王与孟说举鼎，绝膑。”还有著名的商鞅“一言为重百金轻”的故事，说商鞅为了推行变法，在京城竖起重木征求力士，中者赏百金。西楚霸王项羽也是位“力能扛鼎”的大力士。
汉代时，还设有“鼎官”，负责扛鼎事宜，胜者封为“武力鼎士”。魏文帝时，铸了一个“万钧之鼎”，据说任城王能举起走动。
唐朝时，开设武举，举重被列为考试的正式科目。据说唐朝的博通，膂力过人，双手各举一床，床上放一些盛着酒的碗，他从石阶上走下来，停放时，碗中的酒纹丝不动。此后各朝都沿袭唐制，武举考试均设举重一项，仅是所举器物有所不同而已。
近年出土的一幅壁画描绘的是一名年轻人一手举着一块未经加工的石块，每个石块有他头的1.5倍大小。石块慢慢变成了哑铃，之所以这么叫是因为它们是被去掉了击锤的铃，以使它们不会发出声。之后哑铃的形状也不断演变，直到现在更受人们喜爱的杠铃。
