唐代以后，在祖国大陆上的古越族（山越），有的逐步消失融合到汉族中去，有的成为现代部分少数民族的来源。在台湾，也有祖国大陆的民族和马来人、菲律宾人迁移进去，与原住人民融合发展，成为今日的高山族。明代称高山族祖先为“鸡笼山”人、“鸡笼淡水”人、“东番夷”等。福建连江人陈第于明万历三十年十二月(1603年1月)，随同明军沈有容官兵，击退侵略台湾西南部的倭寇，是祖国第一个接触高山族的学者，他写的《东番记》一文，是第一篇有关高山族生活文化的实地调查报告。在《东番记》中，称台湾为“东番”，称高山族为“东番夷”。
清代，称高山族为“土番”、“番族”，以称“番族”为普遍。在文献记载中，又划分为“野番”、“生番”和“熟番”，并记载有他们不同社的名称，这些名称有的是高山族语言的音译。直到1929年，我国现代学者林惠祥教授第一个到台湾实地调查高山族，仍称为番族，他调查后著有《台湾番族之原始文化》。在清代，又有“平埔番”与“高山番”名称。“平埔”，在台湾话里是“平坦地方”的意思，“平埔番”即指居平地的高山族；住山地者则称为“高山番”。有的则又分为“东番”与“西番”，“北番”与“南番”。
在16世纪，西方殖民者称台湾为福摩萨(llha formosa，意为美丽之岛)，称高山族为“福摩萨土著”、“福摩萨人”，在荷兰殖民者侵占台湾时期（1624-1662年），也记有一些高山族大社名称。
在日本帝国主义侵占台湾的半个世纪中（1896- 1945年），妄自改称高山族为“蕃族”、“高砂族”。日寇出于怀柔政策，假意说清朝称“番族”不好，因为“生番”二字有野蛮意思，改用“蕃殖”的
