远古时代，我们的祖先曾经在树上“构木为巢”居住了相当长一段时期，因之被称为“有巢氏”。那时的人类还不会在地上建造房屋，至多利用天然洞穴作为躲避猛兽和群体居住的地方。
从山西芮城西侯度文化遗址（距今约180万年，是目前中国境内已知的最古老的旧石器文化遗存）、匿河文化遗址（距今约50多万年）以及襄汾丁村遗址（距今约16～20万年）、朔县峙峪遗址（距今约28000年）等旧石器文化遗存来看，尚没有发现人类营造居所的遗迹。直到仰韶文化（距今约7000年）各类型文化遗址中发现和发掘出村落房基后，才逐步揭开我们祖先的居住之谜。考古发现说明，我们祖先经历了漫长的“露宿风餐”，大约在进入氏族社会以后，才懂得营建房屋，过上了定居的农耕生活。
仰韶文化东庄村类型遗址位于山西芮城，遗址中的村落面积约5万平方米，村落内发现有圆形半地穴式的房址，即掘地为穴，以木柱支撑、草泥造顶以蔽风雨。而西王村类型的遗址说明，当时地面木构建筑已出现，房屋营造技术大大改进，房内面积增大，分间布局兴起。
大约在公元前3000年左右，中原地区进入了原始社会晚期之末。这一时期的住宅建筑，在继承过去半地穴式房屋的同时又有创新和改进，如山西太谷县白燕遗址有一种平面呈“吕”字形的双间房基，双室间有过道相连，其中一间为高约2米的窑洞。石楼县岔沟村遗址发现一群平面呈“凸”字形的窑洞建筑，室内壁面抹有白灰，既可防潮还能强化采光。这是中国目前发现最早的窑洞建筑。
在山西的龙山文化遗存中，夏县东下冯遗址（约公元前2500年）发掘的10多座房屋遗址，直径大都在3-5米间，分布密集，排列有序。这种单门独户的小房屋只能适应一夫一妻制的小家庭居住。房屋内部地面上都铺有一层白灰，经测析为当时人们用石灰石烧成的，由此可知，人类开始烧制石灰并使用在房屋建筑中最迟在龙山文化时期就已出现。另外，在251号房屋内对称地排列着四块支撑柱子的础石，这是中国目前最早的地面上设置柱础的实例。
同属龙山文化的山西襄汾陶寺遗址（约公元前2500-前1900年）内发现了很多小型房址，周围分布着道路、水井、陶窑和窑坑。房屋分地面建筑、半地穴式建筑和窑洞三种类型，以后两者居多。室内的地面涂草抹泥，经过压实或焙烧，多数抹一层白灰面，室壁上也饰有白灰墙裙。这里还发现大量的窑穴和烧制石灰的窑址。
公元前21世纪后，中国进入了奴隶制社会。文献记载的传说中，尧、舜、禹是最后三位部落联盟首领，这时的部落联盟已具备国家的雏形，禹将权力传给启，我国历史上第一个奴隶制国家、第一个朝代——夏朝就建立了。到了商代，夯土技术己很成熟，山西工匠发明的版筑法促进了城墙、宫殿的发展，原始社会建筑中简单的木构架经过商周以来的不断改进，已成为中国建筑的主要结构方式。
当时，在建筑总体布局上被后世称为“四合院”的雏形也已发现。随着奴隶制的发展，建筑上不仅强烈地表现了阶级对立，而且出现了严格的等级制度，这一现象后来一直贯穿于整个封建社会的建筑之中。
