回避制度自古有之。东汉的“三互法”就是回避制度的最早雏形，其中规定有婚姻之家的两州人不得交互为官。唐朝时规定为官者不可在自己的家乡为官，也不可在邻乡做官。北宋时期正式规定任职必须回避原籍。
回避制度中最重要的就是地理回避和亲属回避，其次还有师生回避、拣选回避、科场回避和审判回避。
地理回避是指凡为官者不可在本地做官，即回避本籍。而到了宋代，地方官员不仅要回避本籍，且非本籍但有地产的也需要回避。明代的回避制度最严格，其中规定实行大区域回避，即北人南官，南人北官。清代改为以五百里为限，打破了传统的按行政区划分的做法，即官员虽然在外地做官，但与原籍、寄籍所在五百里范围之内的地区都要回避。应当回避的官员，如若有隐瞒不报的，一律官职降一级调用。
科场回避，即主考官及同考官的子弟不得同入试场。后来，科场回避延伸至五服之内均需回避。科举考试中的“别头”可以证明科场回避制度可以追溯到宋代。清初还规定：“凡乡试、会试主考、总裁和其他考官的子弟不许入场”。雍正以后，考场内应当回避的考官子弟应回避或改在内阁处考试，或者仍在考场考试，但需从新给予编号，另派大臣出题阅卷，就等同于“别头”。乾隆以后，科考选人更加严格，回避的亲属范围非常的大，殿试、阅卷官员也不用应考者的父兄。
诉讼回避，即主审官凡遇有亲属诉讼案件，或主审官与当事人素有仇隙，此案须更换他人去审。诉讼回避立法首见于《唐六典》“凡鞫狱官与被鞫狱人有亲属仇嫌者皆听更之”，在古代也称之为“换推制”。到了宋代，诉讼回避的范围又有所扩大，并且规定得更加细致。到了南宋，法律对于有应回避而不回避的情形，还要加以一百杖的处罚。
亲属回避是指有亲属关系的人不得在同一地区或同一衙门做官。若某天偶遇，那么官小的回避；如若同级官员相见，那么后到者回避。在清朝时期亲属回避制度比较完善。早在顺治时期，就已经规定亲族回避的事宜：现任三品以上的京官，其子弟不得考选科道官；父子、伯叔、兄弟不得共事，官位低者回避即调离另任。康熙五十五年（1716年）又补充凡大学士之子弟，不得任内阁学士。这些规定主要是限制存在血缘关系亲属范围。乾隆时期，又进一步扩大需回避的人员，即外姻亲属被列入主要对象：要求在京的各部院满汉堂司各官员，有外姻亲戚关系者，如母之父与兄弟、妻之父及兄弟、本人之女婿、嫡甥等，若在同一个衙门任职，官职低者回避。个别特殊的部门，如军机处
