1928年，国画大师徐悲鸿受聘为南京中央大学艺术系教授，在其夫人蒋碧薇的主持下，全家由上海迁居南京丹凤街中央大学宿舍。蒋碧薇的父母也与他们住一起，房子显得较拥挤，徐悲鸿总到艺术系的画室里作画，殊为不便。后在钱昌照等几位朋友的倡议帮助下，徐氏聚积卖画所得，在南京傅厚岗六号造了一座带有画室的公馆。
徐公馆于1932年12月正式建成，是一座精巧别致的两层小楼，有客厅、餐厅、卧室、画室、浴室、卫生间等，前后还有宽敞的庭院，院内有两棵高大的白杨，四周用篱笆筑成围墙。徐悲鸿搬进新居时正是“九•一八”事变发生一年国难深重的严冬，徐氏为不忘国耻和居安思危，便将新居取为“危巢”。但蒋碧薇认为此名不吉利，不久便被取消。
蒋女士禁令森严，二人感情不甚融洽。随着时间推移，二人间的差距越来越大，蒋碧薇醉心于应酬享受，徐悲鸿则潜心于绘画艺术。由于事业上没有共同的语言，生活上得不到应有的爱抚，徐悲鸿常处于一种郁郁苦闷之中。在他精心任教之时，对女弟子孙多慈的才能颇为欣赏，常常课外点拨，师生感情甚笃，不久坠入爱河。悲鸿刻一印章曰“大慈大悲”，即暗合二人名字在内。
在新居落成之时，孙多慈特购枫树苗百株作为点缀庭院之用，也为祝贺老师新画室的建成。但事机不密，又为徐夫人得之，怒不可遏，嘱佣人将树苗尽折之，做炊火之薪。悲鸿异常气恼，但慑于夫人之怒，忍气吞声，悲痛之余，乃颜其室为“无枫堂”，并刻“无枫堂”印章以抒郁愤和不忘多慈。那一时期他的画也常以画枫树为景，每画必钤上“无枫堂”印章，以示怀念这一隐痛。
1942年夏19岁的女学生廖静文由湖南赶往广西投考南宁大学，途中突遭日机轰炸，只身在桂林下车，不久便去投考中国美术学院图书管理员，而主考便是美院院长徐悲鸿。他们从偶然的邂逅到互相了解而产生感情，这给心灵遭受过创伤的徐悲鸿带来了新的生活希望，但廖氏从未想到会与比自己长二十多岁的名画家结婚。1943年廖静文考取了金陵女子大学后，还劝说徐找一位合适的伴侣，年近五旬的徐悲鸿却坚定地说“我宁愿等待你四年！”廖静文被深深感动了，她知道当时已疾病缠身的老师非常需要人照顾，所以不到一年，她又从金陵女大回到徐的身边，于1945年毅然与悲鸿结合。
徐悲鸿在与廖结婚前，由杨仲子等人出面与蒋氏协商离婚，经过多次往返谈判，并由沈钧儒等人作证，徐蒋协议离婚。但蒋提出的条件是很苛刻的，除了徐悲鸿画的百幅字画、巨额款项之外，还要求将傅厚岗六号的“无枫堂”公馆也让给她。为避免与之纠缠，徐悲鸿慨然应允。同年蒋碧薇由重庆返回南京，将无枫堂修缮一新，以高价出租给法国新闻处，自己在庭院空地上另盖了一所楼房，作为她和新夫张道藩的寓所。
