赵氏在常熟的第宅甚多：赵用贤宅初在常熟跨塘桥北堍望仙桥畔的程家巷，为临流老屋，取名松石斋。
明嘉靖三十二年（1553年），常熟知县王铁为御倭计，将常熟城址西移，扩筑新城。于是，赵用贤移居城西九万圩西泾岸百叶街，后改名为南赵弄，或称南赵家弄。
万历年间（1563－1620年），赵用贤又购得常熟城北邱氏别业作为别墅，位于镇汀门街，名赵氏北园。
咸丰六年（1856年），赵宗建缮葺报慈里旧宅，既修旧宅，又扩大地宅。
光绪十五年（1889年），新建梅颠阁于旧山楼。
光绪二十六年（1900年），重修梅颠阁。
民国十三年（1924年），军阀齐燮元、卢永祥混战至日寇侵华战争，旧山楼经毁灭殆尽。
1966年，“脉望馆”匾额于被毁。
2005年，为配合常熟市老城区保护改造，由市文物管理部门对该宅进行全面修缮保护。
赵用贤宅为主轴线房屋一组，总面积400余平方米。门屋三间，前檐斗拱出挑，阑额施以彩绘。大厅四椽袱及平梁皆作月梁。三幅云、荷叶磴、梁垫、翼形拱等浮雕装饰，图案多变，条饱满。梁枋斗拱俱施彩绘，并间以沥粉堆塑，清新淡雅。内壁有砖刻卷草纹须弥座。后堂用木板，明间有搛柱，梁架施彩绘。东厢房的三开间书厅是著名的赵氏藏书室——脉望馆。内置落地长窗，前设天井，小而精巧。宅院中还存有明代太湖石。
赵用贤宅明代官宅古建筑，是一处典型的明代官僚宅院，常熟市现存完整的明代民居。赵用贤及其子琦美分别系隆庆朝吏部左侍郎和万历朝刑部郎中，均为藏书家。赵用贤宅梁上雕刻云鹤、荷叶等精美图案，粱枋、斗拱上俱施彩画，充分表现了江南彩画的独特手法。
据《赵定宇书目》所载赵用贤宅曾藏书3000余种，至赵用贤子琦美藏书多达5000馀种、2万馀册。并刊刻书36种、126卷。
赵用贤宅书屋因为保存完整，脉望馆被称为中国私家藏书楼的“活化石”。历史上脉望馆与钱谦益的绛云楼、毛晋的汲古阁齐名，为中国古代藏书史上具有极高地位的江南著名藏书楼之一。赵用贤宅保存了比较完整的江南官僚宅第形制，为研究明代的居住建筑、彩画艺术提供了不可多得的实物资料，也为常熟深厚的历史、文化底蕴增光添彩，具有极为重要的历史、艺术价值。
1982年11月，脉望馆被公布为常熟县（市）级文物保护单位。
1995年，赵用贤宅被列为江苏省文保单位。
2006年5月25日，赵用贤宅被中华人民共和国国务院公布为第六批全国重点文物保护单位。
赵用贤宅是明代邑人赵用贤及其子孙居住的宅第。赵用贤（1535～1596年）字汝师，号定宇，明隆庆五年（1571年）进士，官至礼部右侍郎，天启初赠礼部尚书，谥号“文毅”。其子琦美，以父荫历官刑部郎中。父子皆喜藏书，为隆庆、万历间著名藏书家。
