明宪宗十四年(1478),新都才子杨廷和(状元杨升庵之父)赴京应考路经阆中,应僧人之请为该庵题写“云林”大匾,此匾保存到民国时期。后,庵毁于大火。
孔家在庵侧修建了这座孔家大院。明、清时,孔氏为大户人家,以教书为生,兼营其它产业,后家道衰落。1912年、1939年,时任川北宣慰使和川康建设期成会阆中办事处主任的张澜先生在此设署衙。国民党29军军长罗廼群也看中此院,长期居住。