海源阁是我国历史上著名的私人藏书楼之一，清道光二十年由进士杨以增所建，总计藏书22万。它与江苏常熟县瞿绍基的“铁琴铜剑楼”，浙江吴兴县陆心源的“皕宋楼”，浙江杭州丁申、丁丙的“八千卷楼”合称清代四大藏书楼。其中以瞿杨两家所收藏的宋元刻本和抄本书为最多，因之又有“南瞿北杨”的美称，深为海内外学者所仰慕。
海源阁藏书楼为单檐硬山脊南向楼房，面阔三间，上下两层，下为杨氏家祠，供杨氏先人牌位，上为宋元珍本及手抄本等秘籍收藏处。藏书楼前有一长条状小院，东侧有两座长廊式高台读书亭。楼下东首为通往后院的通道，杨宅第四进院内为海源阁明清版本藏书处。上层中间门额上悬挂“海源阁”匾额一方，为杨以增亲书，额后有杨以增自题跋语。海源阁藏书浩瀚，是杨氏四代人潜心搜集的结果。杨氏第四代人杨保彝编著《海源阁宋元秘本书目》及《海源阁书目》计有208300卷有余。另有不载于书目者尚多。
海源阁于20世纪30年代后，屡受战乱之苦，楼舍损毁，珍藏散失，只有一小部分辗转收入国家图书馆和山东省图书馆。党和政府十分重视海源阁。早在1947年1月解放聊城时，八路军某部曾发布入城三项命令，第二条就是“保护中国四大藏书家之一海源阁图书馆”。为弘扬民族文化，促进对外开放，聊城市政府筹巨资于1992年10月重新修复了海源阁。重修之楼，坐其原址，因其旧制，单檐歇山、上下两层、青砖灰瓦、红漆梁柱。正房、配房都是砖木结构，前出一厦、起有台阶、木制花棂子门窗，具有浓厚的中国清代北方四合院的建筑风格。
胡乔木题写的“一人致力万人受惠，四代藏书百代流芳”楹联，醒目地悬挂在海源阁大门两侧。1998年建立了海源阁管理处，负责海源阁的宣传、海源阁古籍文物资料的搜集、整理等管理工作，并举办了《海源阁发展史陈列》展览。展览分为三个展室，包括前言、时代背景、藏书概况、藏书兴起、藏书发展、藏书管理、地位与贡献、重新振兴、名家题赠、结束语等九个部分。展品有杨氏珍藏印章、历代主人画像、杨以增与林则徐往来书札手稿二十余件以及许多珍贵文物图片。海源阁既藏有党和国家领导人万里、谷牧、宋任穷的题词，也有启功、沈鹏、刘炳森、李苦禅等文化艺术名家字画上千幅，古籍图书近万册。
海源阁是聊城文化昌盛的标志，它与巍峨壮丽的光岳楼，雕梁画栋的山陕会馆，景色秀美的东昌湖交相辉映，为江北水城增添了无穷魅力。
1956年12月山东省人民政府把海源阁列为第一批省级重点文物保护单位。
