法云寺位于大湖溪和汶水溪汇流处，山环水绕，景致优美，是早期台湾四大佛教圣地之一。寺院建筑素朴典雅，厚重的玻璃瓦配上雪白的墙身，周遭林立著苍松古榕，益显静雅肃穆；而正殿内高达9尺的白玉大佛，乃是由新加坡的弘宗法师所捐赠，为全台较大的玉佛，更增古寺名气。
殿前广场视野颇佳，前方峰峦叠翠，汶水、水尾等村落置于山脚下，汶水溪由期间蜿蜒而过，构成一幅农家田园景象。而正殿后方的园林内，苍劲挺拔的老松覆盖如伞，日式回廊穿绕其间，漫步林间，耳中只闻梵唱钟声，令人心神俱静。
苗栗诗人赖江质所吟咏的苗栗八景，有双峰插汉、虎屿观潮、焰山云雾、磺山喷火、明德泛月、狮山览胜、墨砚吞云、法云啣烟，其中就包括法云寺景色。被峰峦围抱的寺院，昔日交通全赖吊桥维持，随着水泥桥的改筑，其特色之一略见消褪。该桥称为「彼岸桥」，在2006年时因风雨而曾中断。通往此寺的车道是无法让大客车登顶的。其车道陡坡且狭隘，有之字形的大转弯，车辆需迂回而上，在山顶则有停车场。往寺院的登山步道名为「阿鞞跋致路」，为觉力以自己供养金修建，修成时共一千八百廿阶。法云寺建筑共分三时期，觉力法师所建的闽南式殿宇为第一期，1933年妙果继任住持时重建的日式仿唐式殿宇为第二期，现今建筑为妙然法师于1981年所建。今大雄宝殿采白墙绿瓦唐风式建筑，设有日式木造回廊，周植松树。殿中有两尊法相造型不似中上大乘的释迦牟尼像，一白一金，奠基在碧玉大理石上，为1954年迎来的丈二白玉佛和金身。寺方还收藏一项黄藤编织、编织了六个「寿」字的斗笠，为万善法师赠送给来台弘法的徒弟觉力法师。寺方还曾在西厢饲养一只名为「也罗」的鹦鹉，会念佛号，由台北建成医院负责人母亲在1973年移民日本时托养，交给真淳法师喂饲，但在1998年5月10日母亲节中午，被一名身着白衣的女游客趁寺方用餐时偷走。虽经重建，但寺中心仍有一片废园遗迹，地震折断的柱石星散其间，和寺内其他景观亦不甚调和。后来，黄碧忠在乡长任内计划整理，由任职于桃园农改场的刘政宗先提供栽植三千五百株于法云寺花圃内。
大雄宝殿前方广场，视野可望见汶水溪谷、水尾坪、汶水老街、雪霸国家公园服务区。遥望可见的鹞婆山是因李乔的《寒夜三部曲》被拍成电视，乡土的情怀重新诠释之赐，才挥别背负百年之久的阴晦之名。转入后殿方向的殿旁植有一棵象征智慧的波罗蜜树，每年八月至十二月间结果累累，被寺方以铁网围住，信众会点香膜拜。寺方种植有多株五叶松与二叶松，曾感染松材线虫，由县府农业局在2003年施打国产药品丁基加保扶，成功救活。
寺右后方小岗阜的大湖开发纪念碑，其碑文记载同治元年（1862年）吴氏兄弟向后龙道卡斯族新港社头目协商，率佃户四十多人、隘勇百余人，进入上坪一带开垦的历史。该碑亦说明此寺原位于苗栗吴家屯驻隘勇、率众搭寮垦荒的中心。寺后山的林间古道有一片寺院用以维持生活的竹林，可通往出磺坑，是昔日原住民上下山的捷径。星云法师曾在1963年在此寺停留三个月，帮忙看守竹笋以防民众上山偷采贩售，期间于茅蓬里开始写下《无声息的歌唱》一书。
此寺建立由来，是当地大湖吴姓家族为抚慰在清治开垦当地时，与泰雅族冲突伤亡的先灵，遂由参学僧妙果法师在1913年邀请涌泉寺监院、曹洞宗第四十八代法子觉力法师来台湾，同年向台湾总督府申请在大湖观音山建寺，破土兴建。
建寺为林朝栋、吴定连等所发起，并设寺产农田四、五甲，租用公有林地八十余甲。此寺与狮潭乡的南衡宫、万善祠的建立，皆和屯垦致富的刘缉光、原住民冲突有关。
当地建寺传说则讲此寺对面的鹞婆山为该地有名的恶山，尤其主峰形似鸟嘴，风水上代表会叼啄人命。当时原住民经常出草，令居住此地的汉族惊恐度日。相传当时有一名地理师路过，认为对治恶山之法，唯有在对山设置佛寺。
1914年11月17日，大雄宝殿初步建成。本名「观音禅寺」，因寺庙奠基地有如莲花座上的护法祥云，所以命名为「法云禅寺」，也有许多人称「法云寺」。由觉力禅师担任开山住持，妙果禅师为副住持，开山后续建禅堂、讲堂、功德堂、研究院、维摩院、华严院、长寿院、仁济院等。觉力禅师任内，协助派下的妙清法师创立了圆通禅寺、妙本法师姐妹创建毘卢禅寺，又与弟子真常法师、妙吉法师等组织弘扬净土法门的阿弥陀佛会总会，发行《亚光新报》，形成了四大法脉之一的法云寺派。
1927年，寺身因白蚁蛀蚀一度拆除重建。1935年4月21日关刀山地震，苗栗的狮头山劝化堂、开善寺、辅天宫、南庄永昌宫、三湾五谷宫、小南埔崇圣宫、头份义民庙、竹南中港妈祖庙等倒毁，因此地震使苗栗山区所遗留古屋甚少。因法云寺几成废墟，佛殿暂移往功德堂。第二任住持妙果，将办学重心转移到圆光禅寺，原处重建转作造林。这段时期，法云禅寺寺务，妙果完全委由师妹妙然代管。
1947年，在达华、妙果法师的奔走下，从废墟中建立了三座僧房。战后寺址为大湖乡富兴村11号。新加坡弘宗法师参观此寺后，回国募集约新台币二十万的巨资，购买缅甸玉佛送给寺方。1954年11月9日，大雄宝殿重建落成、海外侨胞捐赠的玉佛举行开光典礼。
1957年秋，河北籍的释常照今圆法师来此寺挂单，数年后自命住持，和明恒、妙缘等人联合，与原先住持发生继承争执，林朝栋之子林增璋、刘群芳等只好介入，妙果就计划将该寺改为女众道场。妙然自1960年接任后，寺院转为女众道场。
1963年，大同集团林提灶开辟观音山环山道路，贯通彼岸桥与法云寺的交通。1965年11月19日，藉纪念觉力逝世二周年、妙果逝世三周年的传授千佛大会，开山纪念堂、禅堂、讲堂、环山道路落成，县长林为恭剪彩。1981年再重建大雄宝殿。
