史大成出身于农耕之家，他的父亲名史绍南，粗通文墨。史大成自幼聪颖好学，不分寒暑，刻苦读书。他天性至孝。一次母亲染病，服药无效，他于焦虑之中，竟学古人割股肉和药为母疗疾，在当地被传为佳话。官府为此专门上报朝廷，以“孝子”名分得授钱粮。十六岁时，史大成考取秀才。明朝崇祯十三年，考取举人。后见明朝风雨飘摇，知其国祚不长，遂断绝入仕之念，未继续参加会试。史大成为了帮助父亲维持全家生计，便在乡学以授课为业。清朝定鼎中原后，朝廷频频来召，他屡屡拒之。后见政局稳定，大批汉人纷纷入仕，遂在父母的督促下，决定参加乡试，史大成与严我斯、蔡启僔同举顺治甲午科浙江乡试，三状元乡试同一榜，传为佳话。顺治十二年，史大成赴京会试，在会试中，成为汉人南人榜第十八名贡士。史大成参加廷试，读卷大臣并未将他作为首卷，只将他的卷子列为第三。顺治帝阅罢他的卷子，说此卷“文气光昌，字法敬慎，必端人也。”殿试中，史大成如有神助，竟被顺治帝特拔，夺得一甲第一名，以状元及第，被授翰林院修撰，时年40岁。顺治十五年，史大成为戊戌科会试同考官，随充日讲官。在京城任职四年，因父有病告假，回归乡里。史大成乃史家长子，且为惟一在京为官之人。此时，他的父亲年老体弱多病。由于史大成状元及第后，数年未归，疾病缠身的父亲自然对他十分思念。他知道，当时朝廷有规定，在京为官者，只有在六年为期的“京察”后，方可回乡省亲，而儿子在京为官时间仅三四年，离省亲尚远。为解思念之苦，他便请当地的一位画家为自己绘了一幅画像寄给儿子，并让儿子也画一幅自己的画像寄回家中。史大成接到了父亲的来信和画像后，不由大恸。他意识到，本来就多病的父亲以此来解思子之苦。他神慌意乱，晨夕难安。经过激烈的思想斗争，决定给顺治帝上疏。他在疏书中说：“臣父思子不见，思见子之仪容；呼子不来，频呼子之名字。臣若忍此，不可以为人子，亦何以为人臣！”顺治帝览此疏，竟泪眼盈眶，心生恻隐之情，特地批准他请假回家，奉养父母以终天年。并且下诏将六年一“京察”改为三年一“京察”。史大成对顺治帝的格外开恩感激涕零，表谢再三。将手头事务向翰林院大学士交卸之后，便匆匆上路。不想途中，便遇到专程赴京向他报丧的人。原来，他的父亲已十天前辞世。他突闻噩耗，竟昏倒在地，经抢救后方才苏醒，醒后便哀号不止，以致病倒。回到家中，又忙于操办丧事，悲哀加忙碌，终于卧床不起。身体稍微有些起色，便向顺治帝上疏，汇报其事，并请求在家守制三年。服阕期满，又见母亲身体不佳，再次上书朝廷，请求在家奉养老母，并且一居便是十年。据说他在家住了三年后，当地官吏见他母亲身体尚健，便向朝廷劾举他欺骗朝廷。为此，朝廷曾多次召其返京复职，但是，他却不予理会，常对人说：“岂能以一官之职而易一日之养乎！”而后，又因他的母亲去世，丁忧在家。朝廷见史大成屡召不还，遂将其削职。
康熙帝即位，史大成守丧期满，因康熙亲政大赦天下而得免于追究。康熙五年，史大成充任顺天武闱乡试主考官。康熙八年，史大成任顺天乡试主考，康熙十一年（1672），由侍读学士升为内阁学士、经筵日讲起居注官。康熙十二年，史大成升为礼部左侍郎兼翰林院学士。康熙十三年，转为礼部右侍郎至仕。康熙十五年，任殿试读卷官等。史大成屡掌文衡，始终尽心尽力，廉洁公正，恪尽职守，按才选择，唯才是举。史大成曾多次典司科考，被认为是称职的考官。在康熙年间，史大成奉诏返京，充任讲官，累官至礼部左侍郎，数次主持顺天乡试及会试，且政声卓著，空前绝后。康熙十五年，史大成退休辞官。史大成曾充任日讲官、经筵讲官等，为皇帝及满族贵族官员讲解汉族传统文化。使汉、满民族增进了解。当朝议各执己见时，他善于综合、折衷，以达到融和。据说在他任主考官时，有人上书康熙皇帝，建议免除朝廷对孝子节妇的粮米供给，他们说：“孝顺父母，为丈夫守节，是他们份内之事，与朝廷何干？”史大成对这种议论予以坚决驳斥，他说：“为子不孝，为妇不贞，又与朝廷何干？但为何却要对他们绳之以法？”康熙对他的意见十分赞赏，令对孝子节妇之粮米供应不得减免。他淡泊名利。曾为服侍父母削籍革职，他泰然处之，弃官职如弃敝履。但为民办事却记在心中。即使弃官在乡，也广行善事。他捐资，首创义修家乡水利。他的母亲去世后，曾返京复职，不久以疾辞官。康熙二十一年卒于乡里。史大成擅长于诗文，尤善制举业文，士子多敬重和效法。著有《八行堂诗文》。
