徐渭于明武宗正德十六年二月初四日出生于绍兴府山阴县观桥大乘庵东（今属浙江绍兴）一个趋向衰落的大家族。其父徐鏓曾任四川夔州府（治今重庆市）同知。徐鏓的原配童氏，生下徐淮、徐潞两个儿子；继娶苗氏，不曾生育。徐鏓晚年纳妾才生下徐渭，徐渭自幼由嫡母苗夫人抚养。在徐渭出生百日后，徐鏓便去世。十岁时，徐渭的生母又被苗氏逐出家门，骨肉分离，对他而言刺激颇深。徐渭十四岁时，苗夫人去世，徐渭随长兄徐淮生活。二人年龄相差三十多岁，又缺乏手足之情，相处得不甚愉快。
徐渭青少年时得不到亲生父母的疼爱，在家庭生活中地位低下，有寄人篱下之感。然而他聪颖异常，文思敏捷，六岁读书，九岁便能作文，十多岁时仿扬雄的《解嘲》作《释毁》，享誉远近。当地的绅士们称他为神童，将其与东汉的杨修、唐朝的刘晏相提并论。在世态炎凉之中，徐渭形成了既孤傲自赏，又郁郁寡欢的性格。
徐渭成年后“貌修伟肥白，音朗然如鹤唳”，时常中夜呼啸，宣泄愤慨。所作的诗文恣露胸臆、奇傲纵诞，有超轶千古的不羁之感。嘉靖二十年（1541年），二十一岁的徐渭入赘绍兴富户潘氏，并随任典史的岳父潘克敬游宦阳江（今属广东），协助办理公文，对官场情况开始有所了解。不久，他又返回山阴，参加乡试，往返于浙粤两地。
在往返浙粤的途中，徐渭还乘兴登南昌滕王阁，游梅岭观音洞。于沿途吟诗赋辞，流露出平生以来少有的乐观情感。他还与山阴文士沈炼、萧勉、陈鹤、柳文等结为文社，被时人称为“越中十子”。在广交文友的活动中，徐渭转而博采众长，文学与艺术的修养得到迅速提高。沈炼曾夸奖他说：“关起城门，只有这一个（徐渭）。”
自幼以才名著称乡里的徐渭，却在科举道路上却屡遭挫折。嘉靖十九年（1540年），二十岁的他考中了秀才。此后，徐渭两次参加绍兴府乡试，直到四十一岁时，经历了八次考试的他，始终也未能中举。此外，二十五岁时，徐家财产又被豪绅无赖霸占，所属的房产、田园，荡然无存。二十六岁时，徐渭的爱妻潘氏又得病溘然去世。人亡家破，功名不第，使徐渭不知所措。为了谋生，他离乡背井来到太仓（今属江苏），却不得要领，只能徒劳而返。
嘉靖二十七年（1548年），徐渭开设“一枝堂”，招收学童，教私塾以糊口，并且开始追随季本、王畿等人，研习王守仁的学说。次年，徐渭不顾世俗偏见，把母亲接回自己家中。
徐渭在钻研学问同时，对政局十分关心。嘉靖二十九年（1550年）秋，蒙古首领俺答率军在北京一带掳掠，史称“庚戌之变”。徐渭听闻此讯后，义愤填膺，挥笔创作《今日歌》、《二马诗》等，痛斥权臣严嵩误国。
嘉靖三十一年（1552年），徐渭考中乡试的初试，并受到浙江提学副使薛应旂的赏识，拔为第一，增补为县学廪膳生。但在复试时，徐渭仍未中举。
嘉靖三十三年（1554年），倭寇进犯浙闽沿海，绍兴府成为烽火之地。平时好阅兵法的徐渭，先后参加了柯亭、皋埠、龛山等地的战役，并出谋划策，初步显示了军事才能。此时，徐渭引起了浙江巡抚胡宗宪的注意。
嘉靖三十七年（1558年）冬，升任浙闽总督的胡宗宪，钦慕徐渭的才识。经过多次相邀，胡宗宪终于将徐渭招入幕府，充当幕僚。
入幕之初，徐渭为胡宗宪创作了《进白鹿表》，受到明世宗朱厚熜的赏识。自此，胡宗宪对他更为倚重。
徐渭不满于胡宗宪傍依权臣严嵩，但钦佩胡宗宪的抗倭胆略，感念他对自己的信任。经过一番犹豫，徐渭还是进入了总督衙署。
此后，徐渭随总督府移驻宁波、杭州、严州（今浙江建德）、崇安等地。他“知兵，好奇计”，为胡宗宪谋划，助其擒获倭寇首领徐海、招抚海盗汪直。
嘉靖四十一年（1562年），严嵩被免职，徐阶出任内阁首辅。在徐阶的策动下，胡宗宪受到参劾，并于次年被逮捕至京（后因平倭有功，只受到免职处分），徐渭便离开了总督府。
嘉靖四十二年（1563年），徐渭应礼部尚书李春芳之聘，前往京师。次年，因与李春芳性格不合，便辞归故里。不料，李春芳不能容忍徐渭的辞聘，威胁徐渭归复到他的门下。徐渭只得赶回北京，请旧友说项，才算了结此事。
嘉靖四十四年（1565年），胡宗宪再次被逮入狱，并死于狱中，他原先的幕僚也有数人受到牵连。徐渭生性本就有些偏激，因连年应试未中，加上精神上很不愉快，此时他对胡宗宪被构陷而死深感痛心，更担忧自己受到迫害，于是对人生彻底失望，以至发狂。他写了一篇文辞愤激的《自为墓志铭》，而后拔下壁柱上的铁钉击入耳窍，流血如迸，医治数月才痊愈。后又用椎击肾囊，也未死。如此反复发作，反复自杀有九次之多。
嘉靖四十五年（1566年），徐渭在又一次狂病发作中，因怀疑继妻张氏不贞，将其杀死，他因此被关入监牢，服刑七年。 徐渭在狱中完成《周易参同契》注释，揣摩书画艺术。徐渭在狱中七年，其中只在隆庆二年（1568年）生母病故时短期出狱，办理丧事。
徐渭被下狱后，友人纷纷予以援助。其中援助最为有力的，先是礼部侍郎诸大绶，后是翰林编修张元忭（即明末著名散文家张岱的曾祖父），他们都是徐渭的至交，又都是状元出身，颇有声望。在这些朋友的解救下，徐渭终于借明神宗朱翊钧即位大赦之机获释。这是万历元年（1573年）的事，此时徐渭已经五十三岁。
万历三年（1575年），徐渭参加张元忭主持的《会稽县志》编修工作。
出狱后，徐渭先游览了杭州、南京、富春江一带，病体略有恢复，并交结了许多诗画之友。万历五年（1577年），徐渭年轻时代的朋友、此时已经担负北部边防重任的吴兑邀他北上，他便欣然前往，赴宣化府充任文书。徐渭在宣府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文。在写给许多官员的赠序中，他都喜欢议论政事，尤其是关于边防的策略。
明神宗即位初年，由阁臣张居正主持国政。张居正对蒙古采取抚和的方针，徐渭对此表示赞赏。期间又过居庸关赴塞外，经戚继光介绍，至辽东寻李成梁，教授其子李如松兵法，并结识蒙古首领俺答的夫人三娘子。徐渭虽受吴兑等人受到敬重，但因健康不佳，只得于次年春经北京回到家乡绍兴，注释郭璞《葬书》。
徐渭六十岁时，应好友张元忭之招去北京，但不久两人的关系就恶化了。据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐渭却生性放纵，不愿受传统礼法的束缚。张元忭常常以封建礼教约制徐渭，这使徐渭大为恼火。他曾对张元忭说：“我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！”由于和老友的交恶，加上与官僚们交往受到不平等的对待，徐渭情绪郁愤，旧病复发，便于居京三载后重归家乡。此后，徐渭便没有离开过山阴。
晚年乡居的日子里，徐渭越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。常“忍饥月下独徘徊”，杜门谢客，据说有人来访，徐渭不愿见，便手推柴门大呼：“徐渭不在！”张元忭去世时，徐渭往张家吊唁，抚棺恸哭，不告姓名便离去。
徐渭一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但手头稍为宽裕，便不肯再作。他的一班门生和晚辈的朋友，或骗或抢，从徐渭手中得到了不少他的作品。徐渭晚年贫病交加，所蓄书籍数千卷变卖殆尽，常至断炊。但他狷傲愈甚，不肯见富家贵室，低首乞食。有时豪饮酒肆，有时自持斧毁面破头，精神病也日益严重。
万历二十一年（1593年），徐渭在穷困潦倒中去世，终年七十三岁，葬于绍兴城南木栅山。死前，徐渭写有《畸谱》，记述自己坎坷的人生经历。当他去世时，身边唯有一狗与之相伴，床上连一铺席子都没有。
