祢衡年少时就有文采和辩才，但是性格刚直高傲，喜欢指摘时事、轻视别人。
汉献帝兴平年间，在荆州避难。建安初期，到许都来游学。刚到了颍川（今许昌），就在身上藏着一块名刺，后来没有地方去（没有得到赏识），以致名刺上的字的漫漶不清了。当时，许都刚刚建立，贤能的读书人、大臣谋士，都从各地集中到这里。有人问祢衡说：“为什么不去投奔陈长文（陈群）、司马伯达（司马朗）？”祢衡回答说：“我怎么能和杀猪卖肉的人结交呢！”这就是“怀刺”典故的由来。
有人又问他：“荀文若（荀彧）、赵稚长（赵融）怎么样？”祢衡见荀彧长得帅、赵融是个大肚子便说：“荀文若可以借他的脸去吊丧，赵稚长可以让他管理厨房膳食。”其意指荀彧也就只有脸长得好看而已，而赵融则是个只会吃肉的家伙。
祢衡只和鲁国的孔融以及弘农的杨修交情好。他经常说：“大儿孔文举，小儿杨德祖。其余的人平平庸庸，不值得提。”孔融也非常喜欢他的才能。
当时祢衡才二十岁，孔融已经四十，但两人还是结交为朋友。孔融上疏向汉献帝推荐祢衡（参照词条“荐祢衡表“）。
孔融很深爱他的才华，多次向曹操称赞他。曹操也想见他，但祢衡一向看不起、厌恶曹操，就自称狂病，不肯前往，而且对曹操还多有狂言。
曹操因此怀恨，但因为祢衡的才气和名声，又不想杀他。曹操听说祢衡擅长击鼓，就任命他为鼓史（鼓吏）。有一天，曹操大宴宾客，检阅鼓史们的鼓曲。各位鼓史经过时都让脱掉原来的衣服，换上鼓史的专门服装。轮到祢衡上场，他正演奏《渔阳》鼓曲，容貌姿态与众不同，鼓曲声音节奏悲壮，听到的人无不感慨。祢衡上场径直来到曹操面前停下，下吏呵斥说：“（你这）鼓史为何不换衣服，就胆敢轻率进见吗？”祢衡说：“好！”于是先脱掉近身的衣服，接着脱掉剩下的衣服，赤身裸体站在那里，又慢慢取过鼓史专门的衣服穿上，完了，又去击鼓之后离开，脸色一点都不惭愧。曹操笑着说：“本想羞辱祢衡，没想祢衡反而羞辱了我。”
孔融回来后就责备祢衡，顺便说了曹操对他的诚意。祢衡答应去给曹操赔罪。孔融再次拜见曹操，说祢衡得有狂病，如今祢衡请求亲自来谢罪。曹操大喜，命令守门的有客人来就通报，且等待祢衡很晚。祢衡却穿着普通单衣、缠着普通头巾，手里拿这三尺长的大杖，坐在大营门口，用大杖捶着地大骂曹操。曹操很生气，对孔融说：“祢衡这小子，我杀他就像杀死鸟雀、老鼠罢了。但这个人一向有虚名，远近的人会认为我不能容他，现在把他送给刘表，你认为怎么样。”于是派人马把祢衡送走。
刘表和荆州的士大夫早就佩服祢衡的才气、名声，祢衡来后非常尊敬地对他，写的文章、言谈议论，没有祢衡的意见就不能定下来。刘表曾经和几个文人共同草拟奏章，大家都极尽才力。当时祢衡正好外出，回来时看了他们拟的奏章，觉得刘表等对奏章的解释不严密，就撕掉奏章扔在地上。刘表感到奇怪而且害怕。祢衡于是要来笔纸，立刻写成，言辞、语义可观。刘表十分高兴，更加器重他。后来祢衡又侮辱、轻慢刘表，刘表深感耻辱，不能容忍，认为江夏太守黄祖性情急躁，所以把祢衡又送给黄祖。
黄祖也能善待祢衡。祢衡替黄祖做文书方面的事，孰轻孰重、孰疏孰亲，都处理得很恰当。黄祖拉着祢衡的手说：“先生，这正合我的意，和我心中要说的话一样啊。”黄祖的长子黄射，为章陵太守，和祢衡尤其友善。黄射一次宴请宾客，有人送给他一只鹦鹉，黄射举着酒杯对祢衡说：“希望先生（就鹦鹉）作一篇赋，以此来使嘉宾高兴高兴。”祢衡提笔就写，中间没有任何改动，一气呵成，文辞色彩也很华美。后来黄祖在大船上，宴请宾客，但祢衡出言不逊，让黄祖很难堪，黄祖就斥责祢衡。祢衡更是仔细地盯着黄祖，说：“死老头！”黄祖非常生气，想要打他。祢衡更是大骂，黄祖气愤到极点，就下令杀祢衡。因为黄祖的主簿一向恨祢衡，即刻就杀了祢衡。黄射得知消息后光着脚来救，但没赶上。黄祖也后悔，就厚葬了他。祢衡死时年二十六岁。
祢衡的代表作《鹦鹉赋》是一篇托物言志之作。赋中描写具有“奇姿”、“殊智”的鹦鹉，却不幸被“闭以雕笼，剪其翅羽”，失去自由。赋中“顺笼槛以俯仰，窥户牖以踟蹰”，“顾六翮之残毁，虽奋迅其焉如”的不自由生活，显然是以鹦鹉自况，抒写才智之士生于乱世的愤闷心情，反映出作者对东汉末年政治黑暗的强烈不满。此赋寓意深刻,状物维肖,感慨深沉，融咏物、抒情、刺世为一体，是汉末小赋中的优秀之作。另有《吊张衡文》，《文心雕龙·哀吊》称为“缛丽而轻清”。
《隋书·经籍志》有《祢衡集》2卷，久佚。今存文、赋见严可均《全上古三代秦汉三国六朝文》。
孔融：淑质贞亮，英才卓砾。初涉艺文，升堂睹奥。目所一见，辄诵于口；耳所瞥闻，不忘于心。性与道合，思若有神。弘羊潜计，安世默识，以衡准之，诚不足怪。忠果正直，志怀霜雪。见善若惊，疾恶若仇。任座抗行，史鱼厉节，殆无以过也。鸷鸟累伯，不如一鹗。使衡立朝，必有可观。飞辩骋辞，溢气坌涌，解疑释结，临敌有余。昔贾谊求试属国，诡系单于；终军欲以长缨，牵致劲越。弱冠慷慨，前世美之。路粹、严象，亦用异才，擢拜台郎，衡宜与为比。如得龙跃天衢，振翼云汉，扬声紫微，垂光虹蜺，足以昭近署之多士，增四门之穆穆。钧天广乐，必有奇丽之观；帝室皇居，必蓄非常之宝。若衡等辈，不可多得。
曹操：祢衡竖子，孤杀之犹雀鼠耳。顾此人素有虚名，远近将谓孤不能容之，今送与刘表，视当何如。
黄祖：处士，此正得祖意，如祖腹中之所欲言也。
