相传伟性戆直，有气岸而豪放，尝遇庞老人击石得髓，伟饮其半，遂以画名。成国朱公延至幕下，以小仙呼之，因以为号。宪宗时待诏仁智殿，好剧饮狎妓，人欲得伟画者，则载酒携妓往。一日被诏正醉，中官扶掖入殿，命作松泉图。伟跪翻墨汁，信手涂抹，宪宗叹曰：“真仙笔也。”又孝宗命画称旨，授锦衣百户，赐印章曰“画状元”。画人物出自吴道子，纵笔不甚经意，而奇逸潇洒动人，山水树石俱作斧劈皴。白描尤佳。
尝游杏花村酒渴，从老妪索茗，隔年复过之，老妪已谢世。援笔追写其像，其子见之大恸，乞而藏之。又尝饮友人家，酒间作画，戏取莲房濡墨印纸上数处，莫测其用意，忽起纵笔挥洒成捕蟹图，最为神妙。孝宗喜马、夏画风，而画院戴进、吴伟均承继马、夏，成为一时风尚，号为“浙派”。吴伟亦号“江夏派”。其后吴派既盛，浙派渐归澌灭。他最后一次被召是武宗即位时，未就道而因饮酒过量醉死，享年仅五十岁。
吴伟是江夏人，父亲早逝，年幼时被湖广布政使钱昕收养，来到江苏常熟。吴伟从小就流露出绘画天赋，7岁时画了一幅画，并题字：“白头一老子，骑驴去饮水。岸上蹄踏蹄，水中嘴对嘴。”令老师十分惊讶。后来，吴伟的画名逐渐传开。17岁时，他闯荡南京，受到成国公朱仪赏识。朱仪惊呼吴伟为小仙人，从此，吴伟便以“小仙”为号。
吴伟曾3次被皇帝召见。1480年，20岁出头的吴伟来到北京，明宪宗召见了他，并赐予他锦衣卫镇抚的职位，以及“画状元”印章，任职于画院。据省博物馆保管部副主任王晓钟介绍，授锦衣卫的武官官职给画家，是明代画院特有的怪现象。
吴伟擅长画人物山水，时常绘制巨大的山水画卷。省博物馆收藏的《雪渔图》是吴伟的巨作，画面高245厘米，宽156厘米，是省博物馆收藏的绢本中最大的一件。《雪渔图》描绘了港湾渔民冒雪捕鱼的情景，人物姿态各异，线条精细，山水则笔墨淋漓，气势恢宏。《雪渔图》是汉口近代著名收藏家徐行可的收藏，其后代于1960年将这幅画捐献给了省博物馆。《雪渔图》曾代表省博物馆，作为精品书画远赴美国参展。而当年的吴伟虽获皇帝赏识，但却有个致命的弱点，就是贪杯。甚至被皇帝传唤去作画时，也喝得酩酊大醉。他这种放荡不羁的性格与复杂的宫廷格格不入，最终被免去了画院的职务。
善画水墨写意、人物、山水。取法南宋画院体格，笔墨恣肆，神韵俱足，为明代中叶创新画家。早年画法比较工细，中年后变为苍劲豪放、泼墨淋漓一格。吴伟是戴进之后的“浙派”名将，追随者众，形成兴盛一时浙派山水中的“江夏派”。
画法与戴进相似。精山水，落笔健壮，最长于白描人物。时与杜堇、沈周、郭翊齐名。用笔奔放，画时泼墨如云，旁观者骇，巨细曲折，各有条理，人皆为之叹服。传其画法的有蒋嵩、张路、宋臣、蒋贵、宋澄春、王仪等，被称为“江夏派”。代表作品有：《采芝图》、《仙踪侣鹤图》、《芝仙图》、《溪山渔艇图》以及白描《人物图》、《神仙图》等。
