黄河是中华民族发展的摇篮，黄河流域是华夏文明的发源地，它的中下游中原地区是古代经济、文化、科学最发达、最昌明的区域，也是人口最稠密，政治思想最为活跃的所在。黄河自西向东的流向，便于东西横向联系，而不便于南北纵向的联系，纵向经济文化交流受到很大影响，黄河以北不乏富饶之地，黄河以南的东南沿海更是物产丰富之地，但长期得不到开发，这种地理上的缺陷，造成了中国经济文化发展不平衡的现象。我们的祖先明智地觉察到这个问题，从而产生开凿南北纵向的人工河的愿望。
在中国历史长河中，封建统治者为巩固政权，战事频繁，征伐不断，为保证军事行动所需之大量粮草的运输，在水运上占有主导地位的年代，沟通南北水运，开凿运河无疑对军事行动是十分必要的。由此可见，大运河的开凿，主要是为了当政者便于巩固和发展自己的政权，而军事行动和经济开拓则是最直接的目的。同时，也有着追随帝都的属性。
中国古代很早就有利用自然水源、修筑人工运河、灌溉农田和进行运输的历史。据记载，春秋时期，吴王夫差为了进攻齐国，运兵运粮，征调大批民夫，在长江与淮河之间开凿一条运河，叫做“邗沟”。这就是后来大运河在江苏境内的一段。两汉至南北朝时期，相继修建了众多运河河道。随着南北政治、经济和文化日益发展，修凿的局部运河，已经不能满足社会需要。尤其江南地区在全国经济生活中越来越占重要地位，沟通南北水道已经成为社会经济交流的迫切需要。从先秦时期到南北朝时期的众多王朝开凿了大量运河河道，其分布地区几乎遍及大半个中国。西到河南，南达广东，北到华北大平原，都有人工运河。这些人工运河与天然河流连接起来可以由河道通达中国的大部分地区。这四通八达的水道为后世开隋唐大运河奠定了基础。
隋的开河，只是将若干自然河或旧沟连城一气。隋朝大运河的开通是在地方性运河的基础上形成的，没有地方性运河的开凿，要想开隋朝大运河是缺乏基础的。分裂时期，地方政权为大都开凿了一些地方性运河，这些运河，从客观上讲为隋开大运河做了准备。
北魏统一北方，孝文帝实行汉化改革以后，北方经济有较大发展。《齐民要术》中所反映的生产技术是北方社会经济恢复发展的具体表现。又《洛阳伽蓝记·开善寺》说中原“百姓殷阜，年登俗乐。鳏寡不闻犬豕之食，茕独不见牛马之衣”。孝文帝末年，已经是“府藏盈积”“公私丰赡”。北魏末年北方生产又有了很大的恢复和发展。北周劝课农桑，每当岁首，地方官要戒励百姓，无论少长，要使“农夫不废其业，蚕妇得就其功”。如果是“单劣之户，及无牛之家，劝令有无相通，使得兼济。三农之隙，及阴雨之暇，又当教民种桑植果，艺其菜蔬，修其园圃，畜育鸡豚，以备生生之资，以供养生之具”。这些办法与北齐基本类似。北周也出现了经济发展和国安民乐的现象。北朝时期的北方经济不仅得到复苏，而且得到了一定的发展。从三国时期到南北朝时期，南方社会经济得到了很快的发展。三国时期，江南经济已经有了发展。左思的《吴都赋》说“其四野则畛畷无数，膏腴兼倍……煮海为盐，采山铸钱。国税再熟之稻，乡贡八蚕之绵。”《三国志》卷四十七《吴主权传》注引《吴书》说吴国“谷帛如山。稻田沃野，民无饥岁。所谓金城汤池，强富之国也”。陆机《辨亡论》也说吴国“其野沃，其民练，其财丰，其器利”。南朝时期，商业手工业也有了长足的发展，城市经济日益繁盛。《南史》卷七十《郭祖深传》说“今商旅转繁，游食转众”。梁沈约也说：“商子事逸，末业流而浸广，泉货所通，非复始造之意。于是竞收罕至之珍，远蓄未名之货，明珠翠羽，无足而驰，丝罽文犀，飞不待翼”。可见江南商业的繁荣和活跃。南朝建都建康，是当时的政治经济中心，同时也是最大的商业城市。《太平御览》卷八百二十七《资产部七》纪山谦之《丹阳记》：“建康大市，孙权所立；建康东市，同时立；建康北市，永安中立；秣陵斗场市，隆安中发乐营人，交易因成市也。”经过南朝时期的发展，建康的繁荣程度已经不亚于长安、洛阳。此外，荆州、京口、寿春、广州等都是商业城市。总之，江南自三国到陈亡，近四百年间，经过南北劳动人民的辛勤开垦，农、林、工、商都有很大的发展，变为财货富饶、经济发达的地区。
早在春秋战国时期，已经开凿了鸿沟，又名蒗宕渠（即浪荡渠），亦曰汴渠。汉魏时期又开凿了阳渠、疏浚整修了汴渠。大业元年（605年），隋炀帝征发“河南、淮北诸郡民前后百余万”开通济渠。隋朝通济渠是将汴渠、阳渠疏浚而成的。汴渠（蒗宕渠）是通济渠的主要渠身。通济渠自洛阳西苑引谷、洛二水绕道今洛阳城南及城东，经偃师县和巩县之洛口而入于黄河，此段河道是旧有的阳渠道。通济渠的上段是疏浚东汉所开凿的阳渠故道而通到黄河的，然后再沿黄河的自然河道至板渚引黄河水入汴渠而达于淮。
春秋时期，吴王夫差下令开凿了连通长江和淮河之间的运河。因途经邗城，故得名“邗沟”。吴邗沟自今扬州市东南边的古邗城之下起，城下掘深沟，引长江水北流，运河向北穿行于武广湖（今武安湖）和陆阳湖（今洋湖）之间，东北入博芝湖，继而入射阳湖，最后由射阳湖入今淮安东北五里的北神堰合淮水。
邗沟沟通了长江、淮河两大河流，成为隋唐大运河最早修建的一段。东汉顺帝时期，陈敏修理邗沟，另开新道，由江都经樊良湖改道津湖，再由津湖直接由末口入淮，避免了射阳湖的风涛之险，给漕运带来了很大的便利。隋炀帝于大业元年（605年）征发“淮南民十余万”开邗沟。隋炀帝所开邗沟（山阳渎），正是利用之前王朝开凿留下的邗沟疏浚而成的。
大业四年（608），隋炀帝诏发河北诸郡男女百余万开永济渠，引沁水，南达于河，北通涿郡。永济渠也是利用之前王朝开凿留下的运河河道与自然水道疏浚而成的。自今河南武涉至汲县一段，用沁水、清水（即卫河）疏浚而成；自汲县至馆陶一段，基本上是利用曹操遏淇水入黄河古道白沟而成；在馆陶与沧州一段，是部分地利用了汉代屯氏河和西汉大河故渎而成；沧州至涿郡，又部分地利用漳水，至独流口则与漳水别而另辟新道，与漯水相接，经漯水到达涿郡。
江南运河的开凿历史，可以追溯到春秋时代，吴国开通了从今江苏到长江的运河，从苏州的北门起，向西北穿过漕湖，经太伯渎与江南运河而上，再经阳湖北行，入古芙蓉湖，然后由利港入于长江，以达于扬州；秦朝开凿丹徒曲阿，开凿了从今镇江至丹阳的运河。也就是《南齐书》卷十四《州郡志》所说的“丹徒水道入通吴、会”。丹徒水道正是江南运河所经路线。江南运河在秦始皇时已经初具规模。西汉武帝时，在吴江南北沼泽地带开河，南接杭嘉运河，基本上接通了苏州至嘉兴的运道；六朝建都南京，又修整、开凿了运河和堰埭。东晋初年，因镇江附近运河水浅，还修筑了丁卯埭平水堰，以平衡水位。为避长江风涛之险，孙吴开凿了破岗渎。至萧梁，破岗渎废，另“开上容渎，在句容县东南五里，顶上分流，一源东南三十里十六埭入延陵界；一源西南流二十五里五埭注句容界。上容渎西流入江宁（今南京）秦淮。”陈时，又修破岗渎。隋代的江南运河，只是在六朝以来所开凿的江南运河的基础上加以疏浚而成的。大业六年（610年），隋炀帝下令开江南江南运河（即江南河），从京口（今江苏镇江）至余杭（今浙江杭州），全长八百余里，广十余丈。隋炀帝所开的江南运河是将之前王朝开凿留下的运河河道加以疏浚而成的。
春秋末期，吴国开凿了胥溪、邗沟、黄沟三条运河。自胥溪开凿完成后，吴人可东自太湖，沿胥溪西上，直到今芜湖附近后转入长江，再渡过长江往北沿栅水到巢湖一带北入淮水。
夫差是春秋时期吴国的最后一位国王，他运河开挖起了开创作用。他是大运河“第一锹”的开挖者。
春秋战国时期，各诸侯国之间，互相攻伐兼并，战争连绵不断，军事运输十分频繁。夫差一心想北上伐齐，争霸中原，当时，江、淮之间没有水路可通，只有由江入海，这样走，不但航程长，而且海上风狂浪急，易失战机。为了安全和便利进军，缩短军需路线，夫差决定在蜀冈之上筑邗城，在蜀冈脚下凿邗沟，开通江淮之间的水道。对于筑邗城、凿邗沟的劳动场面，史书上用了四个字来形容，即“举锸如云”，可见其声势浩大。
吴王夫差调集民工开凿邗沟。因途经邗城，故得名“邗沟”。吴邗沟自今扬州市东南边的古邗城之下起，城下掘深沟，引长江水北流，运河向北穿行于武广湖（今武安湖）和陆阳湖（今洋湖）之间，东北入博芝湖，继而入射阳湖，最后由射阳湖入今淮安东北五里的北神堰合淮水。全长约400里。邗沟沟通了长江、淮河两大河流，成为隋唐大运河最早修建的一段。邗沟的开凿，是有史记载的大运河最早开凿的河段，被认为是大运河的开端。扬州、淮安两座历史文化名城因邗沟的开凿而诞生。邗沟此后一直是大运河的重要组成部分，至今仍为水运要道。
吴王夫差筑邗城凿邗沟，客观上为当时中国东部地区南北政治、经济、文化交流发挥了巨大的作用，对后来扬州的建城，乃至经济、文化、航运、交通的发展起了重大作用。
吴开邗沟之后，还在更北的地方开凿了商（宋）鲁之间的黄沟运河，沟通了泗水与济水。黄沟开凿之后，吴王夫差可沿邗沟北到淮水，入泗水，入济水，西上黄池，与齐晋争夺盟主地位。
秦始皇在湘桂之间开凿灵渠，以通漕运。在四川有李冰开凿离堆（碓），关中郑国作郑国渠，既可以灌溉农田，又可以供漕运，“皆可行舟”。
汉朝开凿了漕渠，由长安引渭水入渠，沿南山山脚，一直通到黄河。班固的《西都赋》说槽渠“泛舟山东，控引淮、湖，与海通波”。汉朝王景治理汴渠，“十里一水门，更相洄注，无复溃漏之患”。东汉开凿了阳渠，漕舟可由汴入河，由河溯阳渠入洛阳建春门以输常满仓。东汉顺帝时期，陈敏修理邗沟，另开新道，由江都经樊良湖改道津湖，再由津湖直接由末口入淮，避免了射阳湖的风涛之险，给漕运带来了很大的便利。汉朝还经常维护灵渠。
汉顺帝永和五年（140年），会稽郡太守马臻纳山会平原三十六源之水，兴建了鉴湖。鉴湖初创至晋代，山会地区主航线即为鉴湖，至晋后至唐，西线（山阴县）的航线渐为西兴运河所取代，而东线（会稽县）鉴湖仍为主航线并延承至现代。
魏晋南北朝时期，开凿了一些地方性运河，对后来隋朝隋唐大运河的开通起了积极作用。东汉末年，曹操先后开凿了白沟、平虏渠、泉州渠、新河和漕渠等。白沟开凿于东汉建安九年（204年），在淇水入黄河处下大枋木使成堰，遏淇水入春秋战国时期的黄河古道以成渠，以淇水、荡水、洹水为上源，利用纵贯河北平原的清河故道至今青县附近，注入滹沱河。平虏渠开凿于建安十一年（206年），从今青县东北引滹沱河水北入泒水。泉州渠也开凿于建安十一年，南起泉州县（今天津市武清西南），上承潞河，下入鲍丘水，还从沟河口向东凿渠入濡水，称为新河。利漕渠开凿于建安十八年（213年），凿渠引漳水，自今河北曲周南，东至今大名西北，注入白沟，借以沟通邺和四方的漕运，故名利漕渠。白沟、平虏渠、泉州渠、新河和利漕渠的开凿，完成了贯通河北平原的运河网工程，便利了河北平原的水道运输。
曹丕代汉建魏以后，迁都洛阳，曹魏对于运河的设施，主要是修通汴渠、开凿贾侯渠、讨虏渠和广漕渠等项运河工程。曹操曾疏浚过汴渠上游到睢阳一段，称为睢阳渠。正始二年（241年），曹魏又重新整理汴渠，这次是自上游到下游全程整修，使之可以通舟楫。杜预致书王濬，劝他在灭吴之后，率领水军，自长江入淮水，又自淮水入汴渠，再由汴渠入黄河，溯黄河回到首都洛阳。
贾侯渠系魏贾逵所开。《三国志》卷十五记载：“（贾逵）遏鄢、汝，造新陂，又断山溜长谿水，造小弋阳陂，又通运渠二百馀里，所谓贾侯渠者也。”故道在今河南淮阳西北，后与其他水道“交错畛陌”。黄初六年（225年），开通讨虏渠，据顾祖禹的《读史方舆纪要》说，其故道在郾城县东。广槽渠系齐王正始二年（241年）所开凿，通过陈、蔡之间，故道在蒗荡渠的下游，《三国志·卷二十八》记载：“正始二年，乃开广漕渠，每东南有事，大军兴众，泛舟而下，达于江、淮，资食有储而无水害，（邓）艾所建也。”
孙权在南方开凿运河，西连淮水，东接云阳，号破冈渎，这条运河是沟通今南京以东的水运网。
桓公渎又称桓公沟，为东晋桓温时开凿的。太和四年（369年），桓温率兵北伐前燕，“军次湖陆，攻慕容暐将慕容忠，获之，进次金乡。时亢旱，水道不通，乃凿巨野三百余里以通舟运，自清水入河”。巨野泽即梁山泊，位于今巨野与梁山县之间，这条运河被称为桓公渎，从巨野泽北出济水，在今济南长清县西与河水相通，故桓温能由济水入黄河。东晋安帝义熙十三年（417年），刘裕又继续疏浚桓公渎。
杨口运河是杜预做荆州刺史时开凿的。这条运河由杨水入汉水之处起，直达江陵，通入长江，更由江陵通到洞庭湖中。《晋书·卷三十四·杜预传》记载：“旧水道唯沔汉达江陵千数百里，北无通路。又巴丘湖（今洞庭湖），沅湘之会，表里山川，实为险固，荆蛮之所恃也。（杜）预乃开杨口，起夏水（今汉水）达巴陵（今湖南岳阳）千余里，内泻长江之险，外通零桂之漕。”这条运河开凿以后，使江陵在交通上的形势更加重要。从江陵溯江而上，可到巴蜀；沿江而下，可达建业；还可以由洞庭湖溯湘水沿漓水到番禺。
从先秦时期到南北朝时期，中国古代劳动人民开凿了大量运河，其分布地区几乎遍及大半个中国。西到关中，南达广东，北到华北大平原，都有人工运河。这些人工运河与天然河流连接起来可以由河道通达中国的大部分地区。例如从现在的北京不远的通县起，即可乘船顺潞水由泉州渠到沟河口入海，经过一段短短的海程，再进入泒河，由泒河经过平虏渠，而入漳水，又由漳水经过利漕渠和白沟而入黄河，又由黄河进入汴渠上游，沿蒗荡渠而下，由颍水入汝水，再由汝水的支流舞水入泚水，又泚水入淯水，由堉水入汉水，由汉水入杨口渠，由杨口渠道而入长江，由长江入洞庭湖，由洞庭湖入湘水，由湘水入漓水，由漓水入西江，沿西江可达番禺城；或由江陵溯长江达巴蜀，以通西南。这四通八达的水道为后世开隋唐大运河奠定了基础。
隋的开河，只是将若干自然河或旧沟连城一气。
隋唐大运河的开通是在地方性运河的基础上形成的，没有地方性运河的开凿，要想开隋唐大运河是缺乏基础的。分裂时期，地方政权为大都开凿了一些地方性运河，这些运河，从客观上讲隋唐大运河做了准备。
隋文帝所开的广通渠（又称富民渠、永济渠）实际上是对汉代槽渠的疏浚。开皇四年（584年），隋文帝利用汉朝开凿留下的槽渠，命令宇文恺率水工开广通渠（又称富民渠、永济渠），在渭水之南，傍南山而东，到潼关衔接黄河。开皇七年（587年），隋文帝下令所开的山阳渎，则是吴国邗沟故道。
隋炀帝修隋朝大运河分为四条：通济渠、邗沟、永济渠、江南运河。通济渠是从板渚引黄河水，注入淮水。大业元年（605年）三月，发河南诸郡男女百余万，开通济渠。通济渠分为三段：西段自东都洛阳西苑，引谷水、洛水，东循阳渠故道由洛水注入黄河；中段自洛口到板渚，是利用黄河的自然河流；东段起自板渚，引黄河水走汴渠故道，注入淮水。通济渠东段所经过的路线是引黄河水循汴水故道，入于泗水，注入淮河。朱偰在他所辑的《中国运河史料选辑》（17页）写道：“苏轼《书传》说道：‘自淮、泗入河，必道于汴……又足见秦、汉、魏、晋皆有此水道，非炀帝创开也，’苏轼历引《汉书》楚、汉（约）中分天下的鸿沟，汉末年曹操和袁绍相持的官渡，以及王濬伐吴杜预信中所提的‘‘径取秣陵……自江入淮，逾于泗汴，溯河而上，振旅还都‘，来证明秦、汉、魏、晋以来，早已由此水道，并非隋炀帝新开凿的。’”
根据顾祖禹的考证，通济渠源于《禹贡》的雍水，春秋时称为邺水，秦汉时又叫鸿沟，其后叫“蒗宕渠”（按即浪荡渠），亦曰汴渠。《元和郡县图志》卷八《河南道四阳武县》记载：“汴渠，一名蒗宕渠，今名通济渠”。隋炀帝所开的通济渠就是利用汴渠（蒗宕渠）的河道来开的。汴渠（蒗宕渠）是通济渠的主要渠身。
自西苑引谷、洛二水绕道今洛阳城南及城东，经偃师县和巩县之洛口而入于黄河，此段河道是旧有的阳渠道。通济渠的上段是疏浚东汉所开凿的阳渠故道而通到黄河的，然后再沿黄河的自然河道至板渚引黄河水入汴渠而达于淮。
邗沟上接通济渠，下接江南运河。隋炀帝大业元年（605年）所开的邗沟，所利用的不是吴国邗沟，而是利用的东汉陈登所开凿的邗沟直道。
大业四年（608年），隋炀帝诏发河北诸郡男女百余万开永济渠，引沁水，南达于河，北通涿郡。永济渠也是利用之前王朝开凿留下的运河河道与自然水道疏浚而成的。自今河南武涉至汲县一段，用沁水、清水（即卫河）疏浚而成；自汲县至馆陶一段，基本上是利用曹操遏淇水入黄河古道白沟而成；在馆陶与沧州一段，是部分地利用了汉代屯氏河和西汉大河故渎而成；沧州至涿郡，又部分地利用漳水，至独流口则与漳水别而另辟新道，与漯水相接，经漯水到达涿郡。
大业六年（610年）隋炀帝下令开开江南运河。但江南运河的开凿也不是始于隋朝的。江南的运河的开凿历史，可以追溯到春秋时代，吴国开通了从今江苏到长江的运河，从苏州的北门起，向西北穿过漕湖，经太伯渎与江南运河而上，再经阳湖北行，入古芙蓉湖，然后由利港入于长江，以达于扬州；秦朝开凿丹徒曲阿，开凿了从今镇江至丹阳的运河。也就是《南齐书》卷十四《州郡志》所说的“丹徒水道入通吴、会”。丹徒水道正是江南运河所经路线。江南运河在秦始皇时已经初具规模。西汉武帝时，在吴江南北沼泽地带开河，南接杭嘉运河，基本上接通了苏州至嘉兴的运道；六朝建都南京，又修整、开凿了运河和堰埭。东晋初年，因镇江附近运河水浅，还修筑了丁卯埭平水堰，以平衡水位。为避长江风涛之险，孙吴开凿了破岗渎。至萧梁，破岗渎废，另“开上容渎，在句容县东南五里，顶上分流，一源东南三十里十六埭入延陵界；一源西南流二十五里五埭注句容界。上容渎西流入江宁（今南京）秦淮。”陈时，又修破岗渎。隋代的江南运河，只是在六朝以来所开凿的江南运河的基础上加以疏浚而成的，并不是隋炀帝时才开始开凿的。
隋朝末年，永济渠引沁水会清水一段的渠道已经淤塞。
唐朝对隋唐大运河进行了艰苦不懈的疏浚、修整和开凿。主要工程是：四疏汴渠，五浚山阳渎（邗沟），三治江南运河，二凿丹灞水道，三治褒斜道，疏浚嘉陵江故水道，治理灵渠，黄河汾水道（这里所举的疏浚整治次数只是个约数,实际上运河时通时塞,疏浚整治工作是经常进行的）。唐王朝对漕运水道的开凿、疏浚和征敛是尽了极大的努力，通过长期的修凿和治理，是漕运的干流和支流都得以通行流畅，出现了兴旺发达的漕运事业。
汴渠又称汴水、通济渠，是连接黄河和淮河之间的中原渠道，由于该渠首连接黄河，河水所含泥沙量较大，最容易淤塞。唐朝初年，每年初春就要“塞长茭，决沮淤”，疏通堰口，修理渠道。否则，堰口阻塞，黄河水不能引进入渠道，漕运就会中断。开元二年（714年），唐朝疏浚汴渠的梁公堰，“公私深以为利”。开元十五年，堰口再次塞阻，“行舟不通”，唐玄宗命令疏决开就河口，“安及遂发河南府怀、郑、汴、滑、卫三万人，疏决开旧河口，旬日而毕。”开元二十七年（739年）唐朝新开广济渠。
安史之乱后，汴渠的疏浚中断了八年，致使“泽灭水，岸石崩，役夫需于沙，津吏旋于泞，千里洄上，罔水舟行”，航行极其艰难，载重粮船更无法通行。唐朝刘晏仔细勘察河道，到处访问群众，调查研究，然后疏浚汴渠，恢复了汴渠的运输能力。
山阳渎亦称邗沟，自山阳起至扬子入于长江。由于陆地下沉和各种自然因素的影响，长江三角洲向外推移，使长江江面逐渐变窄和扬子以南长江之间的河渠最容易被泥沙隔断。导致唐初扬子以南已不能行船，槽船不得不绕道瓜步（今江苏仪征县东），溯旧官河始能进入扬子斗门。不但迂回，而且“多为风涛所损”。自唐玄宗开始，唐初五次修浚山阳渎（邗沟）。开元二十六年（738年）唐朝从今扬子桥到瓜洲镇之间开凿新河，《新唐书志第三十一》《唐会要.卷八十七.漕运》记载刺史齐浣开凿伊娄河二十五里，“渡扬子”，“无风水灾，又减租脚钱”，“岁利百亿”“岁收利百亿。又立伊娄埭”。从此开始这段新河一直是长江北岸的重要运口，既保证了行船的安全，又节省了时间和运费。唐朝大诗人李白在《题瓜州新河饯族叔舍人贲》中说唐朝齐浣“齐公凿新河，万古流不绝。丰功利生人，天地同朽灭”。
唐德宗时唐朝再次修浚山阳渎，当时，扬州官渡填淤，漕挽湮塞，784年，唐朝扬州长史杜亚“治漕渠，引湖陂，筑防庸，入之渠中，以通大舟，夹堤高卬，田因得溉灌。疏启道衢，彻壅通堙，人皆悦赖”，沟通了江北漕路。又于788年“自江都西循蜀冈之右，引陂趋城隅以通漕，溉夹陂田”，并于渠口修“爱敬陂水门”以节水势，改变了高邮湖附近“漕渠庳下，不能居水”的现象。
唐宪宗元和年间，李吉甫在高邮湖筑平津堰，调节运河水位，还灌溉田数千倾，又免去百姓欠的租税数百万，还修筑富人、固本二塘，不仅保证了山阳渎水利的充足，还增灌溉万顷之田。唐敬宗宝历二年（826年），王播发现扬州的运河水浅，舟船滞阻难行，王播便奏请开凿了一段19里长的运河，使舟船容易航行，这样漕运便不再滞阻。
太极元年（712年），唐睿宗为了改善漕运，命魏景清引淮水至黄土冈，以直通扬州，称为直河。
唐代宗永泰（765年-766年）年间和大历（766年-779年）年间浚治练湖。因为运河自常州到丹阳之间，其中陵口以西至七里桥一段是江南运河水位最浅、航道又狭的地段，涸水季节只有四尺，只能通行小船。这段运河的水源古代靠练湖湖水，所以唐代宗时加以浚治，导湖入漕河。
唐宪宗元和八年（813年），常州刺史孟简开凿孟渎，引长江水南注通槽，又开泰伯渎，东连蠡湖，以济漕运。隋文帝所开的广通渠（又称富民渠、永济渠）、唐玄宗所开槽渠、唐文宗所开的兴成渠，实际上都是对汉代槽渠的疏浚和重开，除渠首有变化外，渠线和尾闾基本上没有多大变化。隋文帝利用汉朝开凿留下的槽渠所看的广通渠，其转运之利并不长久，其在唐初已不便使用，故永丰仓的粮须用牛车运往长安。唐玄宗天宝元年（742年），唐朝陕州刺史兼水陆运使韦坚在渭水之南开凿了一条与渭水平行的槽渠，这条槽渠西起禁苑（在长安宫城北）之西，引渭水东流，东至永丰仓附近与渭水汇合，又在长安望春楼下凿广运潭，以通漕舟。这样，永丰仓和三门仓的物资都可以用船一直运往长安。关中运道大为改进，漕运物资，特别是粮食激剧增加。后来，这条渠道因受灞、浐二水盛夏暴涨的冲击，唐代宗以后渐不通船。唐文宗太和（827年-835年）初年，唐朝咸阳令韩辽又自咸阳到潼关间，凿兴成渠300里，渠成后，关中运粮“无车挽之劳”。
唐朝对于永济渠一线，也致力很多。贞观十七年（643年），为增加永济渠水源，唐朝在引淇水入渠处筑石堰。由于沧州（清池县）一带地势低洼，为防止永济渠决口，先后于永徽二年（公元651年）开元十六年（公元728年）在沧州西55里筑“有永济渠二”、县南30里筑“有永济北堤”。另外，永徽（公元650年-655年）时，魏州（今河北大名一带）刺史李灵龟在魏州开永济渠入于新市，开凿出一条支渠，百姓利之。开元（公元713年-741年）时，魏州刺史卢晖也凿出另一条永济渠，名“西渠”，自石灰窠引流至（贵乡）城西注魏桥，以通江、淮之货。此外，在经城（今河北威县）的张甲河，南宫（今河北南宫）的通利渠，堂阳（今河北新河）的堂阳渠，昭庆（今河北隆平）的沣水渠，清池（今河北沧县）的清池渠、无棣河和阳通河，无棣（今山东无棣县）的无棣沟，平昌（今山东德平县）的新河，河间（今河北河间）的长丰渠，渔阳（今河北蓟州区）的平卢渠等，这些渠道直接间接都与永济渠连贯，丰富了永济渠的水源，有利于漕运事业。
唐朝不仅对南北大运河进行开凿、疏浚和整理，还对灞水道、褒斜道、嘉陵江故道水道、灵渠和河汾水道也都进行过疏凿和修浚的整治工程。
唐中宗采纳崔湜的建言“山南可引丹水通漕至商州，自商镵山出石门，抵北蓝田，可通挽道”，“开大昌关，役徒数万”，凿石劈山，开凿出了一条连接丹灞二水的挽道，江淮物资可通过此系统水道运往长安。后来这条挽道“为夏潦奔豗，数摧压不通”。第二次开凿在唐德宗贞元七年（791年），商州刺史李西华在崔湜开凿的基础上，增广商山道，“又别开偏道。以避水潦。从商州西至蓝田。东抵内乡。七百余里……修桥道……人不留滞。行者为便”。
褒斜道通达富饶资源的蜀汉地区，又可通过江汉与江淮地区相连接。唐朝曾经三治褒斜道。唐太宗贞观二十二年（648年）开斜谷道水路，运米以至京师。唐德宗建中四年（783年）唐德宗命万俟著开金商运道，通过褒斜道漕转粟帛。唐宣宗大中年（847年-859年）中，兴元节度使封敖、郑涯等又加以修治，行人说通行方便。
嘉陵江故水道自古以来就是连接关中和巴蜀地区的通道。元和年间，唐朝山南节度使疏浚嘉陵江三百里，焚烧巨石，弄碎巨石，开通漕运来为成州的士兵运送给养。
唐朝多次治理灵渠。唐朝宝历初年，李渤疏浚灵渠，“立斗门十八以通漕”，并且从此开始多次整修、疏浚灵渠（“自是累加修浚”），“鄣泄有宜，舟楫利焉”。唐朝李渤在灵渠所立的斗门是船闸的先导，是世界上最早的通航措施。咸通九年（868年），唐朝鱼孟威再次修灵渠，“以石为铧堤，亘四十里，植大木为斗门，至十八重，乃通巨舟”。
隋唐大运河很容易湮塞，甚至湮塞的与岸平齐。唐、后周、北宋要经常开凿、疏浚、整修，才能令隋唐大运河能继续使用。到南宋，因缺乏及时的开凿、疏浚，导致大运河因部分河道淤塞而衰落。
南宋时，通济渠河道湮塞，至今已经无运河遗迹可寻。原因有二：一、南宋时，北方沦陷，南宋统治者为了防金兵南下，破坏了运河上的各种设施，务使金船不能南下。绍熙五年（1194年），黄河在阳武决口，洪水南下，夺泗入淮，夺淮入海，金统治者听任黄河泛滥，以贻祸南宋。于是淮水流域一带，遂常闹水灾。淮河改由运河南流入长江。通济渠逐渐淤塞为陆。二、元朝定都北京，开始开凿京杭大运河，又开辟了海运，导致通济渠逐渐失去了它的重要性。《宿州志》说：通济渠，（宋）“南渡后渐湮，元泰定初，黄河行故汴渠，仍于徐州合泗水至清口入淮，而泗州之汴口遂废，汴水湮塞，埇桥亦废”。即国都改建北京与京杭大运河的开凿，使通济渠逐渐失修而湮废。
元朝建都大都（今北京）。初期漕运路线，是由江淮溯黄河向西北至封丘（开封北）县中砾镇，转陆运180里至新乡入卫河，水运经天津至今通县，再陆运至大都。这条运输路线不仅绕道过远,且要水陆转运。至元十九年（1282年）动工开挖济州河，自今淮安引洸、汶、泗水为源，向北开河150里接济水（相当于后来的大清河位置，1855年黄河夺大清河入海）。济州河开通后，漕船可由江淮溯黄河、泗水和济州河直达安山下济水。汴渠的河身淤塞，河床高过地面。
从元朝开始，国都变迁到北京，国家政治中心转移，元朝忽必烈下令开凿了济州河、会通河、通惠河，开凿了元朝京杭大运河，直通南北，运河从此由江苏淮安经宿迁、徐州直上山东抵达北京。至此，诞生了现今意义上的京杭大运河。从济水向北至天津的路线有二，一是由济水入海，经渤海湾至天津；一是由东阿旱站（东平北）向北陆运200里至临清入今卫河。沿前一路线,漕船常遭海涛风浪之险,沿后一路线每遇夏秋霖潦,粮车跋涉艰难。于是在至元二十六年（1289年），自济州河向北经寿张，聊城至临清开会通河，长250里，接通卫河。因为会通河位于海河和淮河之间的分水脊上，所以在会通河上修建了插板门船闸26座，并在淮安设水柜，南北分流，以调节航运用水，控制运河水位。会通河建成后，漕船可由济州河、会通河、卫河，再溯白河至通县。至元二十八年至至元三十年（1291年至1293年），元朝从今通县到大都开通惠河，建闸20座。从此，漕船可由通县入通惠河，直达今北京城内的积水潭。至此，今天的大运河的路线走向才告初步形成。大运河建成后，元朝专设都漕司正、副二使，总管运河和漕运事宜。
2014年6月22日，在卡塔尔多哈进行的第38届世界遗产大会宣布，中国大运河项目成功入选世界文化遗产名录。成为中国第46个世界遗产项目。大运河是世界建造时间最早、使用最久、空间跨度最大的人工运河，是中华民族留给世界的宝贵遗产。
隋唐大运河的主要功能是漕运。隋唐时期，国家粮仓设在洛阳，江南等地的漕粮大量运来，运河上终日“漕船往来，千里不绝”。到武则天称帝时，洛阳城中的北市一带已是“天下舟船所集，常万余艘”，河道拥堵太过严重，连女皇都坐不住了。公元701年，武则天下令“引漕渠，开新潭，以置诸州租船”。
第一、加强了中国南北的沟通。在古代，水运通常是比陆路靠马、牛车运输方式便宜的。坐船过河甚至跨海，既快捷又能辎重，往往比走旱路要便宜。大运河把南北用水道连起来，组成水网，把几大自然水系（长江、淮河、黄河、海河、钱塘江）变成一个大水系。
第二、促进沿河城市的繁荣。唐、北宋的频繁开凿、疏浚、整修使大运河在较长的时期保持畅通，经过唐宋的长期发展，大运河沿线的城镇借助大运河的便利条件，发展的更加兴旺。大运河促进了沿线城市扬州、杭州、西安、洛阳、开封的发展。
