橘氏的祖先是美努王，美努王是敏达天皇的曾孙。美努王的妻子县犬养三千代，本来是朝廷中的女官，轻皇子（后来的文武天皇）的乳母，后来嫁给了美努王，生有葛城王、佐为王和牟漏女王。之后由于美努王担任太宰帅去了筑紫，不久过世，县犬养三千代就嫁给了藤原不比等成为了不比等的后妻，并且和不比等生出两个女儿，藤原光明子和多比能。后来因为光明子成为了圣武天皇的皇后，县犬养三千代便开始进出宫廷，并且对朝局拥有了极大的影响力，帮助藤原不比等建立了藤原家在朝廷的势力。
和铜元年(708年)，元明天皇即位，由于县犬养三千代从天武天皇时代就开始侍奉朝廷，所以将一个里面浮着橘子的杯子赐给了县犬养三千代，并且赐给了她"橘宿弥"的氏姓。所以一般认为，县犬养三千代才是橘氏实际的祖先。
天平5年(733年)，县犬养三千代去世，她与美努王生的葛城王和佐为王向朝廷申请继承母亲的橘宿弥的姓氏，得到了朝廷的允许，并且改名为橘诸兄和橘佐为，进一步进入朝廷，操控朝政。在圣武天皇朝和孝谦天皇朝，橘氏的公卿是太政官的首席，掌握着朝廷的权势。天平胜宝2年(750年)，朝廷赐"朝臣"的姓给橘氏，所以之后，橘诸兄的后人就称姓"橘朝臣"。
由于藤原四兄弟因为天花纷纷倒下，掌握朝局的橘氏在诸兄的时候达到全盛，朝中有很多公卿都是橘氏的姻亲和同族，并且橘氏和藤原氏的关系非同一般，虽然在某种程度上是政敌的关系，但是不可否认，这两家新贵族蒸蒸日上的形态是相似的。
但是，橘氏的全盛期并没有持续多久，天平胜宝9年，诸兄病亡，朝廷中就出现了橘氏和藤原氏争雄的局面。而两方的主力是橘诸兄之子橘奈良麻吕和藤原家的藤原仲麻吕。最后藤原仲麻吕兴起了"橘奈良麻吕之乱"，诬告橘奈良麻吕谋反，并且将奈良麻吕下狱处死。
橘氏的全盛期就这样过去了，并且遭到了极大的打击。此后数年，橘氏一族之保持了殿上人的资格，而失去了公卿的地位。
这时的橘氏，出现了第二位影响家族命运的女性，那就是橘嘉智子。嘉智子是奈良麻吕的孙女，以殿上人之女的身份入宫，得到宠幸，成为了嵯峨天皇的皇后被尊称为檀林皇后。与藤原氏一样，橘氏也利用天皇亲家的身份，积极扩张了势力，并且进一步升任公卿，进入权力中枢。后来檀林皇后生下了政良亲王，并且成功即位为仁明天皇，檀林皇后之兄橘氏公便利用天皇外戚的身份主宰了朝廷，可谓呼风唤雨。虽然在这期间发生了橘氏旁系橘逸势的承和之乱，橘氏的势力遭到了一定程度上的削弱，但是在檀林皇后在世的这一段时间，橘氏的地位还是十分稳固，并且逐渐变强的。
但是随着檀林皇后的过世，和仁明天皇的驾崩，藤原家再次成为了天皇的外戚，并且逐步完成了摄关政治的结构。相反，橘氏一门缺少进身的条件，又没有杰出的一门首领带领橘氏进行复兴，所以橘氏一门从公卿的位子慢慢的下降，而到永观元年(983)之后，再也没有出现过橘氏的公卿，橘氏的后裔彻底变成了中下级贵族，远离了权利中枢。
橘氏没落之后，大致分为两大部分。
当初为了压制叛乱的藤原纯友，作为太宰权帅发兵到九州的橘公赖的后人在筑后成为了土豪，称为筑后橘氏。有一种说法认为蒲池氏出自筑后橘氏，不过也有说法认为蒲池氏出自藤原氏。
镰仓时代的武家橘公业建立了小鹿岛氏。
另外也有和橘氏关系不明的家族：
楠木氏：楠木正成是日本著名的武士，传统意义上认为他是橘氏的后人，不过后经学者考证其很有可能是伊予橘氏的后人(越智氏)。
战国时代，飞驒国的内岛氏自称是橘氏的后人，战国时灭绝——被雪活埋了。
橘则隆的子孙将嫡流存续了下去，代代出任橘氏长者。15世纪，橘以盛把家名定为“薄”，“薄家”从此出现；虽然只有五位的官位，不过好歹保存了最后一家橘氏的堂上家。他的孙子薄以绪（1493-1555）老而无子，把山科言继的二儿子收养，改名薄诸光（1548-1585）。山科家名义上是藤原北家中“四条家”的分支，但是实际上是桓武平氏出身的平维盛的后代，因此依然与源氏、平氏和皇室是同宗。
可是到了安土桃山时代的时候，丰臣秀吉在1585年以薄诸光违反清州会议的协议为由将他逮捕，同年十月命其自杀，也就断送了最后一家橘氏的堂上家。江户时代时，时任关白的九条忠荣（1631年改名九条幸家）让九条家诸大夫、出自醍醐源氏的信浓小路宗增（1578-1646）由源氏改姓橘氏，让信浓小路家成为橘氏嫡流，算是对薄家的延续；但是信浓小路家只是地下家而非堂上家，地位没有因而恢复。关于信浓小路家最后的记载是来自《地下家传》出现的信浓小路季周（1837-卒年不明）。
后来，地下家的青山家、深井家、和田家都自称橘氏的后裔。
橘氏是传统上所说的日本四大姓--"源平藤橘"四家中最后一家。关于四大姓氏的说法，很多人产生疑问，因为在四大姓中，橘氏完全不可以和另外三者比较。橘氏活跃的时间只在飞鸟中期到平安中期，之后就渐渐消亡了，乃至于后来除了楠木正成之外(楠木的出身可能不是传统意义上的橘氏，而是越智氏的伊予橘氏)武家方面橘氏没有丝毫建树，甚至连公家方面橘氏一族也没有了堂上家。而橘氏还能跻身四大家族的原因，本有以下几条。
1、橘氏是皇族出身的姓氏。皇族出身的姓氏不少，源、平、橘、清原、在原都是，不过橘氏最为特殊的是，他是"自愿"降为臣籍的皇族，传说是为了制衡藤原氏的苗头。但是本人认为橘氏能够跻身四大姓氏的原因还是因为与其他皇族出身的大姓相比，橘氏在日本历史上的活跃时间要长的很，不像在原、清原等家族降为臣籍之后，直到末世都在四、五位徘徊。
2、橘氏的关系网。橘氏从出身的那一刻就和藤原氏结下了不解之缘。诸兄的母亲是藤原四兄弟的后母，正妻是同母异父的藤原多比能，虽然后来橘氏和藤原氏的关系大多是政敌，但是其两家的血脉联系可谓非同一般。另外，橘氏本身就是皇族的后裔，而又出了檀林皇后，并生下了仁明天皇，将橘氏的血脉融入了皇家的血统，从这点来说，只有源、平、藤、橘四大族有这样的机会和经历。
3、橘氏的政治地位。纵观日本的历史，在藤原氏兴起的历史上，除了武家的源、平建立了幕府或者控制幕府掌握了莫大的权势，只有橘氏在某些时期战胜了藤原氏，掌握了政权，并且得到了很高的官位。(菅原道真大人被我华丽丽的无视了…)简单说，就本人手中的资料来说，有史以来，日本只有巨势德陀、三条实美、藤原仲麻吕、藤原永手、藤原宫子和橘诸兄六个人是在生前获赠正一位的，这种人臣之极的官位，或许正能说明橘氏在日本史上的地位，即使他们只是昙花一现。
美努王：(?~708)敏达天皇之孙栗隗王之子。历任太宰帅、摄津大夫，官位从四位下。
三千代：(665~733)县犬养东人之子。作为文武天皇的乳母在朝廷拥有权势，曾嫁给美努王和藤原不比等，并且女儿藤原光明子成为了皇后，708年获赐橘宿弥的姓氏，生前获正三位。死后获的正一位和大夫人号。
橘诸兄：(684~757)美努王和县犬养三千代所生长子，葛城王。736年向朝廷请求继承母亲的橘宿弥姓而舍弃王族资格，被世人所不解。由于天花流行，藤原四兄弟病亡，许多公卿都染病，所以出任大纳言，参与朝政。738年成为右大臣，主持朝政。743年为从一位左大臣，而又在749年成为正一位。是日本史上极少数在生前获得正一位的人。官位为正一位左大臣兼太宰帅。初代橘氏长者。
橘佐为：(?~737)美努王和县犬养三千代所生次子，佐为王。736年和兄长葛城王一起上奏获得母亲的姓氏橘宿弥，是极少的自愿降为臣籍的例子。737年成为正四位下中宫大夫兼右兵卫督。但是在同年死去，一般认为和藤原四兄弟同样死于天花。
橘奈良麻吕：(721~757)橘诸兄和藤原多比能之子。由于父亲橘诸兄受到圣武天皇的宠信，历任大学头、侍从、参议、正四位下右大弁，后因父亲诸兄逝世，和藤原家的藤原仲麻吕对立，而在圣武天皇驾崩后彻底失势，为了和藤原仲麻吕争斗而密谋拥立黄文王即位，泄露，被处死。847年，藤原仲麻吕叛乱，被杀，奈良麻吕被平反，追赠太政大臣。二代橘氏长者。
橘嘉智子：(786~850)橘奈良麻吕之子橘清友的女儿，嵯峨天皇皇后，别名檀林皇后。是第一个、也是最后一个出身橘氏的皇后。由于笃信佛教，建立了日本第一所禅寺--檀林院的得到"檀林皇后"的称号。在朝积极培养橘氏的势力，在嵯峨天皇死后成为太皇太后，设立橘氏一门的学府--学馆院以彰显橘氏的势力。据说是一位强势的皇后。
橘氏公：(783~848)橘清友之子。历任五位藏人、藏人头、参议，最后位至从二位右大臣。死后赠从一位。橘氏长者。
橘岑继：(804~860)橘氏公长子。历任藏人、左近卫少将，官至正三位中纳言。据说是位倾心与文化之人。橘氏长者。
橘逸势：(782~842)橘氏旁支，橘入居之子。804年和空海、最澄通行作为遣唐使前往中国，后来回国。842年参与拥立恒贞亲王之事，被发现，逮捕，流放伊豆，在流放途中病死。853年没赦免，赠从四位下。是和空海、嵯峨天皇共称"三笔"的优秀书法家。
橘广相：(837~890)橘氏长者阿波守橘峰范之子。向菅原是善学习礼法与知识，侍奉阳成天皇、光孝天皇、宇多天皇三代，历任文章博士、式部大辅、左大弁，直至正四位下参议。但是引起"阿衡事件"，被藤原氏陷害而失势。赠从三位中纳言。著名学者。
橘好古：(893~972)橘公材之子。橘氏长者。历任大学头、大藏大辅、民部大辅、左中弁、右大弁，最后成为正三位大纳言。是当时的能吏和著名学者。
橘恒平：(922~983)左近少将橘敏行之子。历任修理大夫、近江权守，获封正四位下参议。是橘氏最后一位公卿。
