胶澳总督府位于市南区沂水路11号，1904年5月开工，1906年4月竣工。由德国设计师拉查鲁维茨设计，建筑师为德国人马尔克，由德国汉堡阿尔托纳区F·H·施密特公司施工。面对小青岛和青岛湾，处于当时青岛市中心处，是当时德国胶澳总督办公的地方，又称“总督府”。这座由花岗岩砌成的“总督府”，始建于1903年，1906年竣工。是一座砖石和钢木混合结构的建筑，建筑面积7500平方米，耗资85万德国马克。
建筑采用19世纪欧洲公共建筑的对称平面，主面为三纵五段的对称处理，中轴线非常突出，建筑平面呈“凹”字型。东西长80米,南北长约40米。四层设半地下室。位于二层的扁圆大圆券门廊为主入口,由宽大的39级石阶和两边的行车坡道直通, 建筑的2～3层为主办公楼,由中部大楼梯联通,层高4米。半地下室、四层及阁楼层是独立辅助办公楼层,仅能由两侧次段楼梯与各层联系。整个建筑以古典主义立面划分,底层作为基座,用粗大的蘑菇石砌筑,敦实厚重,以上为高达两层的花岗石矩形壁柱和变形的爱奥尼克柱头,柱间做石砌拱檐,拱上部为石砌墙面, 墙上开小窄窗。南主立面的三层柱间作拱形明柱廊。配以折线型屋顶，覆以筒式红瓦，开启有弧状屋面窗，顶侧装有铁栏杆，既用于装饰，又做避雷针，十分精巧。 总督府为5层楼房，主体高20米，1、4、5层楼均为窗户较小的辅助性房间，主要办公室都在2、3层朝阳的一面，走廊均在背阴的一面。办公室宽敞明亮，门窗很大，办公室外还有长廊式阳台，室内除装有柚木护墙板和地板外，别无其它装饰，使人感到庄重朴实。整个建筑外形非常庄重，处理手法也非常严谨。大楼外为一拱圈形大门，进门则是2层。2层的门厅和3层的会议厅及主要大厅都很高大。总督府内的门窗等木作皆用柚木做成,耐变形。外墙转角处为向外斜出的石砌勒脚,以加强稳定感。屋盖配以高耸的蒙莎式层顶,挂红筒瓦。整个建筑气势宏大,庄严而生动。该建筑位于楼前广场的中轴线上,广场前方通过叠落后的青岛路及中心花坛直对海面,更加突出行政建筑的庄重格局。解放前该楼为历届政府办公楼。解放后为青岛市人民政府办公楼。由于它背山面海，楼前广场空间开阔，更显得蔚为壮观，在建筑方位多不规则的青岛市区内，它是少见的一座近似正南正北的建筑物。
1914年第一次世界大战爆发，日本取代德国侵占青岛，总督府成为日军驻青岛守备司令部。1922年，中国政府从日本人手中收回青岛，此楼成为胶澳商埠督办公署，1929年4月，总督府又为青岛接收专员公署，同年7月成为青岛特别市政府的所在地。
1938年，日本第二次侵占青岛，总督府又成为日伪最高统治机关所在地，先后称为“青岛特别市公署”，“青岛特别市政府”。1945年日本投降后，国民党政府接收青岛，总督府再次作为青岛市政府所在地。
1949年6月2日，青岛解放。这座办公大楼先后为青岛市人民政府、青岛市人民委员会所在地。现为市人大常委会和市政协的办公场所。1996年，被国务院公布为全国重点文物保护单位。
