小野乔是20世纪40年代末日本体操辉煌时代的开路先锋，然而，在相当长的一段时间里，日本和迅速崛起的苏联在国际赛场上展开了激烈的较量。
在日本流行着一句谚语“金棒的鬼，铁棒的小野”，“铁棒”在日语中是单杠的意思，日本体操历史上涌现过很多包括家原光男、笠竹茂、富田洋之等出色的单杠选手，但凭4届奥运会5金的成绩，始终没人能够威胁到小野乔“单杠之王”的地位。1952年第一次参加赫尔辛基奥运会，小野乔竟然获得了一块跳马铜牌。1956年墨尔本奥运会，小野乔为日本体操获得了第一块奥运会金牌——单杠金牌。
四年后的罗马奥运会，他又和队友竹本正男、相原信行、远藤幸雄一起，赢得了男团冠军。日本体操开始进入黄金时代，此后18年，日本男子体操队连续5次获得世锦赛和奥运会男团冠军。
小野乔在1956年墨尔本奥运会上获得单杠冠军，在个人全能决赛中则以0.5分之差不敌苏联选手维克托.丘卡林，屈居亚军。
四年后的罗马奥运会上，小野乔获得单杠、跳马和团体三枚金牌，然而再次以0.5分之差与全能冠军失之交臂，这一次对手是另一名苏联选手波里斯.沙赫林。
小野在东京奥运会上只获得了一枚团体金牌，他还参加了1962年布拉格世锦赛并获得两枚金牌以及几枚银牌和铜牌。
1964年东京奥运会
1964年，第18届奥运会在东京举行，这也是亚洲首次举办奥运会。开幕式上担任宣誓人的就是日本体操名将小野乔。他也顺理成章地成为奥运会历史上的亚洲第一位宣誓者。
上世纪六十年代，日本男子体操世界一流，小野乔当数该国最杰出的代表。1956年的墨尔本奥运会上，小野乔勇夺单杠金牌和团体、全能、鞍马3枚银牌，加上双杠第三，一人独得5枚奖牌。1960年，在罗马举行的第18届奥运会上，小野乔迎来了自己运动生涯的巅峰期。他率日本队夺得团体冠军，并狂扫单杠、跳马两枚金牌和全能银牌，还拿到了双杠、吊环两枚铜牌。
东京奥运会举行时，小野乔已经33岁，水平开始走下坡路。但组织者还是将代表运动员宣誓的光荣使命交给了这位第四次参加奥运会的老功臣。小野乔在自己的收山之作中同样不辱使命，带领本队再次将男子体操团体桂冠留在了日本。
退役后，小野乔夫妇俩人在1965年成立了池上体育普及俱乐部，这个以体操为主的俱乐部是日本第一个综合性体育中心，1988年汉城奥运会铜牌选手小西裕之，便是出自该俱乐部。这里也是日本体育俱乐部协会的前身，小野乔是名誉顾问。经常他都会来到俱乐部处理一些有关事务。在这里一路之遥，是在日本体育振兴中心担任理事长的小野清子的地方。
上世纪70年代，应中国体操协会的邀请，小野乔曾来华指导，小野乔说：“我到过南京、上海、北京，那时中国已经有了很多优秀的选手，我印象比较深的有杨明明、黄玉斌。现在中国队也有很多优秀的运动员，我虽然离开体操很多年了，但杨威、肖钦这些名字我都很熟悉。”
从上世纪70年代末起，日本体操逐渐走向低潮，其亚洲的统治地位也被中国所取代，直到2004年奥运会日本男团经历了26年的低潮才又重新站在世界最高的领奖台上，小野乔坐在观众席上见证了这一时刻。
