Джон О’Ши играл в составе «Манчестер Юнайтед» на протяжении 13 лет, начиная со своего 17 -летнего возраста. Присоединившись к  «Юнайтед» в возрасте 17 лет, Ирландец лишь два года спустя смог полноценно дебютировать в команде. А летом 2011 года, перейдя в стан «черных котов», стал игроком «Сандерленда».

Как первоклассный защитник,  О’Ши  впервые заявил о себе в сезоне 2002/03. До этого, он вначале играл на правах аренды за бельгийский «Антверпен» и «Борнмут», только после чего вернулся на «Олд Траффорд». Джон, играя на позиции центрального, правого и левого защитника, демонстрировал свою универсальность, а иногда и вовсе ему приходилась роль центрального хавбека, и свои первые золотые медали он выиграл именно в той кампании.

В следующем сезоне, более чем успешно,  О’Ши подменил травмированного Рио Фердинанда, без которого пришлось обходиться «красным дьяволам», и вместе с командой дошел до финала Кубка Англии, на котором была одержана победа со счетом 3-0 над «Миллуолом».

Кубком Лиги была пополнена коллекция выигранных трофеев игрока в сезоне 2005/06. Добыт он был в финальном матче над «Уиган Атлетик», где одержал победу «Юнайтед» со счетом 4-0. А в сезоне 2006/07 О’Ши выиграл чемпионат Англии, а также, во время игры с «Тоттенхэмом», выделился незабываемой игрой на воротах. Тогда ему пришлось подменить Эдвина ван дер Сара, получившего травму.

Голкипер был вынужден покинуть поле по причине сломанного носа, а поскольку «манкунианцы» уже провели  все три замены, то именно О’Ши решился встать в ворота. Примечательным оказался факт, что Джон отразил несколько опасных ударов и даже не позволил Робби Кину, своему партнеру по сборной Ирландии, обыграть себя, уверенно сыграв на выходе.

Позже, в этом же сезоне(2006/07) были забиты такие два важнейших гола, что помогли команде получить очередной титул, как забитый на «Энфилд Роуд» победный мяч в ворота «Ливерпуля» и прекрасный гол в матче с «Эвертоном», который завершился в пользу подопечных сэра Алекса Фергюсона со счетом 4-2.

Достаточно часто О’Ши появлялся на поле в сезоне 2008/09, периодически подменяя получавших травмы Уэса Брауна и Гари Невилла. Осенью 2009 года 350-й матч футболиста за «Манчестер Юнайтед», закончившийся со счетом 2-0, был отмечен голом в ворота «Сток Сити». На протяжении сезона 2010/11 защитник вышел на поле 32 раза, т.е. во всех турнирах. Таким образом, он завоевал рекордный 19-й титул чемпиона Англии и стал частью команды.

В составе национальной сборной Ирландии О’Ши  дебютировал в 2001 году на поединке с Хорватией, и провел в ее составе более шестидесяти матчей.