Joe a toujours été un prodige qui reçut l'attention des medias anglais dès son plus jeune âge, il fit parti des jeunes prodiges de West Ham United. Manchester United proposa même 10 millions de livres pour l'avoir alors qu'il n'avait que 16 ans. Avec un jeu proche de celui de la star Paul Gascoigne, il a évolué à West Ham avant d'y faire ses vrais débuts à l'âge de 17 ans. Il a donc fait partie de l'équipe victorieuse qui a battu Coventry City en finale de la Youth Cup en 1999.
En janvier 2003, Glenn Roeder, alors entraineur de West Ham lui confie le brassard de capitaine alors qu'il n'avait que 19 ans. Malheureusement pour Cole et pour West Ham, le club fut relégué en seconde division à la fin de cette même saison