Enfant prodige de Savannah, champion de golf précoce, petit ami de la ravissante et richissime Adele Invergordon, Rannulph Junuh est envoyé au front, où l'horreur du premier conflit mondial le frappe de plein fouet. Après plusieurs années de silence, cet héros de guerre désenchanté revient à Savannah dans le plus parfait anonymat, hanté par le souvenir atroce de ce qu'il a vécu. Fantôme parmi les vivants, il se retire du monde dans un vieux manoir délabré.
La Grande Dépression de 1929 a fait fondre toutes les fortunes, le père d'Adele s'est suicidé pour échapper au déshonneur de la ruine et le parcours de golf qu'il avait fait construire semble voué à la faillite. La jeune femme décide alors de faire sortir Junuh de sa retraite et de l'opposer aux deux plus grands golfeurs de l'époque, Bobby Jones et Walter Hagen, lors d'un tournoi dont les bénéfices permettront au terrain de ne pas disparaître.
Mais Junuh ne veut pas en entendre parler. Il est certain d'avoir perdu le secret du "swing authentique" qui avait fait sa réputation de champion. Un homme surgi de nulle part se présente alors à lui. C'est un mystérieux et providentiel caddy noir, Bagger Vance, dont les conseils semblent avoir des répercussions sur sa vie.