Dok je raspravljao o pitanju održavanja III olimpijade, Međunarodni olimpijski odbor odlučio ju je organizirati na teritoriju Sjedinjenih Država, budući da je ova zemlja pokazala dobre rezultate na dvije prethodne igre. U početku su željeli održati Olimpijske igre u Chicagu ili New Yorku, ali kao rezultat toga izbor je pao na malo lučko mjesto St. Louis.
U okviru Svjetske izložbe održana je i III olimpijada u St. Louisu, zajedno s Olimpijskim igrama u Parizu. Međutim, lokalna uprava Izložbe nije je smatrala konkurentom, već je, naprotiv, na sve moguće načine pokušavala iskoristiti igre u svoje reklamne svrhe. Uz to, organizatori su ponovili neke pogreške ljetnih olimpijskih igara 1900. u Parizu. Zbog vezanosti za Svjetsku izložbu, natjecanja su gurnuta u drugi plan, a same Olimpijske igre trajale su gotovo 5 mjeseci (1. srpnja - 23. studenog 1904.). Mnoga natjecanja održana su pod vodstvom različitih profesionalnih organizacija, no unatoč tome, svi su dobili naslov olimpijskih disciplina.
Prema MOO-u, 12 zemalja sudjelovalo je na ljetnim igrama u St. Jedina država koja je prvi put prisustvovala natjecanju bila je Južna Afrika. U usporedbi s Olimpijskim igrama u Parizu, broj zemalja sudionica dramatično je opao. 13 država koje su sudjelovale na ljetnim pariškim igrama nisu mogle doći u St. Louis iz ekonomskih razloga. Rusija, koja je u to vrijeme ratovala s Japanom, nije sudjelovala u natjecanju.
Na III Ljetnim olimpijskim igrama sudjelovala je ukupno 651 osoba, uključujući 6 žena. Natjecali su se za 94 kompleta nagrada u 18 sportova. Najbrojnija je bila momčad Sjedinjenih Američkih Država, na igrama su predstavljale 533 osobe. U mnogim su sportovima (boks, hrvanje, vaterpolo, streljaštvo i tenis) nastupali samo američki sportaši, pa su igre očito pokazale superiornost zemlje.
U St. Louisu su prvi put počeli nagrađivati trojicu, a ne dvojicu sportaša koji su pokazali najbolji rezultat. Glavni pobjednik natjecanja nagrađen je zlatnom medaljom; sportaš koji je zauzeo drugo mjesto - srebro; a treće mjesto nagrađeno je brončanom medaljom. Ta se tradicija održala do danas.
U neslužbenom ekipnom natjecanju zemlje sudionice bile su pozicionirane na sljedeći način: I mjesto - SAD (78 zlatnih, 82 srebrne, 78 brončanih medalja), II mjesto - Njemačka (4 zlatne, 4 srebrne, 5 brončanih medalja), III mjesto - Kuba (4 zlatne, 2 srebrne, 3 brončane medalje).
