Augustus de Marmont, generaal van Napoleon Bonaparte, liet in 1804 de helft van zijn troepen samenkomen in wat toen Kamp Utrecht werd genoemd. Handelaren streken bij de nederzetting neer.
Toen Marmont en zijn troepen werden weggeroepen naar een andere oorlog, bleven de handelaren. Lodewijk Napoleon besloot in 1806 de nederzettingen samen te voegen tot een dorp dat de naam Austerlitz kreeg. De naam komt voort ter attentie van een overwinning die keizer Napoleon Bonaparte in 1805 behaalde op de Russen en Oostenrijkers. In het dorp herinneren enkele waterputten en straatnamen aan het Franse verleden. Het meest bekende symbool is de Pyramide van Austerlitz. De heuvel is in 1804-1805 gebouwd in opdracht van generaal de Marmont door zijn eigen soldaten als hulde aan keizer Napoleon Bonaparte. In eerste instantie werd de heuvel bekroond met een houten obelisk. Nadat het leger verdween, kalfde de heuvel af door gebrek aan beheer. Johannes Bernardus de Beaufort, Burgemeester van Woudenberg, liet in 1894 de Pyramide herstellen en een stenen obelisk op de heuvel plaatsen. Het monument is een van de hoogste punten van de Utrechtse Heuvelrug.