Familia Hardenberg fue el hijo mayor de Christian Ludwig von Hardenberg (1700-1781), un coronel hannoveriano que luego se convirtió en mariscal de campo y comandante en jefe del ejército hannoveriano bajo el Elector Jorge III desde 1776 hasta su muerte. La madre fue Anna Sophia Ehrengart von Bülow. Nació en Essenrode Manor cerca de Hanóver en el Electorado de Hannover, la propiedad del abuelo materno. La casa ancestral de los caballeros de Hardenberg es el Castillo de Hardenberg en Nörten-Hardenberg, que la familia adquirió en 1287 y posee hasta el día de hoy. Fueron creados barones y, en 1778, condes.