На 13 октомври 1792 г. във Вашингтон е положен основният камък на бъдещата президентска резиденция, която днес познаваме като Белия дом. Церемонията е извършена от масони и комисари на окръг Колумбия, но подготовката на терена и изграждането на основите започват още през юли същата година. Затова тази дата се приема за официално начало на строежа.

Сградата е част от плана за новата американска столица. Джордж Вашингтон избира мястото през 1791 г., а френският инженер Пиер Шарл Ланфан предвижда президентския дом и Капитолия като два основни фокуса на федералния град. Конкурсът за проекти е обявен на 14 март 1792 г. Малко по-късно е избран проектът на Джеймс Хобан – архитект, роден и обучен в Ирландия, който по това време работи в Чарлстон, Южна Каролина.

Първоначално постройката е наричана Президентски дом. Проектът на Хобан е повлиян от селските имения на Британските острови, но по време на работата е променен. Недостигът на средства и материали налага сградата да бъде по-малка от първоначалните планове и да има два основни етажа вместо три. За фасадата е използван светъл пясъчник от Аквия Крийк във Вирджиния, а вътрешната страна на каменните стени е допълнена с тухли.

Зад строежа стои смесена работна сила. Участват свободни работници от района, имигранти от Ирландия и Шотландия, както и поробени афроамериканци. Поробените работници разчистват терена, добиват и превозват камък, изработват хиляди тухли и участват в дърводелски дейности. Правителството не притежава тези хора, а наема труда им от собствениците им.

След осем години работа сградата все още не е напълно завършена, когато президентът Джон Адамс и съпругата му Абигейл се нанасят на 1 ноември 1800 г. Това е първото президентско семейство, което живее в нея. В писмо до Абигейл, написано ден по-късно, Адамс изразява прочутото пожелание Небето да дари тази къща и всички, които ще я обитават след това, с най-добрите си благословии.

Фасадата е варосана още преди сградата да бъде напълно завършена. Така постепенно се налага неофициалното название Белият дом, което започва да се използва около 1811 г. Сградата обаче не остава непокътната. На 24 август 1814 г. британските войски я опожаряват по време на войната от 1812 г., а възстановяването започва през 1815 г. отново под ръководството на Джеймс Хобан. Президентската резиденция е готова за повторно обитаване през 1817 г.