五角大楼不归白宫管，两者职能不同。五角大楼是美国最高军事指挥机关—美国国防部的总部所在地；白宫是美国总统的官邸和办公室，由美国国家公园管理局拥有，是“总统公园”的一部分。

五角大楼是世界上建筑面积最大的单体办公楼，其总建筑面积达650万平方英尺，其中办公面积为370万平方英尺。大约有23000名军方人士及文职人员在五角大楼工作，另外还有约3000名非国防志愿者在五角大楼服务。

白宫共占地7.3万多平方米。由主楼和东、西两翼三部分组成。主楼宽51.51米，进深25.75米，共有底层、一楼、二楼、三楼共四层。白宫是美国总统办公和居住之地，因而成为美国政府的代称，底层有外交接待大厅、图书室、地图室、瓷器室、金银器室和白宫管理人员办公室等。