北京胡同的形成是随着北京城的形成而变化、发展、演进的。公元前1045年,北京是奴隶制的古燕国的都城,叫蓟城,当时的城墙是用夯土筑成的。到了战国时期,《周礼·考工记》记载:“匠人营国,方九里,旁三门,国中九经九纬,经涂九轨,左祖右社,面朝后市。”这就是胡同的雏形。
以后的两千多年间,从秦、汉开始,无论是三国、两晋、南北朝,还是隋、唐、五代和宋朝,这块地界儿一直都是北方的重镇。
公元10世纪初,辽朝建立,把这儿当成了陪都,改称南京,又称燕京。公元12世纪,金朝建立,在此建都,称为中都,中都城里出现了坊、街、道、巷,这些可算作是“胡同”的最早雏形。