汉末时，“牙门”成了军旅营门的别称。这一名称逐渐移用于官府。

《武瓦闻见记》中记载：“近俗尚武，是以通呼公府为‘公牙’，府门为‘牙门’，字稍讹变转而为‘衙’也。”

唐代封演的《封氏闻见记》卷五“公牙”条说：“近代通谓府廷为公衙，公衙即古之公朝也。字本作'牙‘。《诗》曰：‘祈父予王之爪牙。’祈父，司法，掌武备，象猛兽以爪牙为卫。故军前大旗谓之‘牙旗’，出师则有建牙之事，军中听号令必至牙旗之下，称与府朝无异。近俗尚武，是以通呼公府为公牙，府门为牙门。字稍讹变，转而为‘衙’也。”

唐朝以后，“衙门”一词广为流行。到了北宋以后，人们就几乎只知道“衙门”而不知有“牙门”了。

由“衙门“派生出许多词。如“衙役“，指衙门里的差役；“衙内“，指衙门里的警卫官，因多为官吏之子弟充任，所以称官吏之子弟为“衙内“，如《水浒传》里陷害林冲的高衙内。