子夏的弟子段干木，很可能是第一个有记载的经纪人。《吕氏春秋·尊师》记载：“段干木，晋国之大驵也，学于子夏。”驵（zǎng）本意是骏马、良马，继而引申为从事马匹交易的专业经纪人。从先秦开始，经纪人被称呼为驵，最早的经纪人很可能从事的是马匹一类大型牲口的交易中介活动。
随着商品经济的发展，汉朝时，经纪人也出现在了除马匹以外社会上多方面的交易中，也是从汉代开始，驵与侩并称，专指经纪人。《史记·货殖列传》记载：“……子贷金钱千贯，节驵会。”这里的会同侩（kuài），如《汉书·货殖传》记载：“子贷金钱千贯，节驵侩。”颜师古为其作注，解释为“侩者，合会二家交易者也。驵者，其首率也。”驵侩也就成为撮合买卖成交从中获利的人的代称，侩的使用频率也越来越多。《后汉书·逸民传》中记载了王君公侩牛自隐，即做了牛类交易的经纪人。
晋朝对服饰有着严格的制度，晋律规定：“侩卖者，皆当着巾，白帖额，题所侩卖者及姓名，一足着黑履，一足着白履”，就是说，晋朝经纪人要将自己从事的行业和姓名明白地告诉周围人，并且要穿黑白两色的鞋各一只。也正是在这一时期，侩逐渐代替了驵，成为经纪人的专指，东晋《搜神记》中有杨伯雍种玉蓝田的传奇故事，而杨伯雍“本以侩卖为业”。也许由于连年战乱的原因，魏晋南北朝关于驵侩的记载越来越少，而当职业经纪人再次出现在人们视野中时，他们已经有了新的称呼：牙人。
隋唐结束了乱世，迎来了盛唐的繁荣，经济再次发展，而经纪人也再现活力。但经纪人的称呼从驵侩到牙人的变化，已经颇不可考，有一种说法认为经纪人称互郎，即交互沟通、交互买卖的意思，但唐人书写错误，由此开始讹传为牙，一直沿用下来。（《国家人文历史》）