从明末清初到现在的300年间，六大茶山随着时代的变迁共经历了三次大的起落。
第一次衰落：清朝中后期，清政府不断加重农民的负担，使农民不堪重负，茶农的经济利益因此受到了很大的损害，茶商也无利可图，许多茶商和马帮只好另走他途，茶农们纷纷丢弃茶园另谋生路，六大茶山的茶叶产量逐年下降。到了清朝末年，由于地方混乱，盗匪蜂起，交通阻塞，商旅畏途，茶叶经营无销路，制茶商号纷纷倒闭，过去那种茶商云集、马帮络绎不绝的景象已经不复存在，六大茶山的茶叶贸易也一蹶不振。
第二次衰落：到了民国二年（1913年），内地的汉族商人又逐渐进入茶山购买茶叶运至越南的莱州销售，运输全靠马帮和牛帮，牛帮运送一次需要一个月的时间。随着茶叶销量的逐年增加，六大茶山才慢慢开始复苏，过去的一些茶号又开始恢复了茶叶加工。在倚邦，除了过去已经有的庆丰号、庆丰益号、元昌号、恒盛号等老茶庄外，又新增加了园信公号、惠民茶庄、升义祥号、鸿昌号等茶庄。但是，老茶园没有完全得到恢复，茶号虽多，但产量有限，每年只有两千担左右，茶号之间相互抢购毛茶，一些茶农为了眼前利益，乘机制造了部分假茶，被买方发现，名茶倒了牌子，销路再次受到了极大的影响。这是六大茶山第二次衰落的主要原因之一。
