汉代，南阳地区一户人家，生了一对双胞胎儿子，大的取名大大，小的取名小小。一日，兄弟俩同时发烧，延请当地名医张仲景医治。张仲景诊断后认为，兄弟俩的症状相同，但病因不完全一样，根据兄弟俩不同的病因，分别给小兄弟俩各开了一张处方。这两张处方的相同之处是，都以柴胡为君药，并且都有黄芩、半夏、生姜、大枣，不同的是，大大的处方中有大黄、枳实，小小的处方中有人参、甘草。张仲景怕病家吃错了药，分别在大大的处方上写了个大字，在小小的处方上写了个小字。张仲景的方子果然很灵验，第二天，大大和小小的病都痊愈了。后来这两张方子张仲景屡用屡效。
张仲景晚年在编写《伤寒杂病论》时，决定将这两个方子都收入书中时，考虑到这两个方子都由七味药组成，都以柴胡为君药，都有黄芩、半夏、生姜、大枣，只有其余两味药不同，都该命名为柴胡汤，但如何区别呢？想到一张首先是大大用过，一张首先是小小用过的，因此，把大大的过的命名为大柴胡汤了，把小小用过的命名为小柴胡汤了（张北北）。