皇甫绩，字功明，安定郡朝那县人，北周到隋朝时期大臣，胡州刺史皇甫道之子。父母早亡，寄养于外祖韦孝宽收养，选为鲁公宇文邕侍读。卫剌王宇文直政变时期，冒死保护太子宇文赟，迁小宫尹，支持随国公杨坚辅政，决断朝廷事务，拜上开府、大将军、义阳郡公。隋朝建立后，历任豫晋二州刺史，建议出兵攻打陈朝，完成统一大业，迁苏州刺史，调理南方社会秩序。坚守姑苏，联合司徒杨素平定高智慧叛乱，迁信州总管，去世，时年五十二，谥号为安。
皇甫绩，三岁就成了孤儿，为外祖父韦孝宽所养育，他曾与诸位表兄下棋，韦孝宽因他懒于学业，用严格的训令来督促他。但可怜他年幼丧父，特别原谅他。皇甫绩叹气说：“我没有父母教训，被外祖父抚育。如不克制自己，自我勉励，怎能成人？”他十分感奋，让别人打他三十棍子，孝宽听说此事，对着他流泪，他于是专心致志，一心向学，于经书史书多有涉猎。
宇文赟还是鲁国公时，推荐他担任侍读，宇文邕曾避暑于云阳宫，由太子宇文赟监国。卫刺王在首都作乱，城门已闭，百官都逃走一空，皇甫绩听到后奋勇赴难，遇宇文赟于玄武门，宇文赟当时在楼上避难，宇文赟特下楼拉着皇甫绩的手，悲喜交集，叛乱平定后，宇文邕听说了他的事情，并嘉奖了他，迁为小宫尹。宣政初年，因皇甫绩前后的功绩，封其为义阳县男，任御正下大夫。
宇文赟登基为帝后，猜忌杨坚，杨坚幸得郑译相助，出任扬州总管，他们走了一些日子了，宇文赟病了，于是与御正下大夫刘昉商议，带杨坚回京受托，继而郑译宣诏：“文武百官都受隋公节度。”当时，御正中大夫颜之仪与宦官商议，引大将军宇文仲辅政。宇文仲已到宇文赟宝座跟前，郑译知道了，马上率领开府杨惠及刘昉、皇甫绩、柳裘一起入宫，宇文仲与颜之仪见了郑译等人，很惊愕，犹豫一会，想出宫去，杨坚因便抓了他们。于是假传圣旨，又以郑译为内史上大夫。次日，杨坚为丞相，授皇甫绩上开府，转内史中大夫，进封郡公，邑千户。
杨坚篡周建隋，皇甫绩出京任豫州刺史，不久任命他为都官尚书，几年后，转任晋州刺史。将去做官，跪拜杨坚说：“我实在平庸，又见识浅陋，对国家无益。因此常想冒着危难来报答国家的大恩，南方陈国还在，按我的揣度，有三个条件，可以灭他。”杨坚问他缘故，皇甫绩回答说：“大国吞并小国，这是一个理由；正义的国家讨伐不正义的国家，这是第二个理由；接纳叛臣萧岩，对我们来说，就有了攻打它的理由，这是第三个理由。陛下若命勇武的将士，我请求加入军队，出点头发丝那么大的小力。”杨坚嘉奖他的壮志，慰劳他，然后派遣他去，平定陈国后，任命他为苏州刺史。
高智慧等人在江南造反，苏州州民顾子元发兵响应，高智慧借助他来攻打皇甫绩。双方相持了八十天，顾子元一向感激皇甫绩的恩典，在冬至日，派人送上牛肉和酒。皇甫绩在给顾子元的信里说：“以前陈朝独自抵抗我朝，江东百姓饱受困苦。好在上天辅助仁德之人，假借我朝之手，进行了一次轻微的讨伐，陈国当时就土崩瓦解。金陵的百姓，死而复生；吴郡、会稽的臣民，白骨上又生出了肉。你们只应感恩戴德，欢歌庆祝，怎能够自比那些对主人狂叫，并噬咬主人的疯狗？你既然不是我的臣民，何必尽上酒之礼？我是大隋朝的将领，怎容与你外交？即便是遇到易子而食、析骸而爨的惨况，也不应相往来，何况你有足够的粮草兵马，又有高城深沟，你只需坐着等待援兵，对付我就绰绰有余了，何必劳你学着轻薄陈旧的风俗，说些虚伪的话，想阻拦我这个忠臣的心，白白地想迷惑我骁勇将士的大志？想用这些来见到你期待的目的，那是不可能的。你要好好地想想你的活路，并告知百姓，如能早日改变迷惑的心思，那你们在错误的道路上还不算走得太远。”
顾子元得到书信，就在城下叩头认罪，杨素的援兵也到了，合兵打败了叛军，朝廷授皇甫绩为信州总管、都督十二州诸军事。不久，皇甫绩因病请求退休，有诏调他回京，并给赐他御药，宫中的使者去拜见慰问他，络绎不绝，后面派的使者能望得见先前派出来的使者，在家中去世，时年五十二岁，谥号为“安”。