林坚味在恭愍王时成为于达赤，因功补中郎将。红巾军东征高丽时，护送恭愍王南下，后策扈从功为一等。后外放安州上万户，与池龙寿、李成桂等征伐东宁府。1374年作为全罗道副元帅，随崔莹讨伐耽罗牧胡。

他累迁至密直副使，高丽禑王时，任知门下省事。1377年参与讨伐倭寇，曾遭败绩，据说他不仅掩盖失败，还抢李成桂功劳。后转门下评理，成为宰相，又被王禑任命为内宰枢，与洪永通、曹敏修“常在禁中，事无大小，皆先关白然后行”。后任守门下侍中，把持朝政。随着王禑逐渐长大，也厌恶林坚味的专擅与贪婪，让林坚味之子林㮹（王禑幼年的玩伴）说服林坚味退休，林坚味便称病辞职，遂封平原府院君。但不久又封侍中。当时林坚味、李仁任、廉兴邦纵容恶奴，用水精木强抢良田，主人虽有公家文券，不敢同他们争辩，时人谓之“水精木公文”。王禑听说后，对此深恶痛绝，经常把“水精木公文”挂在嘴上。