Карл Яковлевич Паль родился 5 сентября 1845 года в Санкт-Петербурге в семье немца Якова Христиановича Паля. Он обучался в училище Св. Анны. После получения наследства от отца, небольшого красильного и ситцепечатного предприятия, Карл Паль значительно улучшил производство и преобразовал его в крупное предприятие с числом работающих 2 тысячи человек.

В 1897 году он учредил акционерное общество «Александро-Невской мануфактуры К.Я. Паль общество» с основным капиталом в 2 млн рублей для содержания и развития ткацкой, белильной, красильной и набивной фабрик. Также был директором Триумфальной мануфактуры. На его фабрике велась активная революционная пропаганда, к которой был причастен в том числе известный рабочий-большевик И.В. Бабушкин.

Карл Яковлевич Паль занимался общественной деятельностью, был одним из создателей и участников Петербургского общества заводчиков и фабрикантов, учредителем Петербургского общества фабрикантов для взаимного страхования рабочих и служащих от несчастных случаев, членом совета Императорского петроградского коммерческого училища и членом Совета по тарифным делам Департамента железнодорожных дел Министерства финансов. Также был попечителем Первой Смоленской земской школы.

Карл Яковлевич Паль умер 24 февраля 1910 года. Он был награждён орденом Святого Владимира 3-й степени. В честь К. Я. Паля был назван Палевский проспект. После его смерти фабрика была переименована, а в 2000-х годах её корпуса были приспособлены под технопарк.