Родился 22 января 1954 года в городе Гродеково Приморского края в семье военнослужащего и врача, Исаака и Фаины Ярмольник.
В 60-е г.г. семья обосновалась в г. Львове. В школе Леонид учился легко, но без усердия. Увлечений было много. Сначала это был аккордеон, Леонид даже учился в музыкальной школе. В старших классах увлечением стали литература и театр, ради которого он поступил в театральную студию при Народном театре им. Ленинского комсомола.
Окончил Театральное училище имени Б. В. Щукина в 1976 году (курс Ю. В. Катина-Ярцева). В 1976—1984 — актёр Театра на Таганке. На заре актерской карьеры, успешно выступал на эстраде как мастер юмористической пантонимы. В 1983 году, когда в Театре на Таганке режиссера Юрия Любимова сменил Анатолий Эфрос, часть актеров ушли из театра. Ярмольник оказался в их числе.
В кино дебютировал в 1974 году в фильме «Ваши права». Роли, которые он играл в кино в 70-е г.г. были эпизодическими и заметного следа в памяти зрителей не оставили.
В 1979 году в телевизионной передаче «Вокруг смеха» Леонид Ярмольник предстал перед многомиллионной аудиторией в образ «цыпленка табака». Это был настоящий успех, зрители запомнили Ярмольника и полюбили.
Благодаря стараниям Александра Абдулова Ярмольник попал на съемки телефильма Марка Захарова «Тот самый Мюнхгаузен», где сыграл роль Феофила – сына Мюнхгаузена, истеричного и избалованного. Затем последовала роль бандита по кличке Гнус в фильме Валерия Фокина «Сыщик», эпизод «А я говорю - не рычи!» стал украшением фильма.
В 80-е годы Леонид Ярмольник много снимался, причем, часто в отрицательных ролях. Отрицательные типажи создавали ему определенные трудности, например. из-за них его долго не принимали в Союз кинематографистов, хотя на его счету было уже около 50-ти фильмов.
Зрители запомнили его героев в фильмах «Ищите женщину», «Человек с бульвара капуцинов», «Француз», «Две стрелы» и другие.
С 1993 года работает на телевидении, куда его пригласил Влад Листьев.
Вел программы: "L-клуб", "Золотая лихорадка". В августе 1996 года Ярмольник занял третье место в рейтинге телеведущих, пропустив вперед лишь Л.Якубовича, который уже четвертый год удерживает пальму первенства, и В.Пельша.
Был продюсером фильма "Московские каникулы" (1995) и удостоился приза "Золотой овен" как лучший продюсер года.
Учредитель и президент студии «L-клуб» (дистрибуция фильмов), вёл одноимённую передачу на телевидении.
В качестве члена жюри не пропускает практически ни одной крупной игры КВН.
В 2000 году Леонид Ярмольник получил Государственную премию России и премию «Ника» за лучшую роль второго плана в фильме «Барак».