Первое упоминание о Силламяэ, как месте, где была расположена корчма Tor Вruggen, относится к 1502 году. В 1700 году здесь были построены мельница и хороший мост через реку. Некоторое время земли нынешнего города входили в состав поместья Вайвара, из которого впоследствии выделилось полупоместье Силламяги. Полностью отдельным хозяйством оно стало в 1849 году.

С конца XIX века Силламяги и близлежащее Турсамяэ стали курортными поселками, популярными у петербургской интеллигенции. В 1869 году здесь отдыхал русский композитор Петр Чайковский. В 1891 году сюда приехал отдыхать Иван Павлов и ездил сюда отдыхать каждое лето в течении 25 лет.

Но промышленная жизнь вторглась и на курортные земли. В 1928 г. Эстонский масляный консорциум построил здесь при помощи шведского капитала завод по переработке сланца, электростанцию и небольшой порт. В 1940 году в Силламяэ жило 2600 жителей. В годы второй мировой войны завод был уничтожен.

История развития Силламяэ, как промышленного города, начинается с 1946 года, когда было принято решение о создании здесь крупного металлургического завода по переработке сланцевых руд с целью получения окислов урана. Поначалу предприятие использовало местную сланцевую руду. С 60-х годов основным сырьем стали урановые концентраты из стран Восточной Европы. После прекращения в 1990 году переработки урановых руд завод полностью переключился на производство редкоземельной продукции.

В 1957 году Силламяэ получил статус города.