Строительство замка было начато в 1323 г. великим князем Великого княжества Литовского Гедемином. Замок возводился на насыпном песчаном холме, окруженном болотистыми берегами рек Лидея и Каменка и рвом, соединяющим эти реки с юга и отделяющим замок от города.
За свою историю замок выдержал множество битв и осад. В XVIII в. он утратил своё стратегическое значение и начал постепенно разрушаться.
В 1891 году центральная часть города Лида сильно пострадала при пожаре и камни из юго-западной башни и части западной стены замка были использованы для восстановления зданий, пострадавших от огня.
В 1920-х началась консервация замка, которая завершилась в 1982 г. В настоящее время ведётся реставрация стен и башен.
Лидский замок, как и Мирский замок, находится под охраной государства.
