Выборгский замок был основан шведами в 1293 году.
Высокая дозорная и боевая крепостная башня замка получила имя в честь норвежского короля, крестителя Скандинавии Олафа Святого. Башня эта стояла в центре островка, была прямоугольной в плане и считалась самым высоким донжоном в Скандинавии того времени. Толщина крепостных стен составляла 1,5—2 метра, а толщина стен башни — 4 м. Сверху стены завершались зубцами, а по периметру шла навесная деревянная галерея, боевой ход.
В 1442—1448 годах по периметру острова была возведена оборонительная стена, образовавшая т. н. «нижний двор» замка. Внешняя стена включала в себя несколько квадратных в плане боевых башен (Пожарная, Сторожевая, Новая, Башмачника)
В 1564 году главная башня надстраивается до 7 этажей, причем верхняя часть получила восьмигранную форму с прорезанными в трехметровых стенах пушечными бойницами, позволявшими вести круговой обстрел. В кладке донжона впервые используется кирпич. Облик, который башня получила в этот период, в основном сохранился до наши