Первые оборонительные сооружения на месте современной крепости появились еще в VI веке. Попеременно здесь властвовали, сменяя друг друга: алланы, хазары, половцы, византийцы, золотоордынцы. В XII на берегах Черного моря появляются посланцы Византийского государства — венецианцы, пизанцы и генуэзцы. Они активно начинают торговать с русскими, половецкими и среднеазиатскими купцами. Постепенно именно генуэзцы захватили все побережье от Боспора (Керчи) до Херсонеса (нынешний район Севастополя). Кафа (Феодосия) стала столицей их колонии в Крыму, а Судак – военной базой.