После этого Ремезов проехал на Каменский завод, где выполнил ряд чертежей и рисунков — пушек и мортир, различных видов брусчатого, полосового и прутового железа для пушечных лафетов и колес. На своих рисунках Ремезов также подробно воссоздал картину доменного производства металла и изготовления селитры. Именно поэтому историки техники считают Семена Ремезова одним из основоположников инженерной графики в Сибири и на Урале.
В этот же период Ремезов принимал личное участие в поисках полезных ископаемых и даже в осмотре некоторых археологических памятников, например, петроглифов на реке Ирбит у деревни Писанец.
По возвращении в Тобольск Ремезов участвовал в дальнейшем поиске "селитрянных земель" и устройстве порохового завода. И тут-то Ремезов услышал крайне неприятную для себя весть — его покровитель Андрей Виниус попал в опалу: он был отстранен от управления Сибирским приказом и от многих других дел. И произошло это необычайно быстро…
ОПАЛА ВИНИУСА
Еще в начале 1703 года царь считал Виниуса своим ближайшим другом, продолжал писать ему доверительные шутливые письма. Когда русские войска заняли Шлиссельбург — древний новгородский Орешек — Петр Первый в первую очередь поделился этой радостью именно с Виниусом. "Правда, что зело жесток сей орех был, однако ж слава богу, счастливо разгрызен. Артиллерия наша зело чудесно дело свое исправила".
И вдруг опала… Причина была проста. До монарха дошли достоверные известия, что его друг стал брать взятки.
Петр всегда считал взяточничество одним из величайших бедствий для государства: оно расшатывало основные устои всего порядка в стране. Преобразователь России люто ненавидел тех, кто был нечист на руку. Он приравнивал взяточничество к государственной измене. И потому стремился беспощадно бороться с лихоимцами.
Петр был потрясен, узнав, что и почтенный Андрей Виниус не устоял перед соблазном. Гневу царя не было предела. Виниус, естественно, страшно перепугался, когда услышал, что Петру стало известно о его проделках. И тут он допустил новую роковую ошибку: с помощью новой взятки попытался расположить в свою пользу всесильного тогда Александра Меншикова. Зная, что Ментиков и сам нечист на руку, Виниус послал ему в Петербург дорогие подарки: три коробочки золота, 150 золотых червонцев, 300 рублей денег, умоляя его замолвить словечко перед разгневанным царем. Двуличный Меншиков подарки принял и даже написал Виниусу, что-де он "оправдался совершенно во всем". А в то же самое время направил Петру Первому другое письмо, в котором разоблачал Виниуса и доносил, что тот опять с помощью взятки "выкручивался". Царский любимец, обычно не брезговавший "даяниями", лицемерно писал своему державному другу: "Зело я удивляюсь: как те люди… хотят меня скупить за твою милость деньгами или они не хотят или бог их не обращает. А большую дачу дал мне Виниус и за то, чтоб пушкарский приказ и аптеку хотя у него и взять, только бы Сибирский приказ удержать за ним. Из чего изволишь познать — для чего такую великую дачу дал: надеется от Сибирского приказа впредь себе больших пожитков, а прежде много раз бил челом твоей милости о деревнях, что пить и есть нечего". Этот предательский удар достиг своей цели: Виниус был отстранен от многих других своих должностей и удален в Гродно.
Вот что пишет знаменитый историк С.М. Соловьев в связи с этими событиями: "Старику стало очень тяжело: другие идут быстро вперед… а старый служака забыт в опале! Не он ли умножил казну несколькими сотнями тысяч, нашел руды медные и железные, устроил 4 завода, которые кроме удовлетворения государственным потребностям, отправляют свои произведения за море, устроил китайский торг, нашел селитру и в два с половиной года изготовил больше 600 пушек, улучшил порох, устроил математическую школу? И за все это вместо награды наложили на него взыскание в 13 000 рублей. Чтобы заплатить эту сумму, должен был один двор продать, другой заложить, деньги занять; опозорен, обнищал и, наконец, 65-летнего старика послали в Гродно, где делит год в тяжких трудах".
В довершение всего на Гродно нападают шведы, и Виниус вынужден искать себе убежище в Пруссии, а затем в Голландии. Но у себя на родине он уже никому не был нужен. С трудом удалось выпросить у Петра разрешение вернуться назад в Россию. Но тщетны были надежды вернуть себе доверие царя. Вскоре, опозоренный и разоренный, Виниус умер.
Его преемники в Сибирском приказе уже не нуждались в услугах Семена Ремезова. Но тот, несмотря на преклонный возраст, продолжал трудиться в Тобольске. Он строил Гостиный двор. Законченное в 1706 году сооружение получилось внушительным. Вот как описывает его историк сибирской архитектуры В.И. Кочедамов.
"Гостиный двор, окруженный мощными стенами с башнями на углах, был надежно защищен от врагов и огня. Внутрь двора вели двое ворот с часовней над западными и таможней над восточными. С южной и северной стороны двор имел двухъярусную аркаду, за которой располагались лавки — 30 в верхнем и 35 в нижнем этажах, а под ними склады. На галерею вели наружные открытые лестницы. Крепостной облик гостиному двору придавали башни с машикулями[2] и маленькие окна, прорезавшие гладь стены. Гостиный двор в несколько искаженном виде дошел до нашего времени".
Три года спустя после окончания строительства Гостиного двора до тобольских властей дошли тревожные слухи, что со стороны Башкирии и Казахстана готовится нападение "немирных людей". Срочно было решено в нижнем посаде возвести оборонительный земляной вал, подобный тому, который был создан в 1707–1708 годах при укреплении Московского Кремля и Китай-города. Строить его поручили Семену Ремезову. В 1709 году Ремезов начал составлять подробный план тобольского "подола", нижнего посада, с тем чтобы по нему определить, где потом потребуется насыпать "земленой город с башнями и рвом по московскому образцу". Но земляной вал так и не пришлось строить. После Полтавской победы южные недруги России, прослышав о новых русских ратных успехах, уже не решились вторгаться в Западную Сибирь. С тех самых пор уже более никто никогда не помышлял о нападении на Тобольск. На все последующие века он стая городом, находящимся в глубоком тылу — настолько стараниями русских землепроходцев расширились пределы России.