Уже в начале нашего века Ольхон едва не стал огромной тюрьмой. Генерал-губернатор Восточной Сибири А. Селиванов докосил царю Николаю II: «Весьма подходящим местом для подобного водворения ссыльно поднадзорных могли бы служить два острова на озере Байкале, именно: остров Ольхон для политических менее еэжных и острова Ушканьи —для наиболее важных; здесь необходимо выстроить казармы для них, приготовить пищевые склады, организовать охрану... С поселением на острове преступных элементов коренное население Сибири было бы ограждено от вредного влияния ссыльных и надзор за ними был бы значительно облегчен». Резолюция царя была решительной: «Теперь же приступить к необходимым устройствам на острове Оль-хоне, совершенно освободив остальные местности Сибири от поселения преступного элемента». После обследования острова Селиванов предусматривает проектом три места для строительства тюрем: близ улусов Hyp и Хада; на месте улусов Хужир и Сыргыта; в долинах речек Харанса, Харалдай и Нюргун. Ольхонская каторга представлялась организаторам в виде 40 поселков с бараками, служебными зданиями и 16 тюрьмами на 8 тыс. человек. Расходы на постройку предполагались в 10 млн. руб., режим — военный, при этом Селиванов особо отмечал: «Основное положение: женщины на остров Ольхон не ссылаются и не допускаются ни под каким видом и ни по какому поводу».
Значительные затраты (если в среднем содержание одного преступника в России в то время составляло до 176 руб. в год, то для Ольхона расходы возрастали до 300 руб.), возможная неблагоприятная политическая огласка не позволили состояться грандиозной каторге.
В современной жизни бурятского населения немало осталось от прошлого, крепки и связи с шаманизмом. Для принятия жизненно важных решений зачастую обращаются к шаманам, до сих пор имеющим большое влияние. И сегодня никакой силой невозможно заставить бурятку посмотреть в сторону священной горы Ижимей, а культ шаманских коновязей — сэргэ (деревянных или каменных столбов у дороги, мимо которых следовал кортеж для похорон шамана) настолько вошел в обиход, что даже русские «брызгают бурхану» для удачи в задуманном деле. Сэргэ, используемые и просто в качестве коновязей, широко распространены в Приольхонье и стоят, как правило, у дороги на перевальных участках, где перед подъемом останавливаются на отдых. Обычай приносить жертву в таком случае духу, «хозяину» этого места, в виде мелких вещей, монет, кусочков ткани или платков, привязываемых к сэргэ, пить спиртное с разбрызгиванием для задабривания бурхана настолько вошел в обиход местного населения, что такие жертвенные места легко определить даже при отсутствии сэргэ по грудам винных и водочных бутылок. В последние годы их стали разбивать, чтобы лишить заработка людей, не боящихся гнева «божеств».