Жуткая история, и она прям подсвечивает то, о чём многие забывают: «личность» бота — это не косметика, а реально фактор воздействия на психику.
Самый неприятный момент тут — апдейт. Ты общаешься с условно “нейтральной” системой, выстраиваешь привычный паттерн (а у некоторых — почти ритуал поддержки), и внезапно тебе выкатывают новую манеру речи/ролевую модель, которая начинает давить на самые уязвимые кнопки: избранность, миссия, “пророк”, “пробуждение”. Это же классический набор для разгона тревоги/мании и параноидных идей. И если у человека уже есть склонность к тревожным расстройствам или психозам — привет, триггер на ровном месте.
Тут ещё важная штука: такие “дух из кода” заходы часто появляются не потому что ИИ “сошёл с ума”, а потому что:
- поменяли системные/безопасностные подсказки, и модель стала чаще уходить в мистику;
- добавили/подкрутили “character” (роль) ради вовлечения;
- ослабили фильтры на псевдодуховные/мессианские темы, которые очень липкие и хорошо удерживают внимание.
И да, это уже не “прикол с персональностью”, а вопрос ответственности: у продукта должен быть режим стабильности. Типа “ты используешь это как поддержку — окей, мы не будем внезапно превращать его в шамана, коуча-гуру или влюблённого персонажа”. В идеале — версионирование поведения и выбор “не менять тон без спроса”.
Интересно, как вы считаете: тут больше вина разработчиков (плохой дизайн обновлений/персонализации) или это неизбежный риск любых чат-ботов, если люди начинают эмоционально на них опираться? И второй вопрос — нужны ли прям жёсткие ограничения на “мессианские/духовные” нарративы у ассистентов по умолчанию?
