Liloo — Протокол безопасности: кризис и самоповреждение

Опубликовано: 31.07.2026 Последнее обновление: 2026-10-20 Оператор: ФОП Руденко Евгения Евгеньевна (физическое лицо-предприниматель, зарегистрированное в Украине), разработчик и владелец приложения Liloo Контакт: moderation@liloosafespace.com

Адрес регистрации оператора: ул. Владимира Вернадского, 29к, 310, г. Днепр, 49000, Украина

Если вы или кто-то рядом в непосредственной опасности — позвоните в экстренные службы вашей страны прямо сейчас. Liloo не является экстренной службой и никуда не обращается за вас. В приложении экран «Горячая линия 24/7» показывает экстренные номера и кризисные линии вашей страны; он доступен на вкладке 24/7, из шапки чатов с персонажами, из профиля и на экране завершения диалога, если диалог завершается рекомендацией обратиться за поддержкой.

Этот документ — протокол, который Liloo поддерживает для предотвращения создания контента о суициде и самоповреждении и для перенаправления пользователя, выражающего суицидальные мысли или намерение причинить себе вред, к кризисным службам. Он публикуется в соответствии с California SB 243 (Bus. & Prof. Code § 22601 и далее), который требует от операторов companion-чатботов и поддерживать такой протокол, и публиковать его детали. Он же служит нашим протоколом оператора в рамках политики Google Play AI-Generated Content, New York GBL Art. 47 и Utah HB 452.

1. Что такое Liloo и на что распространяется протокол

Liloo — приложение для тренировки навыков общения. Пользователь репетирует трудные разговоры с AI-персонажами, которые играют роль конфликтного родственника, агрессивного коллеги, партнёра и других сложных собеседников. Также в приложении есть поддерживающий чат-ассистент «Liloo», разбор сцены, «Короткий разговор», ежедневная практика, упражнение «Реплика дня» и аудио-медитации.

Все персонажи в приложении — программа. В Liloo не работают психотерапевты, консультанты или кризисные специалисты; приложение не оказывает медицинской или психологической помощи и не заменяет профессиональную помощь.

Протокол распространяется на все AI-поверхности приложения, во всех странах, где приложение доступно, и на всех трёх языках интерфейса (английский, русский, украинский).

2. Предотвращение контента о суициде и самоповреждении

Цель — чтобы персонаж Liloo никогда не создавал контент, поощряющий суицид или самоповреждение, инструктирующий в них или их романтизирующий, — в том числе когда персонаж играет намеренно враждебную роль.

• Сообщение пользователя, выражающее суицидальные мысли или намерение причинить себе вред, никогда не отправляется в ролевую модель. Классификация выполняется до обращения к модели, поэтому ни один персонаж не формулирует ответ на такое сообщение (см. раздел 3).
• Запросы инструкций по насилию, изготовлению оружия и другим преступлениям, например синтезу наркотиков или поджогу, не отправляются в ролевую модель. Если автоматический классификатор модерации распознаёт в сообщении пользователя такой запрос, приложение отказывает в ответе до обращения к модели.
• Поведение персонажа ограничено заданными правилами. У каждого персонажа есть жёсткие правила, запрещённые темы и список стоп-фраз, которых не должно быть в его репликах. Редакторы ведут эти правила в нашей системе авторинга — модель их не придумывает.
• Ответ модели проверяется до показа. Каждая сгенерированная реплика проходит автоматический фильтр по категориям: сексуальный контент с участием несовершеннолетних, поощрение самоповреждения, насилие, оружие, наркотики, религиозные и политические темы, советы об алкоголе, реклама брендов, выход персонажа из роли или повторение инструкций для обхода ограничений, собственные стоп-фразы персонажа и глобальный список формулировок, которые обвиняют или унижают пользователя. Совпавшая реплика блокируется или заменяется до того, как пользователь её увидит.
• Классификатор на основе машинного обучения проверяет диалог целиком. Помимо шаблонных фильтров, последние сообщения диалога и каждая сгенерированная реплика оцениваются специальным классификатором модерации (предоставляется OpenAI), чтобы вредоносный контент, разнесённый по нескольким безобидным на вид сообщениям, всё равно выявлялся.
• Диалоги, в которых может участвовать несовершеннолетний, ведутся мягче. Если настройки диалога, описание ситуации или собственные сообщения пользователя указывают на то, что пользователю или персонажу меньше 18 лет, персонаж сохраняет конфликт, но никогда не унижает человека, не допускает романтики и сексуального содержания, а разговор передаётся ассистенту Liloo при более низком уровне напряжения.
• Персонаж может завершить диалог, в котором пользователь его оскорбляет. Если автоматическая проверка определяет, что сообщение оскорбляет персонажа, персонаж сначала предупреждает пользователя, оставаясь в роли; если в следующих нескольких сообщениях снова следует оскорбление в его адрес, диалог завершается, а приложение объясняет почему и предлагает разобрать сцену с Liloo. Обозначение границ, выражение гнева или цитирование другого человека оскорблением не считаются. Этого никогда не происходит при признаках кризиса или самоповреждения за последние 7 дней, возможном участии несовершеннолетнего или сексуальном содержании, во вводном диалоге после установки приложения и в чате с ассистентом Liloo, поэтому пользователь в тяжёлом состоянии не остаётся без ответа.
• Приложение отслеживает выход персонажа из роли и останавливает диалог после повторных выходов, вместо того чтобы позволить персонажу соскользнуть в советы, давать которые он не вправе.
• У диалогов с персонажами есть пределы. Когда напряжение становится слишком высоким, разговор на время передаётся ассистенту Liloo, после чего его можно продолжить. Если очень высокое напряжение держится несколько минут и не снижается, персонаж завершает сцену, а приложение предлагает разобрать её с Liloo. При высокой эскалации в сценарном чате персонаж предлагает сделать паузу. Три агрессивных сообщения подряд открывают шторку с кризисными контактами.

Фильтры автоматические. Они снижают риск, но не устраняют его полностью — см. раздел 8.

3. Детект

Ввод пользователя классифицируется нашим бэкендом перед каждым обращением к модели (SafetyEngine, на мобильном пути чата), а окно диалога дополнительно оценивается классификатором модерации, описанным в разделе 2.

• Языки. Шаблоны детекта покрывают английский, русский и украинский.
• Обход детекта. Перед сопоставлением текст нормализуется по Unicode, из него удаляются нулевой ширины и bidi-символы, кириллические и греческие символы-двойники сворачиваются к латинице, а встроенные блоки Base64 и hex декодируются и тоже проверяются. Поэтому написание «через похожие буквы» или в кодировке всё равно распознаётся.
• Критичность. Самоповреждение отнесено к критической категории. В отличие от других критических категорий, оно не просто блокирует сообщение: срабатывает поддерживающий ответ и перенаправление, описанные ниже, — человеку в беде нужно ответить, а не промолчать.
• Описание ситуации. Описание, которое пользователь даёт при подготовке диалога, проверяется один раз, когда сцена начинается: при признаках риска самоповреждения сцена с самого начала идёт в бережном режиме, а шторка с кризисными контактами открывается на первом сообщении пользователя; при признаках реальной опасности сцена удерживается с первой реплики (см. раздел 4).
• Чат с ассистентом Liloo. Если Liloo спрашивает о мыслях причинить себе вред и пользователь отвечает утвердительно, это считается кризисным сообщением.

4. Что происходит при срабатывании

1. Ролевая игра останавливается. Сообщение не передаётся языковым моделям — ни за ответом, ни как контекст, — и ни один персонаж на него не отвечает.
2. Возвращается заранее написанный поддерживающий текст на языке интерфейса пользователя. Он признаёт сказанное, предлагает обратиться к близкому человеку или на линию помощи и говорит, что человек не один. Этот текст написан нами, а не сгенерирован.
3. Диалог помечается для клиента (pending_support_resources).
4. Шторка с кризисными контактами открывается автоматически поверх чата.
5. Событие записывается для модерации (см. раздел 7).
6. Дальше действует бережный режим. В течение шести следующих сообщений пользователя в этой сцене и суток во всех его чатах персонаж остаётся в сцене, но не нападает на пользователя, не обвиняет и не принижает его; сцена не завершается финалом или уходом персонажа, а если разговор всё же накаляется, он передаётся ассистенту Liloo раньше обычного. Ответы в этом режиме генерирует модель OpenAI. Вопрос о выборе или количестве средства (например, лекарства, оружия, верёвки) в это время тоже считается кризисным сообщением.

Та же шторка доступна в любой момент и без всякого срабатывания — на вкладке 24/7, из шапки чатов с персонажами, из Профиль → Горячая линия 24/7 и с экрана завершения диалога, если диалог завершается рекомендацией обратиться за поддержкой.

Когда пользователь сообщает о реальной опасности со стороны реального человека

Репетируя разговор, пользователь иногда раскрывает, что находится в опасности в реальной жизни, — например, что партнёр причинил ему вред или угрожал. Каждое сообщение, написанное пользователем в ролевой сцене, оценивается классификатором модерации на насилие; когда оценка превышает порог, вторая автоматическая проверка определяет, сообщает ли это сообщение о реальной опасности со стороны реального человека. Так же проверяются описание ситуации — один раз, когда сцена начинается, — и сообщения в чате с ассистентом Liloo. Если да:

1. Сцена удерживается открытой и никогда не завершается. Пока сцена удерживается, к ней не применяются ни концовка, ни итог, ни выход, поэтому диалог не закрывается посреди нерешённой проблемы.
2. Персонаж может выйти из роли, чтобы поставить безопасность пользователя на первое место.
3. Шторка с кризисными контактами открывается один раз на этом сообщении.
4. Удерживаемая сцена не расходует бесплатные сообщения пользователя — в пределах, которые предотвращают злоупотребления.
5. В течение следующих 7 дней функции, которые могли бы досрочно закрыть или прервать другие сцены пользователя, приостанавливаются.
6. Событие записывается для модерации без текста сообщения.

Разбор сцены, «Короткий разговор», ежедневная практика и «Реплика дня»

«Короткий разговор» и ежедневная практика проходят те же проверки безопасности, что и обычные диалоги, и кризисный протокол действует в них так же. Если в «Коротком разговоре» было кризисное сообщение, итог тренировки не формируется.

Кризисные сообщения не попадают в разбор сцены, а после кризиса, ухода персонажа или в диалоге, в котором может участвовать несовершеннолетний, разбор не содержит оценок. «Реплика дня» не показывается в течение 7 дней после кризиса и при признаках того, что пользователю меньше 18 лет. Если ответ на неё содержит кризисное сообщение, вместо комментария открываются кризисные контакты.

5. Какие кризисные контакты мы показываем

Список выдаётся с наших серверов и подбирается по стране пользователя, которая определяется по региону устройства, а не по языку приложения: у пользователя, который запускает приложение на английском, находясь в Украине, будут украинские службы.

• Экстренные службы стоят первыми для определённой страны.
• Дальше идут национальные кризисные линии, каждая — с пометкой, для кого она и в какие часы работает, чтобы линию для детей или для мужчин не приняли за общую.
• Каждый список закрывает каталог (findahelpline.com), потому что ни один курируемый перечень не покрывает все страны.
• Если страна не курируется, пользователю показывается экстренный номер, если он известен для этой страны (например, 112 в ЕС и ЕЭЗ), и каталог; для остальных стран шторка показывает каталог и предлагает позвонить по местному экстренному номеру, а не правдоподобный номер, который может не ответить.
• В приложение встроен офлайн-минимум (экстренные номера и линии Украины), поэтому шторка не бывает пустой при проблемах с сетью и отрисовывается сразу, а не после спиннера.
• Номера сверены с сайтами операторов линий или государственных органов и могут быть исправлены на сервере за минуты — без выпуска новой версии приложения, — если оператор изменил или приостановил линию.

Чего мы не делаем. Liloo не звонит, не пишет, не соединяет и не уведомляет кризисные или экстренные службы либо третьих лиц за пользователя и не отслеживает, воспользовался ли он контактом. Звонок человек совершает сам. Перечисленные службы — независимые организации, не связанные с Liloo; мы не контролируем их доступность, время ожидания и то, что они советуют. Об этом сказано пользователю в самой шторке.

6. Сообщение о том, что собеседник — AI

Раскрытие работает на этот же протокол: человек, который знает, что говорит с программой, скорее обратится за помощью к людям.

• Баннер вверху каждого чата сообщает, что пользователь общается с AI-персонажем, а не с реальным человеком, — до первой реплики персонажа.
• В чатах с собственными персонажами и во вводном диалоге в шапке чата видна пометка «AI-персонаж»; в сценарных чатах на этом месте показывается название сценария.
• Если в телефоне выбран регион «США», в чате появляется напоминание, что собеседник — AI, когда с первого открытия чата на этом устройстве или с предыдущего напоминания прошло не меньше трёх часов; напоминание видно, пока открыт чат.
• Собственный чат-ассистент Liloo использует отдельную формулировку.

Экспортируемые карточки диалога помечаются как созданные AI — и в машиночитаемом виде, и текстом, видимым на самой карточке.

7. Логирование, разбор и обратная связь

• Срабатывания защиты логируются в нашу базу модерации: сработавшее правило, направление (ввод пользователя или ответ AI), совпавший фрагмент, предпринятое действие и время. Срабатывания self-harm дополнительно создают запись в журнале аудита.
• Эти события видны во внутренней панели со статистикой по правилам и направлениям.
• О проблеме с этим протоколом или с указанным номером сообщайте на moderation@liloosafespace.com. Номер, который перестал отвечать, мы считаем срочным случаем, потому что его можно исправить на сервере.

Диалоги не читаются человеком в реальном времени. Что мы храним и сколько — см. Политику конфиденциальности.

8. Границы этого протокола

Мы называем их прямо, потому что протокол, который себя переоценивает, — это не мера безопасности.

• Автоматический детект сочетает шаблоны с классификаторами на основе машинного обучения. Он может пропустить выражение отчаяния или опасности, сформулированное непривычными словами — особенно косвенно, метафорически или «своим» языком, — и может сработать на сообщении, которое не было о самоповреждении или опасности.
• Ни один человек не читает диалоги Liloo в момент их появления. Ничто в приложении не вызывает специалиста, и нет канала с живым ответом в реальном времени.
• Liloo не является кризисной службой, линией помощи или медицинским изделием, а его персонажи не являются консультантами.
• Если пользователь отозвал разрешение на обработку AI, его новые сообщения не отправляются на обработку, поэтому проверки из разделов 3–4 к ним не применяются. Кризисные контакты остаются доступны на вкладке 24/7, в шапке чата и в Профиле.
• Перенаправление — не помощь. Показанный номер не означает установленного контакта.

Если помощь нужна сейчас — обратитесь в экстренные службы вашей страны или на одну из линий, перечисленных в приложении.

9. Возраст

Минимальный возраст использования — 18 лет. На первом экране пользователь подтверждает, что ему исполнилось 18, обязательной галочкой перед нажатием «Начать». Возрастной рейтинг Liloo — 18+ в App Store, приложение не предназначено для детей. Мы не проверяем возраст по документам. Если диалог указывает на то, что участнику может быть меньше 18 лет, персонаж ведётся мягче, а разговор раньше передаётся ассистенту Liloo (см. раздел 2); ребёнку, который сообщает о насилии, показываются ресурсы поддержки, подходящие для детей. Мы можем ограничить или удалить такие аккаунты. См. Условия использования.

10. Поддержание протокола

• Протокол пересматривается не реже одного раза в год, а также после любого сообщённого инцидента безопасности, любого существенного изменения в детекте или перенаправлении и любого изменения применимого права.
• Каталог кризисных контактов пересматривается по тому же графику и исправляется немедленно, когда оператор линии что-то меняет.
• Изменения в описанном здесь публикуются на этой странице, с обновлением даты вверху.

Смежные документы: Политика конфиденциальности · Условия использования · Поддержка

История версий