Liloo — Протокол безпеки: криза та самоушкодження

Опубліковано: 31.07.2026 Останнє оновлення: 2026-10-20 Оператор: ФОП Руденко Євгенія Євгенівна (фізична особа-підприємець, зареєстрована в Україні), розробник і власник застосунку Liloo Контакт: moderation@liloosafespace.com

Адреса реєстрації оператора: вул. Володимира Вернадського, 29к, 310, м. Дніпро, 49000, Україна

Якщо ви або хтось поруч у безпосередній небезпеці — зателефонуйте до екстрених служб вашої країни просто зараз. Liloo не є екстреною службою і нікуди не звертається замість вас. У застосунку екран «Гаряча лінія 24/7» показує екстрені номери та кризові лінії вашої країни; він доступний на вкладці 24/7, із шапки чатів із персонажами, з профілю та на екрані завершення діалогу, якщо діалог завершується рекомендацією звернутися по підтримку.

Цей документ — протокол, який Liloo підтримує для запобігання створенню контенту про суїцид і самоушкодження та для перенаправлення користувача, що висловлює суїцидальні думки або намір завдати собі шкоди, до кризових служб. Він публікується відповідно до California SB 243 (Bus. & Prof. Code § 22601 і далі), який вимагає від операторів companion-чатботів і підтримувати такий протокол, і публікувати його деталі. Він же є нашим протоколом оператора в межах політики Google Play AI-Generated Content, New York GBL Art. 47 та Utah HB 452.

1. Що таке Liloo і на що поширюється протокол

Liloo — застосунок для тренування навичок спілкування. Користувач репетирує складні розмови з AI-персонажами, які грають роль конфліктного родича, агресивного колеги, партнера та інших непростих співрозмовників. Також у застосунку є підтримувальний чат-асистент «Liloo», розбір сцени, «Коротка розмова», щоденна практика, вправа «Репліка дня» та аудіо-медитації.

Усі персонажі в застосунку — це програма. У Liloo не працюють психотерапевти, консультанти чи кризові фахівці; застосунок не надає медичної або психологічної допомоги і не замінює професійну допомогу.

Протокол поширюється на всі AI-поверхні застосунку, в усіх країнах, де він доступний, і на всіх трьох мовах інтерфейсу (англійська, російська, українська).

2. Запобігання контенту про суїцид і самоушкодження

Мета — щоб персонаж Liloo ніколи не створював контент, який заохочує до суїциду чи самоушкодження, інструктує в них або їх романтизує, — зокрема й тоді, коли персонаж грає навмисно ворожу роль.

• Повідомлення користувача, що висловлює суїцидальні думки або намір завдати собі шкоди, ніколи не надсилається до рольової моделі. Класифікація виконується до звернення до моделі, тож жоден персонаж не формулює відповідь на таке повідомлення (див. розділ 3).
• Запити інструкцій щодо насильства, виготовлення зброї та інших злочинів, наприклад синтезу наркотиків чи підпалу, не надсилаються до рольової моделі. Якщо автоматичний класифікатор модерації розпізнає такий запит у повідомленні користувача, застосунок відмовляє у відповіді до звернення до моделі.
• Поведінка персонажа обмежена заданими правилами. Кожен персонаж має жорсткі правила, заборонені теми та список стоп-фраз, яких не може бути в його репліках. Редактори ведуть ці правила в нашій системі авторингу — модель їх не вигадує.
• Відповідь моделі перевіряється до показу. Кожна згенерована репліка проходить автоматичний фільтр за категоріями: сексуальний контент за участю неповнолітніх, заохочення до самоушкодження, насильство, зброя, наркотики, релігійні та політичні теми, поради щодо алкоголю, реклама брендів, вихід персонажа з ролі або повторення інструкцій для обходу обмежень, власні стоп-фрази персонажа і глобальний список формулювань, що звинувачують або принижують користувача. Репліка, що збіглася, блокується або замінюється до того, як користувач її побачить.
• Класифікатор на основі машинного навчання перевіряє діалог загалом. Окрім фільтрів за шаблонами, останні повідомлення діалогу та кожна згенерована репліка оцінюються спеціальним класифікатором модерації (надається OpenAI), тож шкідливий контент, розподілений між кількома нешкідливими на вигляд повідомленнями, усе одно виявляється.
• Діалоги, у яких може брати участь неповнолітня особа, відіграються м'якше. Якщо дані підготовки діалогу, опис ситуації або власні повідомлення користувача вказують, що користувачеві чи персонажу менше 18 років, персонаж зберігає конфлікт, але ніколи не принижує людину, не допускає романтики та сексуального змісту, а розмова передається асистентові Liloo за нижчого рівня напруги.
• Персонаж може завершити діалог, у якому користувач його ображає. Якщо автоматична перевірка визначає, що повідомлення ображає персонажа, персонаж спершу попереджає користувача, залишаючись у ролі; якщо протягом кількох наступних повідомлень знову лунає образа на його адресу, діалог завершується, а застосунок пояснює чому й пропонує розібрати сцену з Liloo. Позначення меж, вияв гніву чи цитування іншої людини образою не вважаються. Цього ніколи не відбувається за ознак кризи чи самоушкодження за останні 7 днів, можливої участі неповнолітньої особи або сексуального змісту, у вступному діалозі після встановлення застосунку та в чаті з асистентом Liloo, тож користувач у тяжкому стані не залишається без відповіді.
• Застосунок відстежує вихід персонажа з ролі і зупиняє діалог після повторних виходів, замість того щоб дозволити персонажу зісковзнути в поради, давати які він не має права.
• У діалогів із персонажами є межі. Коли напруга стає надто високою, розмова на певний час передається асистентові Liloo, після чого її можна продовжити. Якщо дуже висока напруга тримається кілька хвилин і не знижується, персонаж завершує сцену, а застосунок пропонує розібрати її з Liloo. За високої ескалації в сценарному чаті персонаж пропонує зробити паузу. Три агресивні повідомлення поспіль відкривають шторку з кризовими контактами.

Фільтри автоматичні. Вони знижують ризик, але не усувають його повністю — див. розділ 8.

3. Виявлення

Введення користувача класифікується нашим бекендом перед кожним зверненням до моделі (SafetyEngine, на мобільному шляху чату), а вікно діалогу додатково оцінює класифікатор модерації, описаний у розділі 2.

• Мови. Шаблони виявлення покривають англійську, російську та українську.
• Обхід виявлення. Перед зіставленням текст нормалізується за Unicode, з нього вилучаються символи нульової ширини та bidi-символи, кириличні й грецькі символи-двійники згортаються до латиниці, а вбудовані блоки Base64 і hex декодуються та також перевіряються. Тому написання «через схожі літери» чи в кодуванні все одно розпізнається.
• Критичність. Самоушкодження віднесено до критичної категорії. На відміну від інших критичних категорій, воно не просто блокує повідомлення: спрацьовує підтримувальна відповідь і перенаправлення, описані нижче, — людині в біді треба відповісти, а не змовчати.
• Опис ситуації. Опис, який користувач дає під час підготовки діалогу, перевіряється один раз, коли сцена починається: за ознак ризику самоушкодження сцена від початку йде в дбайливому режимі, а шторка з кризовими контактами відкривається на першому повідомленні користувача; за ознак реальної небезпеки сцену утримують із першої репліки (див. розділ 4).
• Чат з асистентом Liloo. Якщо Liloo питає про думки завдати собі шкоди і користувач відповідає ствердно, це вважається кризовим повідомленням.

4. Що відбувається під час спрацювання

1. Рольова гра зупиняється. Повідомлення не передається мовним моделям — ні для відповіді, ні як контекст, — і жоден персонаж на нього не відповідає.
2. Повертається заздалегідь написаний підтримувальний текст мовою інтерфейсу користувача. Він визнає сказане, пропонує звернутися до близької людини або на лінію допомоги і говорить, що людина не сама. Цей текст написаний нами, а не згенерований.
3. Діалог позначається для клієнта (pending_support_resources).
4. Шторка з кризовими контактами відкривається автоматично поверх чату.
5. Подія записується для модерації (див. розділ 7).
6. Далі діє дбайливий режим. Протягом шести наступних повідомлень користувача в цій сцені та доби в усіх його чатах персонаж залишається в сцені, але не нападає на користувача, не звинувачує і не принижує його; сцена не завершується фіналом чи відходом персонажа, а якщо розмова все ж загострюється, вона передається асистентові Liloo раніше, ніж зазвичай. Відповіді в цьому режимі генерує модель OpenAI. Запитання про вибір або кількість засобу (наприклад, ліків, зброї, мотузки) в цей час теж вважається кризовим повідомленням.

Та сама шторка доступна будь-коли й без жодного спрацювання — з вкладки 24/7, із шапки чатів із персонажами, з Профіль → Гаряча лінія 24/7 та з екрана завершення діалогу, якщо діалог завершується рекомендацією звернутися по підтримку.

Коли користувач розкриває реальну небезпеку з боку реальної людини

Користувач, який репетирує розмову, іноді розкриває, що перебуває в небезпеці в реальному житті, — наприклад, що партнер завдав йому шкоди чи погрожував. Кожне повідомлення, написане користувачем у рольовій сцені, оцінюється класифікатором модерації на ознаки насильства; якщо оцінка перевищує поріг, друга автоматична перевірка визначає, чи розкриває повідомлення реальну небезпеку з боку реальної людини. Так само перевіряються опис ситуації — один раз, коли сцена починається, — і повідомлення в чаті з асистентом Liloo. Якщо так:

1. Сцена утримується відкритою й ніколи не завершується. Поки сцену утримано, до неї не застосовуються жодні фінал, підсумок чи вихід, тож діалог не закривається посеред нерозв'язаної проблеми.
2. Персонаж може вийти з ролі, щоб поставити безпеку користувача на перше місце.
3. Шторка з кризовими контактами відкривається один раз на цьому повідомленні.
4. Утримана сцена не витрачає безкоштовні повідомлення користувача — у межах, що запобігають зловживанням.
5. Протягом наступних 7 днів функції, які могли б достроково закрити або перервати інші сцени користувача, призупиняються.
6. Подія записується для модерації без тексту повідомлення.

Розбір сцени, «Коротка розмова», щоденна практика та «Репліка дня»

«Коротка розмова» і щоденна практика проходять ті самі перевірки безпеки, що й звичайні діалоги, і кризовий протокол діє в них так само. Якщо в «Короткій розмові» було кризове повідомлення, підсумок тренування не формується.

Кризові повідомлення не потрапляють до розбору сцени, а після кризи, відходу персонажа або в діалозі, у якому може брати участь неповнолітня особа, розбір не містить оцінок. «Репліка дня» не показується протягом 7 днів після кризи та за ознак того, що користувачеві менше 18 років. Якщо відповідь на неї містить кризове повідомлення, замість коментаря відкриваються кризові контакти.

5. Які кризові контакти ми показуємо

Список видається з наших серверів і добирається за країною користувача, яка визначається за регіоном пристрою, а не за мовою застосунку: користувач, який запускає застосунок англійською, перебуваючи в Україні, побачить українські служби.

• Екстрені служби йдуть першими для визначеної країни.
• Далі — національні кризові лінії, кожна з позначкою, для кого вона і в які години працює, щоб лінію для дітей чи для чоловіків не сприйняли за загальну.
• Кожен список замикає каталог (findahelpline.com), бо жоден курований перелік не покриває всі країни.
• Якщо країна не курується, користувачеві показується екстрений номер, якщо він відомий для цієї країни (наприклад, 112 в ЄС і ЄЕЗ), і каталог; для інших країн шторка показує каталог і пропонує зателефонувати на місцевий екстрений номер, а не правдоподібний номер, який може не відповісти.
• У застосунок вбудовано офлайн-мінімум (екстрені номери та лінії України), тож шторка не буває порожньою за проблем із мережею і відмальовується одразу, а не після спінера.
• Номери звірені з сайтами операторів ліній або державних органів і можуть бути виправлені на сервері за хвилини — без випуску нової версії застосунку, — якщо оператор змінив або призупинив лінію.

Чого ми не робимо. Liloo не телефонує, не пише, не з'єднує і не повідомляє кризові чи екстрені служби або третіх осіб замість користувача і не відстежує, чи скористався він контактом. Дзвінок людина робить сама. Перелічені служби — незалежні організації, не пов'язані з Liloo; ми не контролюємо їхню доступність, час очікування і те, що вони радять. Про це сказано користувачеві в самій шторці.

6. Повідомлення про те, що співрозмовник — AI

Розкриття працює на цей самий протокол: людина, яка знає, що говорить із програмою, радше звернеться по допомогу до людей.

• Банер угорі кожного чату повідомляє, що користувач спілкується з AI-персонажем, а не з реальною людиною, — до першої репліки персонажа.
• У чатах із власними персонажами та у вступному діалозі в шапці чату видно позначку «AI-персонаж»; у сценарних чатах на цьому місці показується назва сценарію.
• Якщо в телефоні вибрано регіон «США», у чаті з'являється нагадування, що співрозмовник — AI, коли від першого відкриття чату на цьому пристрої або від попереднього нагадування минуло щонайменше три години; нагадування видно, доки чат відкритий.
• Власний чат-асистент Liloo використовує окреме формулювання.

Експортовані картки діалогу позначаються як створені AI — і в машинозчитному вигляді, і текстом, видимим на самій картці.

7. Логування, розбір і зворотний зв'язок

• Спрацювання захисту логуються до нашої бази модерації: правило, що спрацювало, напрям (введення користувача чи відповідь AI), збіглий фрагмент, вжита дія та час. Спрацювання self-harm додатково створюють запис у журналі аудиту.
• Ці події видно у внутрішній панелі зі статистикою за правилами та напрямами.
• Про проблему з цим протоколом або з указаним номером повідомляйте на moderation@liloosafespace.com. Номер, який перестав відповідати, ми вважаємо терміновим випадком, тому що його можна виправити на сервері.

Діалоги не читаються людиною в реальному часі. Що ми зберігаємо і скільки — див. Політику конфіденційності.

8. Межі цього протоколу

Ми називаємо їх прямо, бо протокол, який себе переоцінює, — це не захід безпеки.

• Автоматичне виявлення поєднує шаблони з класифікаторами на основі машинного навчання. Воно може пропустити вияв відчаю чи небезпеки, сформульований незвичними словами — особливо непрямо, метафорично чи «своєю» мовою, — і може спрацювати на повідомленні, яке не стосувалося ні самоушкодження, ні небезпеки.
• Жодна людина не читає діалоги Liloo у момент їх появи. Ніщо в застосунку не викликає фахівця, і немає каналу з живою відповіддю в реальному часі.
• Liloo не є кризовою службою, лінією допомоги чи медичним виробом, а його персонажі не є консультантами.
• Перенаправлення — це не допомога. Показаний номер не означає встановленого контакту.
• Якщо користувач відкликав дозвіл на обробку AI, його нові повідомлення не надсилаються на обробку, тому перевірки з розділів 3–4 до них не застосовуються. Кризові контакти залишаються доступними на вкладці 24/7, у шапці чату та в Профілі.

Якщо допомога потрібна зараз — зверніться до екстрених служб вашої країни або на одну з ліній, перелічених у застосунку.

9. Вік

Мінімальний вік використання — 18 років. На першому екрані користувач підтверджує, що йому виповнилося 18, обов’язковою позначкою перед натисканням «Почати». Віковий рейтинг Liloo — 18+ в App Store, застосунок не призначений для дітей. Ми не перевіряємо вік за документами. Якщо діалог вказує, що учасникові може бути менше 18 років, персонаж відіграє роль м'якше, а розмова раніше передається асистентові Liloo (див. розділ 2); дитині, яка розкриває факт насильства, показуються ресурси підтримки, призначені для дітей. Ми можемо обмежити або видалити такі акаунти. Див. Умови використання.

10. Підтримання протоколу

• Протокол переглядається щонайменше раз на рік, а також після будь-якого повідомленого інциденту безпеки, будь-якої суттєвої зміни у виявленні чи перенаправленні та будь-якої зміни застосовного права.
• Каталог кризових контактів переглядається за тим самим графіком і виправляється негайно, коли оператор лінії щось змінює.
• Зміни в описаному тут публікуються на цій сторінці, з оновленням дати вгорі.

Суміжні документи: Політика конфіденційності · Умови використання · Підтримка

Історія версій