안전 프로토콜

용도: California Business & Professions Code §22602(b)(2)는 운영자가 자살·자해 대응 프로토콜의 상세를 웹사이트에 공개할 것을 요구한다. 이 문서는 그 게시물의 초안이다.

게시 위치: 별도 사이트의 /safety (영어판 /en/safety). 도메인은 앱 이름 확정 후 결정한다. 경로 규칙은 privacy-fact-sheet.md §0 참조.

법무 검토 전제. 이 문서는 실제 구현을 서술한 사실 기술이며, 공개 전 카운슬 검토를 거친다. 구현이 바뀌면 이 문서도 함께 고쳐야 한다 — 공개된 프로토콜과 실제 동작이 어긋나면 그 자체가 위반 근거가 된다.

한국어 게시본

Companion은 성인을 위한 AI 동반자 앱입니다. 이용자가 자살이나 자해를 내비칠 때 어떻게 감지하고 대응하는지를 아래에 공개합니다.

안전 검사는 대화의 한 방향에만 적용되지 않습니다. 다음 네 지점 모두에서 실행됩니다.

두 단계를 거칩니다.

결정론적 규칙. 자살·자해를 나타내는 표현을 한국어와 영어 양쪽에서 먼저 검사합니다. 이 단계는 외부 서비스에 의존하지 않으므로 네트워크 상태와 무관하게 항상 동작합니다.
분류 모델. 그다음 OpenAI의 콘텐츠 분류(omni-moderation-latest)를 실행해 자해 의도와 자해 방법 요청을 별도 범주로 판정합니다.

자살·자해가 감지되면 대화를 차단하지 않습니다. 위기 상황에 있는 사람에게 응답을 끊는 것은 더 나쁘기 때문입니다. 대신 동반자의 답변을 위기 안내로 대체합니다. 안내에는 다음이 포함됩니다.

마지막 항목을 반드시 포함하는 이유는, 위기 상황에서 AI가 도움을 보낼 수 있다고 오인하면 실제 도움을 구하는 시점이 늦어지기 때문입니다.

안내는 대화를 대체하지 않습니다. 두 가지가 함께 나갑니다.

안전 카드 — 위 항목을 담은 고정 문안입니다. 상황에 따라 달라지지 않으며, 전화번호는 눌러서 바로 걸 수 있습니다. 저희가 안내를 몇 번 냈는지 세는 단위이기도 합니다.
동반자의 답변 — 상황에 맞춰 생성됩니다. 다만 저희가 정한 제약 아래에서만 만들어집니다. 방법을 설명하지 않고, 약의 용량이 위험한지 판정하지 않으며, 기다려 보라고 하지 않고, 대신 연락했다고 말하지 않습니다.

답변에 연락처나 “저는 AI입니다”라는 고지가 빠지면 저희가 정한 고정 문안으로 대체합니다. 대화의 결은 상황에 맞추되, 안내가 빠지는 일은 없도록 합니다.

자살·자해가 아닌 다른 유해 범주(미성년자 관련 성적 콘텐츠, 성적 강요, 노골적 성적 묘사 등)가 감지되면 해당 응답을 생성하지 않고 경계 안내로 대체합니다.

분류 서비스에 연결할 수 없거나 응답이 올바르지 않으면, Companion은 답변을 생성하지 않고 거부합니다. 검사를 건너뛰고 응답하지 않습니다.

Companion은 성인 전용입니다. 미성년자로 확인되면 AI 기능 이용이 차단됩니다. 동반자 챗봇은 일부 미성년자에게 적합하지 않을 수 있습니다.

contact@stickyrice.kr