콘텐츠 위험도 자동 분류 시스템
삭제 업무가 커질수록 가장 먼저 무너지는 건 “판단”이다.
링크는 계속 들어오는데, 담당자는 한정돼 있고, 모든 케이스를 똑같은 우선순위로 처리하면 진짜 급한 건이 뒤로 밀린다. 문제는 대부분의 조직이 이 병목을 사람의 경험으로만 버틴다는 점이다. 순간적으로는 돌아가지만, 처리량이 늘어나는 순간 품질과 속도가 동시에 무너진다.
우리가 만든 것은 ‘삭제 자동화’가 아니라 우선순위 자동화다.
콘텐츠를 접수하는 즉시 “이건 지금 당장 처리해야 하는가, 오늘 안에 충분한가, 모니터링으로 돌려야 하는가”를 시스템이 먼저 결정한다. 삭제의 성공률은 종종 기술보다 초기 판단의 정확도에서 갈린다.
왜 분류가 중요한가
콘텐츠 유형에 따라 대응 채널과 법적 근거가 완전히 달라진다.
명예훼손은 소명 구조가 중요하고, 개인정보 유출은 확산 속도가 핵심이며, 불법 촬영물은 무엇보다 시간이 생명이다. 그런데 현실에서는 이 세 가지가 한 큐에 섞여 들어온다. 담당자가 링크를 열어보고, 맥락을 읽고, 판단하고, 문서를 만들고, 채널을 찾아 접수하는 사이에 이미 확산은 진행된다.
분류가 없으면 결국 이런 일이 생긴다.
긴급 케이스가 일반 건 사이에 섞여 처리 순서가 뒤집힘
경험이 부족한 담당자가 유형을 잘못 판단해 불필요한 채널로 접수
“삭제가 되는 건”과 “삭제가 안 되는 건”이 섞여 시간이 낭비
팀이 커질수록 사람마다 기준이 달라져 품질이 흔들림
그래서 우리는 “삭제를 잘하는 팀”이 아니라, “삭제를 잘하게 만드는 시스템”을 목표로 잡았다.
분류 시스템이 보는 것
우리는 콘텐츠를 단순히 ‘좋다/나쁘다’로 나누지 않는다.
법적 위험도, 확산 위험도, 플랫폼 난이도, 재게시 가능성을 동시에 본다. 핵심은 “어떤 콘텐츠인가?”가 아니라 “지금 어떤 대응이 최적화인가?”다.
분류에서 사용하는 대표 신호는 다음과 같다.
콘텐츠 유형(불법 촬영물/개인정보/허위사실/저작권 등)
확산 징후(공유, 외부 링크, 검색 노출, 재업로드 패턴)
플랫폼 특성(정책/응답속도/채널/삭제 난이도)
시간 민감도(초기 노출 구간인지, 이미 확산된 상태인지)
증빙 난이도(필수 자료가 무엇인지, 확보 가능성은 어떤지)
이 신호들을 기반으로 케이스를 5단계 위험도로 분류한다.
이 5단계는 단순 라벨이 아니라, 실행 계획으로 연결된다.
5단계 우선순위 체계
1단계: 즉시 대응 (Immediate)
시간이 지날수록 피해가 기하급수적으로 커지는 유형.
접수 즉시 알림이 발생하고, 다른 작업보다 최우선으로 처리된다.
2단계: 긴급 대응 (Urgent)
24시간 내 처리 목표가 있는 유형.
증빙 확보와 삭제 채널 선택을 자동으로 제안해 대응 속도를 올린다.
3단계: 신속 대응 (Fast-track)
일반적인 악성 게시물 대응의 주력 구간.
표준화된 절차로 빠르게 처리하되, 재게시 가능성을 함께 평가한다.
4단계: 일반 대응 (Standard)
시간 민감도는 낮지만 법적 리스크가 있는 유형.
정확한 문서와 채널 선택이 중요하며, 처리 과정이 기록 중심으로 설계된다.
5단계: 모니터링 (Monitor)
삭제보다 추적·관찰이 더 효과적인 유형.
불필요한 삭제 시도를 줄이고, 특정 조건 충족 시 자동으로 상향(4→3→2)된다.
이 단계 덕분에 팀은 더 이상 “어느 걸 먼저 하지?”를 회의하지 않는다.
시스템이 먼저 정렬하고, 사람은 집행에 집중한다.
자동 분류가 실제로 바꾸는 것
분류 시스템이 만든 가장 큰 변화는 “속도”가 아니다.
속도는 결과고, 본질은 일관성이다.
같은 유형의 케이스는 언제나 같은 기준으로 분류된다.
긴급 케이스는 묻히지 않는다.
담당자 교체가 있어도 품질이 흔들리지 않는다.
“이 건은 왜 이렇게 처리됐나?”에 대해 설명이 가능해진다.
특히 반복 처리량이 커질수록 이 장점은 커진다.
사람이 잘하는 팀은 규모가 커지면 흔들리지만, 기준이 있는 팀은 커져도 흔들리지 않는다.
분류 이후, 바로 전략으로 연결
분류는 끝이 아니라 시작이다.
우리 시스템은 위험도를 결정한 뒤, 그 결과를 그대로 실행으로 넘긴다.
어떤 채널로 접수해야 하는지
어떤 증빙이 필요한지
예상 처리 흐름은 무엇인지
재게시 가능성은 어느 정도인지
이 정보가 자동으로 붙는다.
담당자는 “분석 보고서”를 읽는 게 아니라 실행 체크리스트를 받는다.
운영 관점에서의 의미
대부분의 삭제 서비스가 “삭제”에만 집중할 때,
우리는 “삭제가 되는 구조”를 만든다. 그 중심에 분류가 있다.
자동 분류 시스템은 단지 편의 기능이 아니라,
대량 대응에서 가장 중요한 통제 장치다.
결국, 삭제 업무의 성패는 이렇게 갈린다.
경험 있는 사람이 있느냐 ❌
같은 기준으로 판단하고 집행할 수 있느냐 ⭕
우리는 후자를 선택했고, 그게 2번 시스템의 존재 이유다.
