신재호 <netj@sparcs.kaist.ac.kr> 스팸 구워먹기 신재호 <netj@sparcs.kaist.ac.kr> 2004년 3월 6일 토요일 오후 15시 삼성SDS 멀티캠퍼스 역삼 902호.

Presentation on theme: "신재호 <netj@sparcs.kaist.ac.kr> 스팸 구워먹기 신재호 <netj@sparcs.kaist.ac.kr> 2004년 3월 6일 토요일 오후 15시 삼성SDS 멀티캠퍼스 역삼 902호."— Presentation transcript:

1 신재호 <netj@sparcs.kaist.ac.kr>
스팸 구워먹기 신재호 2004년 3월 6일 토요일 오후 15시 삼성SDS 멀티캠퍼스 역삼 902호

2 차례 스팸이란 스팸의 피해 스팸을 왜 스팸을 뿌리려면 스팸을 막자 스팸을 걸러내면서 스팸 관련 법 스팸에 대한 대응들
메일 주소 지키기 열린 메일 서버 규칙 기반 필터 메시지 요약 기반 필터 확률/통계 기반 필터 스팸을 걸러내면서 스팸 관련 법 스팸에 대한 대응들 스팸의 궁극적 해결안 참고 자료 2004년 3월 6일

3 스팸이란 상업 목적을 띤 대량으로 보내는 원치 않는 메일 SPAM 햄 회사의 지나친 광고에서 명칭 유래
UCE (Unsolicited Commercial ) Bulk Junk 쓰레기 메일 상업 목적 외에도 원치 않는 메일을 통틀어 가리킴 UBE (Unsolicited Bulk/Broadcast ) 메일뿐만 아니라 웹 게시판, 뉴스, 메신저 광고도 지칭 용어 스패머 (spammer) – 스팸을 보내는 사람 햄 (ham) – 스팸과 달리 받기 원하는 메일 2004년 3월 6일

4 스팸의 피해 정상적인 메일 사용 방해 정신적 피해 자원 소모 윤리적인 문제 수신자가 모든 것을 부담 네트워크 대역폭
기간망 소통량 증가로 사용 가능 대역폭 감소 종량제 인터넷 사용자는 스팸을 받기 위해 사용료 부담 늘어남 CPU 시간 스팸을 줄이기 위해 필터 돌리는데 시간 소요 저장 공간 중복된 다량의 스팸을 사용자에게 보여주기 위해 공간 낭비 윤리적인 문제 수신자가 모든 것을 부담 2004년 3월 6일

5 스팸을 왜 규모의 경제 발송 비용 ≒ 0 단가: 10,000 (일만) 원 확인률: 2% (50명에 한 명)
응답률: 1% (100명에 한 명) 발송량: 10,000,000 (일천만) 개 매출: 10,000,000 x 1/50 x 1/100 x 10,000원 = 20,000,000 (이천만) 원 발송 비용 ≒ 0 메일 주소 목록, 발송기도 몇 십만 원 대에서 값싸게 구입 가능 DSL 망 등 같은 품질 좋고 값싼 인터넷 연결 사용 가능 2004년 3월 6일

6 스팸을 뿌리려면 상품, 서비스 또는 사연 대량의 메일 주소 대량의 메시지를 발송할 수 있는 메일 서버
메일 주소를 모으기 위해 스팸봇 돌리기 암거래 시장을 통하여 메일 주소 목록 구매 대량의 메시지를 발송할 수 있는 메일 서버 메일을 대신 보내줄 열린 메일 서버 SMTP로 메일을 직접 보낼 수 있는 메일 발송기 메일 발송 위한 네트워크 연결 DSL이나 cable 망 ISP를 통한 연결 인내심 몇 천만 개의 메일을 오랜 시간과 노력을 들여 발송 2004년 3월 6일

7 메일 주소 지키기 스팸봇 (spam-bot) 메일 주소 표기 스팸봇 지옥 / 꿀단지 (honey pot)
검색엔진 로봇처럼 웹을 돌아다니며 메일 주소 수집 메일 주소를 숨기는 것이 스팸을 피하는 1차 해법 메일 주소 표기 메일 주소 망가뜨리기 netj _at_ sparcs dot kaist dot ac dot kr 그림 파일, HTML character entity, JavaScript도 이용 스팸봇 지옥 / 꿀단지 (honey pot) 로봇 붙들고 시간 끌기 스팸만 모아서 활용하기 2004년 3월 6일

8 열린 메일 서버 Relay – 최종 목적지까지 배달해주는 서비스 열린 메일 서버 = 아무나 Relay로 사용 가능한 서버
스패머들이 대량의 메일을 보내는 주요 경로 과거 메일 서버들(주로 Sendmail)의 기본 설정 RBL (Real-time Black List) 스팸이 통과하는 서버들 목록 - 주로 관리되지 않는 열린 서버들 메일 수신시 RBL의 서버 통과 여부로 스팸 차단 문제점 선의의 피해자 – 악의적인 사용자로 네트워크 전체 차단 가능 효과가 크지 않음 - 끊임없이 네트워크를 옮겨 다니며 발송 2004년 3월 6일

9 규칙 기반 필터 (1/2) 메시지 헤더나 본문의 내용/생김새 관찰 미리 정의한 규칙에 따라 스팸 여부 결정 예 문제점
Outlook의 정크메일 필터 Procmail SpamAssassin 문제점 변화하는 스팸을 잡기 위해 끊임없이 새 규칙 추가 부담 스패머들이 규칙 파악 후 스팸 형태를 바꾸기 쉬움 스팸만을 거르기 위한 알맞은 규칙을 만들기 어려움 너무 강한 규칙으로 햄까지 걸러낼 위험 2004년 3월 6일

10 규칙 기반 필터 (2/2) 합법 스팸 거르기 송신 가능 주소 목록 (white-list) 암호 문구 붙이기
“[광고]”, “수신거부” 등 법에서 명시한 문구 검사 송신 가능 주소 목록 (white-list) 주소 목록에 등록된 사람들로부터 오는 메시지는 그대로 통과 모르는 주소에서 온 메시지는 인증 요청을 자동 회신 송신 측은 인증 절차를 통해 주소 목록 추가 후 재송신 암호 문구 붙이기 제목 등에 암호 문구가 들어있는 메시지만 수신 암호 문구는 웹 페이지의 메일 주소 옆에 게시 또는 다른 매체를 통해서 연락 받을 상대에게 미리 전달 암호를 스패머에게 유출 시 문구 변경 후 개별 연락 또는 보낸이 주소 목록과 함께 사용 2004년 3월 6일

11 메시지 요약 기반 필터 MD5, SHA1 등 hash 함수로 메시지 본문 요약 사람들이 각자 받은 스팸의 digest 값 신고
사용자의 신뢰도에 따라 점수에 가중치 부여 예 razor 문제점 본문이 조금씩 달라지는 스팸에 속수무책 다수 사용자의 횡포로 소수의 언론 통제 우려 2004년 3월 6일

12 확률/통계 기반 필터 (1/2) 확률/통계의 Bayes 공식 이용 스팸/햄으로 분류한 메시지의 단어 출현 빈도 미리 계산
계산 어려운 확률을 쉬운 확률을 통해 구함 스팸/햄으로 분류한 메시지의 단어 출현 빈도 미리 계산 새 메시지의 출현 단어로 스팸일 확률 추론 2004년 3월 6일

13 확률/통계 기반 필터 (2/2) 자신이 받는 스팸으로 직접 교육하는 맞춤 필터
단순한 스팸 필터를 너머 메일 분류기로 사용 가능 꾸준한 교육만 수반되면 반영구적 사용 가능 예 Mozilla Mail News, Thunderbird의 정크메일 필터 Hotmail의 정크메일 필터 SpamBayes 문제점 햄과 비슷한 내용의 스팸은 걸러내지 못함 꾸준한 교육이 필요 상대적으로 많이 요구되는 CPU 및 저장 공간 2004년 3월 6일

14 스팸 걸러내면서 바이러스 방역 수신 못하는 메일 메일은 이제 바이러스 유포의 주 통로 스팸 필터로 바이러스 메일 차단도 가능
필터가 햄을 스팸으로 오인하여 사용자 확인 전에 삭제 가능 사용자가 햄까지도 스팸으로 오인 또는 스팸을 지우다가 햄도 함께 섞여서 삭제하는 경우 빈번 “스팸 필터에 걸렸나 봐요”, “스팸인줄 알고 지웠어요” 등의 새로운 사회 현상 탄생 2004년 3월 6일

15 스팸 관련 법 스팸 발송 허용 무법천지 반-스팸 단체들의 주장 이메일 마케팅 시장을 위한 기업에 대한 배려
제목에 문구 표기 요구 우리나라 - “광고”, “동의” 다른 나라 - “ADV”, “ADV:ADLT”, “Advertisement” 등 “수신거부” 방법 제공/안내 요구 무법천지 조작된 메시지로 인한 스패머의 물리적 추적, 처벌의 어려움 스팸은 국가/지역이 아닌 국제/세계 단위의 문제 반-스팸 단체들의 주장 스팸 법을 아무리 개선해도 스팸은 더 늘어날 뿐 사전 수신 동의 없이 보내는 Opt-out 메일 불법화는 필요조건 2004년 3월 6일

16 스팸에 대한 대응들 웹 메일, ISP 메일 서비스 소프트웨어 업체 오픈 소스 정부 대량 메일 탐지해서 스팸 처리
다음 한메일넷의 온라인 우표제 소프트웨어 업체 스팸 방지/제거 업체 다양한 필터 기법을 활용한 솔루션과 서비스 제공 대량메일 발송기 제작자 새로운 필터들 무력화 위해 더욱 똑똑한 제품 개발 Microsoft 스팸과의 전쟁 선포, 다양한 솔루션 개발 중 오픈 소스 열린 relay 서버들 보호 지원, 고급 필터 개발, 다양한 실험 정부 스팸 방지를 위한 다양한 법 제정 2004년 3월 6일

17 스팸의 궁극적 대안 스팸의 근본 원인 발송 유료화 인증제도 결론 - 다양한 스팸 필터를 사용하면서 단계적으로 인증체계를 구축
메일 주소 소유자가 수신 제어권 없음  통제권을 만들자 발송 유료화 메일 발송에도 종량제 도입 발송 비용 증가  스패머들의 비용 증가  스팸 감소 “이메일 = 무료”라는 사람들의 생각이 걸림돌 그러나 스패머들은 여전히 우회 경로로 무료/대량 발송이 가능 인증제도 전자 서명된 메시지 또는 공인된 주소로만 주고 받기 또는 인증된 메일 서버들끼리만 메일 주고 받기 PKI, 공인 주소 목록 구축의 어려움 또는 인증서 발급 비용 발생이 문제 또한 기존의 이메일 시스템과 호환 불가능, 전세계적인 협력 필요 결론 - 다양한 스팸 필터를 사용하면서 단계적으로 인증체계를 구축 2004년 3월 6일

18 참고 자료 CAUCE.org – About the Problem ACM Queue - The Economics of Spam
ACM Queue - The Economics of Spam computerworld.com - Spam Special Coverage Paul Graham's Anti-Spam SpamAssassin SpamBayes vipul's razor home 정보통신부 스팸 메일 방지 가이드 Spam Laws 한메일넷의 온라인 우표제 불법스팸대응센터 2004년 3월 6일