Project Detail

Darkweb Threat Intelligence Automation System

다크웹 기반 위협 인텔리전스 자동화 시스템

다크웹·해킹포럼·랜섬웨어 페이지의 유출 정보를 자동 수집하고 정규화·분석하는 위협 인텔리전스 시스템입니다.

신규 유출 정보 발생 시 Slack/Discord 알림과 AWS IAM 키 로테이션 대응 자동화까지 이어지는 흐름을 구성했습니다.

Threat Intelligence Darkweb OSINT Tor Crawling Alerting Dashboard
프로젝트 목록으로 GitHub 보기

Overview

프로젝트 개요

문제 정의

다크웹·해킹포럼·랜섬웨어 페이지에는 유출 계정, 키워드, 기업명, 클라우드 자격증명 등 보안팀이 빠르게 확인해야 하는 정보가 비정형 형태로 게시됩니다.

하지만 수작업으로 여러 소스를 반복 확인하면 수집 누락이 발생하기 쉽고, 신규 유출 정보가 발생해도 대응까지 이어지는 시간이 길어지는 문제가 있었습니다.

내 역할

팀 리더 / 알림 연동 / 대시보드 구축 / AWS 키 로테이션 자동화

  • Tor 기반 크롤러와 파서·정규화 엔진을 활용한 위협 정보 수집 흐름 설계
  • 신규 유출 정보 탐지 시 Slack/Discord Webhook 알림 및 Streamlit 대시보드 연동 구현
  • AWS IAM 액세스키 자동 로테이션·검증·은퇴 모듈 구현
  • STS 검증, CloudTrail 감사, 기존 키 비활성화/삭제까지 이어지는 유출 사고 대응 흐름 구성

Result Screens

실행 화면

5+ 다크웹 소스 자동화
30초 내 Slack/Discord 알림
정규화 유출 정보 구조화
IAM 키 로테이션 자동화

※ 프로젝트 테스트 환경 기준 측정 결과 · 독립 수집 소스 기준

Core Implementation

핵심 구현

Tor 기반 수집 흐름

다크웹 소스에 접근하기 위해 Tor 기반 크롤링 흐름을 구성하고, 수집 대상별 HTML 구조에 맞춰 파싱 로직을 분리했습니다.

파서·정규화 엔진

소스마다 다른 유출 정보 형식을 날짜, 소스, 키워드, 기업명, 국가 코드 등 분석 가능한 필드로 정규화했습니다.

Webhook 알림 연동

신규 유출 정보가 탐지되면 Slack/Discord Webhook을 통해 보안팀이 바로 확인할 수 있도록 알림 메시지와 요약 정보를 전송하는 흐름을 구성했습니다.

AWS IAM 키 대응 자동화

AWS 액세스키 유출 시나리오를 가정해 신규 키 생성, STS 검증, CloudTrail 감사, 기존 키 비활성화/삭제까지 이어지는 자동 대응 모듈을 구현했습니다.

Troubleshooting

트러블슈팅

다크웹 소스별 HTML 구조가 달라 파싱이 불안정한 문제

문제

각 다크웹·해킹포럼·랜섬웨어 페이지의 HTML 구조와 게시글 형식이 달라, 하나의 파싱 규칙만으로는 유출 정보를 안정적으로 수집하기 어려웠습니다.

원인

소스마다 제목, 날짜, 본문, 피해 기업명, 국가 정보가 표시되는 위치와 태그 구조가 달랐고, 일부 페이지는 빈 페이지나 보호 페이지가 반환되는 경우도 있었습니다.

해결

도메인별 파서 규칙을 분리하고, 수집 실패 페이지에 대한 재시도 흐름과 정규화 단계를 추가해 소스별 차이를 흡수하도록 구성했습니다.

결과

독립 수집 소스 기준 5개 이상의 다크웹 소스에서 유출 정보 자동 수집 흐름을 구성할 수 있었습니다.

신규 유출 정보 탐지 후 대응까지 시간이 길어지는 문제

문제

수집된 유출 정보를 사람이 직접 확인하고 공유하는 방식에서는 신규 유출 정보가 발견되어도 보안팀이 확인하기까지 시간이 지연될 수 있었습니다.

원인

수집, 정규화, 중요도 판단, 알림 전송 과정이 분리되어 있어 신규 정보 발생 시 즉시 알림으로 이어지는 자동화 흐름이 부족했기 때문입니다.

해결

신규 유출 정보 탐지 시 Slack/Discord Webhook으로 요약 알림을 전송하고, 대시보드에서 상세 정보를 확인할 수 있도록 연동했습니다.

결과

프로젝트 테스트 환경에서 신규 유출 정보 발생 후 30초 내 Slack/Discord 알림을 확인할 수 있었습니다.

AWS 액세스키 유출 상황에서 수동 대응이 필요한 문제

문제

액세스키 유출이 의심되는 상황에서는 새 키 발급, 기존 키 사용 이력 감사, 비활성화 또는 삭제까지 여러 단계가 빠르게 수행되어야 했습니다.

원인

IAM 키 교체와 CloudTrail 기반 사용 이력 확인을 수동으로 처리하면 대응 시간이 길어지고, 기존 키가 계속 활성된 상태로 남을 위험이 있었습니다.

해결

boto3 기반으로 신규 액세스키를 생성하고 STS로 검증한 뒤, CloudTrail에서 기존 키 사용 이력을 감사하고 기존 키를 비활성화/삭제하는 자동화 모듈을 구현했습니다.

결과

유출 사고 대응 시나리오에서 키 로테이션, 검증, 감사, 은퇴까지 이어지는 자동 조치 흐름을 구성할 수 있었습니다.

Tech Stack

사용 기술

주요 담당 기술

Python Tor Selenium Streamlit Slack/Discord Webhook AWS IAM CloudTrail boto3

프로젝트 전체 스택

Darkweb OSINT Parser Normalization Dashboard Threat Intelligence

※ 대시보드 및 전체 수집·분석 흐름은 팀 프로젝트 전체 기술 스택 기준입니다.