SNS API 크롤링
지원 플랫폼
Section titled “지원 플랫폼”| 플랫폼 | 수집 데이터 | 수집 방식 |
|---|---|---|
| 프로필, 게시물, 팔로워 | RapidAPI + Selenium | |
| TikTok | 프로필, 게시물 | 크롤링 |
| YouTube | 채널, 동영상 | YouTube Data API |
| Naver Blog | 블로그 게시물 | 크롤링 |
| 페이지 정보 | Graph API |
크롤링 파이프라인
Section titled “크롤링 파이프라인”모든 SNS 크롤링은 Python FastAPI 서비스에서 처리합니다.
양방향 크롤링
Section titled “양방향 크롤링”해시태그 또는 브랜드명을 시작점으로 인플루언서와 브랜드 간 연결 관계를 BFS(너비 우선 탐색)로 수집합니다.
양방향 크롤링 설정
Section titled “양방향 크롤링 설정”| 항목 | 값 | 설명 |
|---|---|---|
max_depth | 2 | 최대 탐색 깊이 |
min_followers | 2000 | 최소 팔로워 수 필터 |
| 완료 알림 | callback_url | 크롤링 완료 시 결과를 Spring Boot 콜백 URL로 전달 |
양방향 크롤링은 장시간 작업이므로 RQ의
glowb-long큐에서 처리되며, 완료 시callback_url로 결과를 전달합니다.