도커 환경에서 다중 파싱을 하고 있습니다
페이지 정보
작성자 나들킴 댓글 1건 조회 75,320회 작성일 19-10-01 00:05본문
현재 도커 환경에서 여러개의 컨테이너로 다중 파싱을 진행하고 있습니다.
대용량 콘텐츠인 관계로 1분 간격으로 파싱을 해야하는데, 뭐 거의 끊지 않고 데이터를 가져온다고 봐야할것 같습니다.
문제는 상대 사이트에서 아이피가 빈번하게 차단당하고 있습니다.
다중 스위치를 사용하는 관계로 아이피는 계속적으로 갱신이 가능한데,
혹시 파싱기에서 아이피 차단으로 인한 파싱실패시 쉘커맨드를 날려줄수 없는지 궁금합니다.