도커 환경에서 다중 파싱을 하고 있습니다 > 버그신고

본문 바로가기

사이트 내 전체검색

버그신고

도커 환경에서 다중 파싱을 하고 있습니다

작성일 19-10-01 00:05

페이지 정보

작성자 나들킴 조회 75,544회 댓글 1건

본문

버그는 아니지만 기능 개선으로 봐주셨음 합니다.
현재 도커 환경에서 여러개의 컨테이너로 다중 파싱을 진행하고 있습니다.
대용량 콘텐츠인 관계로 1분 간격으로 파싱을 해야하는데, 뭐 거의 끊지 않고 데이터를 가져온다고 봐야할것 같습니다.

문제는 상대 사이트에서 아이피가 빈번하게 차단당하고 있습니다.
다중 스위치를 사용하는 관계로 아이피는 계속적으로 갱신이 가능한데,
혹시 파싱기에서 아이피 차단으로 인한 파싱실패시 쉘커맨드를 날려줄수 없는지 궁금합니다.

댓글목록

바트넷님의 댓글

profile_image 바트넷
작성일
Copyright © 바트넷. All rights reserved.
PC 버전으로 보기