도커 환경에서 다중 파싱을 하고 있습니다 > 버그신고

본문 바로가기
사이트 내 전체검색

버그신고

도커 환경에서 다중 파싱을 하고 있습니다

페이지 정보

작성자 나들킴 댓글 1건 조회 65,691회 작성일 19-10-01 00:05

본문

버그는 아니지만 기능 개선으로 봐주셨음 합니다.
현재 도커 환경에서 여러개의 컨테이너로 다중 파싱을 진행하고 있습니다.
대용량 콘텐츠인 관계로 1분 간격으로 파싱을 해야하는데, 뭐 거의 끊지 않고 데이터를 가져온다고 봐야할것 같습니다.

문제는 상대 사이트에서 아이피가 빈번하게 차단당하고 있습니다.
다중 스위치를 사용하는 관계로 아이피는 계속적으로 갱신이 가능한데,
혹시 파싱기에서 아이피 차단으로 인한 파싱실패시 쉘커맨드를 날려줄수 없는지 궁금합니다.

댓글목록

바트넷님의 댓글

바트넷 작성일

회원로그인

접속자집계

오늘
281
어제
242
최대
14,360
전체
13,634,187

그누보드5
Copyright © 바트넷. All rights reserved.
바트넷 운영환경 Go v1.16.6 / PHP v7.8 / MariaDB v10.6.3
그누보드 파싱기, 게시판 파싱기, 게시판 크롤링, 아카이빙, 게시물 수집, 커뮤니티 긁어오기, 후방 움짤 긁어오기, XE 파싱기, 웹파싱, 데이타 파싱