지훈군의 IT&개발&문화&생활 블로그

[WooCommerce] robots.txt 검색봇 제한 설정하기 본문

IT개발

[WooCommerce] robots.txt 검색봇 제한 설정하기

지훈군 지훈군 2017.08.09 20:54

안녕하세요? 지훈군 입니다.


우커머스로 쇼핑몰을 구축하시고 사용하시다보면... 


이상하게 서버 사양도 높고 트래픽도 높게 잡았는데도 불구하고 접속자수에 비해서 트래픽이 많이 나오고, 서버 자원도 많이 사용하는 것 같다라는 느낌을 받으실 때가 있을 것입니다.


혹시라도 그런 생각이 드신다면, 검색 봇이 원인이 아닌지 로그를 한번 확인해 보시기 바랍니다.


최근 로그를 확인하다가 보니, 검색 봇이 상품 리스트에 있는 add to cart(장바구니 담기) 버튼을 크롤링 하는 웃지 못할 일이 있더라구요.


우커머스 관련 기능들은 서버 자원을 일정 부분 사용하기 때문에 동시에 다량의 요청이 들어오면 서버자원을 많이 잡아 먹게 되는데요. 


검색 봇의 경우 4~5개의 봇이 동시에 들어와서 지속적으로 사이트를 긁어가기 시작하면... 

그 사이트는 실제 접속하려는 사람들은 접속이 거의 불가능한 지경에 이르기까지 합니다.

그래서 검색봇의 로그를 확인해 보니 다음과 같이 요청 URL이 생성이 되더라구요.


http://www.aaa.com/product/test_product?add_to_cart=1234


이런 요청이 ROBOTS.TXT 가 설정이 안되 있는 경우 계속 크롤링이 될 수 있습니다.


ROBOTS.TX 파일을 만드는 요령은 여기서는 설명드리지 않겠습니다.

자세한 방법은 다른 글들을 참고하시기 바라구요.


우커머스의 경우에는 파라미터를 이용해서 결제를 진행하기 때문에 아래와 같이 ROBOTS.TXT  파일에 내용을 추가하시면 검색봇이 장바구니 담기를 지속적으로 하면서 서버에 부하를 주는 일은 막을 수 있을 것 같네요. 


반대로 이야기 하면, add_to_cart 요청으로 공격이 지속적으로 들어올수도 있다는 것과 같기도 하구요. 

물론 이런 경우는 서버에 따라서 접속 시도의 제한을 걸어버리면 되긴 하니까요.. 

추가적인 보안 문제로 생각하시면 될것 같네요. 


적용하시면 바로 되는 것이 아니라 검색 봇이 크롤링을 시작하기 전에 읽어 들이니까요. 

하루 정도는 지나셔야 동작 여부를 확인할 수 있습니다.

(단, 나쁜 검색 봇이라면 무시하고 진행하는 경우도 있으니 이건 따로 확인해서 차단하시는게 좋습니다)

Disallow: /*add-to-cart=* 


아래는 robots.txt 샘플 입니다. 참고용으로만 봐주세요.



robots.txt



* 참고사이트 : https://wordpress.org/support/topic/robotstxt-and-woocommerce/


감사합니다. 


저작자 표시 비영리 변경 금지
신고
0 Comments
댓글쓰기 폼