스크래핑

요즘 많이 이슈되고 있는 스크래핑에 관련해서 한 번 조사해보았다.

 

 

[1주차_자유주제] 스크래핑.pdf

1.52MB

 

 

 

 

 

4줄 요약

​

1. 웹페이지에 표시된 데이터를 자동화된 프로그램 또는 봇을 사용하여 추출하는 과정을 의미한다.

​

2. 실시간 가격정보 및 필요한 정보를 모을 수 있다는 장점이 있지만, 악용하여 예약서비스에서의 공정성 파괴 및 과도한 요청으로 인한 서버 과부하가 있을 수 있다.

​

3. 마이데이터는 스크래핑에서 진화한 서비스라고 볼 수 있다. 스크래핑에 비해 합법적으로 개인 은행 정보를 불러 올 수 있다.

​

4. Robots.txt, Captcha, ip차단, User-Agent, 동적 콘텐츠 랜더링으로 어느정도 스크래핑을 방지할 수 있지만, 한계가 있다. html 자체 암호화 또는 요청 데이터 암호화를 통해 조기 방지를 해야한다.