크롤링

크롤링을 우습게 본 것은 아주 큰 잘못이었으…

크롱에게 마구 질문하고 가이드를 받았다.

• 클라이언트에서 크롤링이 안되는 이유:
  • cross domain 때문
  • –> 아니 그럼 노드로도 안되는 게 맞는거 아닌가?
  • –> 웹 사이트에서 데이터를 못 가져가게 막는 것이라기보다는 악의적인 js 스크립트를 심는 것 등을 막기 위한 것
  • 브라우저는 통신자체를 잘 안하려고 함

• 지금 필요한 것: 노드로 데이터 수집(크롤링) -> DB저장 -> 브라우저 -> 서버요청

• 웹 서버가 api 역할을 할 수 있도록 해야함

• 공부할 것: DB, Express

Build a Web Scraper with Node.js and cheerio - IMDB Movie Search

이 영상을 따라 해보면서 공부중…

• 영어 발음이 명확하고
• 컨텐츠에 군더더기가 없고 (속도도 빠름)
• 넘나 귀여우심. ㅎㅎ 개발을 진짜 좋아하시는 것 같아서
• 구독했긔.