190425 TIL 프로젝트 - 크롤링 (cheerio)

» 1막, TIL (Today I Learned)

크롤링

크롤링을 우습게 본 것은 아주 큰 잘못이었으… 222

Build a Web Scraper with Node.js and cheerio - IMDB Movie Search image

  • 2시간짜리 영상을 이틀에 걸쳐 공부를 하고 따라하면서 프로젝트에 적용하려고 코드를 짜고 실행했는데… 계속 안된다…!!

image image

  • 들어가질 않는다….

image

  • 빈 어레이만 뿜어대고…


알고보니 크롤링하려는 사이트가 동적로딩이었… cheerio는 정적로딩만 긁어올 수 있다고…

  • 크롬 개발자 도구에서 자바스크립트 끄는 걸 처음 해봤다. disable javascript 하고 페이지 로딩했더니 아래처럼 blank~

image

후후…

자, 이제 puppeteer 를 공부해보잣! 신난닷!