yeznable

이전 포스트에서 Playwright의 codegen 기능을 활용해서 쉽게 크롤링 코드를 짜는 방법을 알아봤다.그러한 크롤링을 Crawlee로 고도화 할 수 있다는 것을 경험해보려고 테스트 해본 경험을 정리한다. 아래 링크는 crawlee for Python의 도큐먼트 Setting up 챕터다. Setting up | Crawlee for Python · Fast, reliable Python web crawlers.To run Crawlee on your computer, ensure you meet the following requirements:crawlee.devVScode에서 터미널을 열어서 작업했고 아나콘다 환경을 활용했다. 파이썬 3.9버전 이상을 요구해서 그냥 3.11로 환경을 만들었다.c..

Selenium도 그랬듯이 Playwright도 원래는 크롤링 도구가 아닌 테스팅 도구다.그래서 도큐먼트에 들어가보면 크롤링은 이렇게 하세요 하는 안내가 아닌 테스트는 이렇게 하세요 하는 안내가 나온다.크롤링에 대한 안내는 따로 없는것 같아서 크롤링 예제 블로그들을 찾아봐야 하나 했는데 그럴 필요가 없을 정도로 Playwright는 codegen 이라는 강력한 기능을 가지고 있었다. 테스트용 브라우저를 제공하고 해당 브라우저에서 내가 행동하는 과정들을 Playwright 코드로 작성해준다.codegen은 내가 오브젝트들의 xpath를 찾아서 클릭을 할지 값을 타이핑할 지 코딩하는 시간을 대폭 줄여줄 수 있는 기능이다.여러 오브젝트들을 불러와서 for문으로 돌아가면서 작업을 수행하거나 하는 기능은 커스터마..

지금도 크롤링을 해보자! 하면 가장 먼저 찾게되는 것이 Selenium이다.크롤링이라고 검색하면 가장 먼저 나오고 가장 많은 예시 및 정보가 나온다. 필요에 따라 Scrapy를 사용한다는 것까지는 알고 있었다.둘의 차이는 다음 글에 잘 정리되어 있는 것 같다. Scrapy vs Selenium: Which One is Better?Both web scraping tools excel in distinct web scraping scenarios. See this Scrapy vs. Selenium showdown to decide on the ultimate solution for your needs.oxylabs.io 최근에 Crawlee라는 툴을 알게 되었고 도큐먼트를 보다가 Playwright 툴도..