목록crawlee (2)
yeznable

이전 포스트에서 Playwright의 codegen 기능을 활용해서 쉽게 크롤링 코드를 짜는 방법을 알아봤다.그러한 크롤링을 Crawlee로 고도화 할 수 있다는 것을 경험해보려고 테스트 해본 경험을 정리한다. 아래 링크는 crawlee for Python의 도큐먼트 Setting up 챕터다. Setting up | Crawlee for Python · Fast, reliable Python web crawlers.To run Crawlee on your computer, ensure you meet the following requirements:crawlee.devVScode에서 터미널을 열어서 작업했고 아나콘다 환경을 활용했다. 파이썬 3.9버전 이상을 요구해서 그냥 3.11로 환경을 만들었다.c..
지금도 크롤링을 해보자! 하면 가장 먼저 찾게되는 것이 Selenium이다.크롤링이라고 검색하면 가장 먼저 나오고 가장 많은 예시 및 정보가 나온다. 필요에 따라 Scrapy를 사용한다는 것까지는 알고 있었다.둘의 차이는 다음 글에 잘 정리되어 있는 것 같다. Scrapy vs Selenium: Which One is Better?Both web scraping tools excel in distinct web scraping scenarios. See this Scrapy vs. Selenium showdown to decide on the ultimate solution for your needs.oxylabs.io 최근에 Crawlee라는 툴을 알게 되었고 도큐먼트를 보다가 Playwright 툴도..