일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- 취미
- 클릭하우스
- Database
- 오블완
- 데이터엔지니어링
- db
- 스트릿
- 수원
- 티스토리챌린지
- 데이터베이스
- 행궁동
- SQL
- 책
- Playwright
- 윈드서프
- 낙서
- 그래피티
- 독서
- Advanced
- dbt
- mysql
- 맛집
- 스티커
- query
- 인문
- AI
- crawlee
- duckdb
- clickhouse
- Python
Archives
- Today
- Total
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- 취미
- 클릭하우스
- Database
- 오블완
- 데이터엔지니어링
- db
- 스트릿
- 수원
- 티스토리챌린지
- 데이터베이스
- 행궁동
- SQL
- 책
- Playwright
- 윈드서프
- 낙서
- 그래피티
- 독서
- Advanced
- dbt
- mysql
- 맛집
- 스티커
- query
- 인문
- AI
- crawlee
- duckdb
- clickhouse
- Python
Archives
- Today
- Total
목록크롤러 (1)
yeznable

이전 포스트에서 Playwright의 codegen 기능을 활용해서 쉽게 크롤링 코드를 짜는 방법을 알아봤다.그러한 크롤링을 Crawlee로 고도화 할 수 있다는 것을 경험해보려고 테스트 해본 경험을 정리한다. 아래 링크는 crawlee for Python의 도큐먼트 Setting up 챕터다. Setting up | Crawlee for Python · Fast, reliable Python web crawlers.To run Crawlee on your computer, ensure you meet the following requirements:crawlee.devVScode에서 터미널을 열어서 작업했고 아나콘다 환경을 활용했다. 파이썬 3.9버전 이상을 요구해서 그냥 3.11로 환경을 만들었다.c..
하는 일/데이터엔지니어링
2025. 1. 15. 14:57