yeznable

오랫동안 내가 파이썬 프로젝트 환경을 준비한 과정은 다음과 같다.1. Anaconda 설치2. VS Code 설치 3. VS Code Python 익스텐션을 설치 4. conda 명령어 활용을 위한 Anaconda PATH 설정 5. 파이썬 프로젝트 생성6. conda create로 가상환경 생성7. 6번에서 생성한 가상환경을  프로젝트의 인터프리터로 설정8. 패키지 설치가 필요할 때 가상환경을 activate하고 pip으로 설치 이러한 과정을 현대적인 파이썬 패키지 및 프로젝트 관리 툴인 uv를 활용해서 하려면 어떻게 되는지 dbt 프로젝트를 만들며 정리 해보려고 한다. 1. uv 설치기존의 1번에서 Anaconda를 설치 했던 것처럼 uv를 설치 해준다.Anaconda는 공식 홈페이지에 가서 setu..

요즘 커서와 윈드서프가 많은 관심을 받는 AI 코드 에디터인 것 같아서 써보고싶었다.둘 중에 뭘 써볼까 고민하다가 다음 이유로 윈드서프를 먼저 써보기로 했다.1. 커서보다 윈드서프가 더 최근에 나왔고 사람들 반응이 나쁘지 않다.2. 커서는 검색했을 때 결과가 많이 나오는데 윈드서프는 많이 나오지 않는다.(홍대병 발병)3. 하지만 커서보다 윈드서프 도큐먼트가 읽기 좋게 작성되어있다. 내가 보기에는 윈드서프의 도큐먼트가 더 읽기 좋았는데 블로그 등의 유저들 검색 결과가 많은게(커뮤니티가 큰게) 훨씬 중요하다고 생각하는 사람은 커서를 더 고려하는게 좋을수도 있다.아래에 두개의 링크를 다 남겨놓으니 관심이 있는 사람은 들어가보는게 좋을 것이다. Windsurf - Getting StartedCodeium’s c..

Selenium도 그랬듯이 Playwright도 원래는 크롤링 도구가 아닌 테스팅 도구다.그래서 도큐먼트에 들어가보면 크롤링은 이렇게 하세요 하는 안내가 아닌 테스트는 이렇게 하세요 하는 안내가 나온다.크롤링에 대한 안내는 따로 없는것 같아서 크롤링 예제 블로그들을 찾아봐야 하나 했는데 그럴 필요가 없을 정도로 Playwright는 codegen 이라는 강력한 기능을 가지고 있었다. 테스트용 브라우저를 제공하고 해당 브라우저에서 내가 행동하는 과정들을 Playwright 코드로 작성해준다.codegen은 내가 오브젝트들의 xpath를 찾아서 클릭을 할지 값을 타이핑할 지 코딩하는 시간을 대폭 줄여줄 수 있는 기능이다.여러 오브젝트들을 불러와서 for문으로 돌아가면서 작업을 수행하거나 하는 기능은 커스터마..

지금도 크롤링을 해보자! 하면 가장 먼저 찾게되는 것이 Selenium이다.크롤링이라고 검색하면 가장 먼저 나오고 가장 많은 예시 및 정보가 나온다. 필요에 따라 Scrapy를 사용한다는 것까지는 알고 있었다.둘의 차이는 다음 글에 잘 정리되어 있는 것 같다. Scrapy vs Selenium: Which One is Better?Both web scraping tools excel in distinct web scraping scenarios. See this Scrapy vs. Selenium showdown to decide on the ultimate solution for your needs.oxylabs.io 최근에 Crawlee라는 툴을 알게 되었고 도큐먼트를 보다가 Playwright 툴도..

BI 시스템에서 구글 oauth 인증을 활용해 로그인 하고 있다. redirect_uri를 변경할 일이 있어서 해당 값을 저장해둔 .env 파일을 수정하고 저장했다.해당 값을 적용하기 위해 저장 이후에 서비스를 내렸다가 다시 올렸지만 기존의 redirect_uri로 계속 redirect 되는 현상이 있었다. 서비스를 두번에서 세번 정도 내렸다 올려본 것 같다.그럼에도 다음과 같은 상황이 벌어졌다. 1. 서비스 접속에 도메인 a.example.com을 사용중이었고 redirect_uri도 해당 주소로 설정되어 있었음2. 동일한 서비스에 접속되는 도메인 b.example.com가 추가됨3. Google API 콘솔에서 "승인된 리디렉션 URI" 목록에 https://b.example.com/를 추가4. "...