약 한 달 반 전, 팀 프로젝트에서 가장 먼저 시도했던 네이버 지도 크롤러 개발 과정을 공유하려 한다. 당시 내가 맡은 부분은 맛집 추천 에이전트였다. 한국에서는 네이버 플레이스가 가장 많은 정보를 보유하고 있지만 공식 API가 없었기 때문에, 초기에는 셀레니움을 활용한 동적 크롤링을 시도했다. 솔직히 동적 크롤링은 처음 해보는 거라 신기하고 흥미로웠다. 결과적으로 1박 2일 일정에 하루 3끼, 최소 15개 이상의 식당 데이터가 필요했고 크롤링 속도 문제로 인해 구글 플레이스 API로 방향을 전환했지만, 오늘은 당시 개발했던 크롤러를 다시 살펴보려 한다.개발 목표네이버 지도에서 "부산 해운대 음식점" 검색 결과 수집하기각 음식점의 이름, 카테고리, 평점, 주소 정보 추출하기자동으로 모든 검색 결과를 스크..

팀원들과 미니 프로젝트 진행하면서 크롤링이 필요하여 처음 사용해보게 되었다.brunch, naver blog, reddit, tistory, velog, X 를 각자 하나씩 맡아서 크롤링을 진행하기로 했는데 나는 velog를 선택했다.naver blog 크롤링을 먼저 끝내신분이 있어서 그 팀원의 코드를 사용해서 수정했다. 크롤링(crawling)이란? 웹 페이지의 정보를 자동으로 수집하고 저장하는 작업 먼저, 각 플랫폼마다 다르게 실행될수 있도록 crawling_service.py를 따로 만들어서 연결해주었다. from crawling_naver import get_blog_contentfrom crawling_brunch import get_brunch_contentfrom crawling_velog ..