멜론 차트를 크롤링 해보자!
준비단계에서 필요한 request, BeautifulSoup 및 크롤링한 데이터를 엑셀파일로 옮겨줄 pandas 를 임포트 했다.
처음 헤더 부분없이 코드를 진행하였을때 req.status_code가 402를 나타내어서 해결책으로 헤더 부분을 넣어주었다.
메인 코드부분이며 select를 통해 정보를 찾고 찾은 데이터를 results리스트에 append하는 방식으로 데이터를 한곳으로 모았으며 최종적으로는 pandas 를 통해 엑셀파일로 뽑아보았다.
결과적으로 이렇게 나왔으며.. 생각해보니 엑셀은 시트에 번호가 붙어있어서 추후에 다시 한다고 하면 순위 부분은 제거하고 해도 될듯하다.
'crawling' 카테고리의 다른 글
| selenium Wait (0) | 2022.07.06 |
|---|---|
| 동적 크롤링 (0) | 2022.07.06 |
| HTTP status 코드 (0) | 2022.07.06 |
| 동적크롤링의 도구 (0) | 2022.07.06 |
| 정적 크롤링의 도구 (0) | 2022.07.06 |