전체 스터디
네이버 쇼핑 상품리뷰를 크롤링 하는데 뒤로 갈수록(60페이지 이상?정도부터) 페이지 이동이 이상해서 질문드려요! 코드상 문제가 있는건지 궁금합니다!
또 다시 크롤링 질문입니다...
https://www.une-une.co.kr/outer?productListFilter=120864
이 페이지를 크롤링하고 있는데요.
section.section div.productListPage > div.shopProductWrapper div.price > span 이렇게 선택자를 지정해주면 가격 정보를 크롤링해와야하는데 파이썬이 None을 출력합니다.
웹페이지 소스를 살펴보니 실제 코드에는 가격 정보가 값이 없더라고요. 구글 개발자 도구에서는 가격 정보가 나오는데 말이죠...식스샵의 개발팀에서 뭔가 개발할 때 이런식으로 정보가 노출되도록 개발을 한 것인지 어떤지 잘 모르겠으나...이럴 때는 어떻게 가격정보를 크롤링할 수 있을까요? ㅜㅜ
8월 28일 15:42
보통 그 데이터가 동적으로 출력될 때 생기는 현상입니다..! selenium을 이용해보세요. requests는 정적인 페이지(실제 코드에 가격정보가 있는 경우)에서만 사용가능합니다.
좋아요 0
8월 29일 12:48
네 그럴 것 같았습니다. selenium으로 다시 해보겠습니다. 감사합니다. :)
좋아요 0
카카오톡 상담
적성 테스트
민제님 안녕함세요 :) 올려주신 코드 살펴보았는데요,
기존 코드의 페이지를 클릭하는 부분
에서 한 페이지에서 선택할 수 있는 페이지의 수는 10개인데 %연산자 11을 입력해주셔서 해당하는 문제가 발생한 것 같아요 :)
와 같이 수정해주시면 문제없이 수집이 되는 것을 확인하실 수 있습니다.
*기존코드에서도 11페이지부터는 페이지 수집이 섞여서 되었던 것 같아요 :)