전체 스터디
전체 스터디
  • 전체보기
  • 질문
  • 숙제
내 스터디
  • 스터디에 참여해보세요!
다른 스터디
  • 파이썬 기초 스터디
  • 네이버 정복 파이썬 크롤링
  • 페이스북 만드는 웹개발
  • 데이터사이언스 12시간 입문기
  • 파이썬 구글 Sheet 연동
  • 엑셀서당 - 훈장님의 기초 엑셀 트레이닝
  • 고전게임을 만들며 배우는 코딩의 기초
  • 내 업무를 거의 자동화하는 방법
  • SQL 입문 4시간
  • QR 코드 프로그래밍
  • 비전공자 개발지식 총정리
  • 초고속 퍼포먼스 마케터
  • 왓챠 함께 만들기
  • 퍼블리셔 초고속 입문기
  • 한국형 커뮤니티 만들기
  • airbnb 프론트엔드 카피 프로젝트
  • 워드프레스로 쿠팡 만들기
석민제
9월 17일 10:14 · 석민제의 팀 크롤링

네이버 쇼핑 상품리뷰를 크롤링 하는데 뒤로 갈수록(60페이지 이상?정도부터) 페이지 이동이 이상해서 질문드려요! 코드상 문제가 있는건지 궁금합니다! 

이헌영
9월 17일 14:26

민제님 안녕함세요 :) 올려주신 코드 살펴보았는데요,

기존 코드의 페이지를 클릭하는 부분

page_buttons[page % 11 + 1].click()

에서 한 페이지에서 선택할 수 있는 페이지의 수는 10개인데 %연산자 11을 입력해주셔서 해당하는 문제가 발생한 것 같아요 :) 

page_buttons[page % 10 + 1].click()

와 같이 수정해주시면 문제없이 수집이 되는 것을 확인하실 수 있습니다. 

*기존코드에서도 11페이지부터는 페이지 수집이 섞여서 되었던 것 같아요 :)

좋아요 0
    이서영
    등록했습니다. 잘 부탁드립니다!
    hwangqt
    안녕하세요~ 잘 부탁드려요:).
    허태정
    저도 참여합니다! 잘 부탁드려요:).
    임지원
    저도 함께 하게 됐어요~ 잘 부탁드립니다!
    jumyeong jeong
    안녕하세요~ 잘 부탁드려요:).

    또 다시 크롤링 질문입니다...

    https://www.une-une.co.kr/outer?productListFilter=120864

    이 페이지를 크롤링하고 있는데요.
    section.section div.productListPage > div.shopProductWrapper div.price > span 이렇게 선택자를 지정해주면 가격 정보를 크롤링해와야하는데 파이썬이 None을 출력합니다.


    웹페이지 소스를 살펴보니 실제 코드에는 가격 정보가 값이 없더라고요. 구글 개발자 도구에서는 가격 정보가 나오는데 말이죠...식스샵의 개발팀에서 뭔가 개발할 때 이런식으로 정보가 노출되도록 개발을 한 것인지 어떤지 잘 모르겠으나...이럴 때는 어떻게 가격정보를 크롤링할 수 있을까요? ㅜㅜ

    자세히 보기
    최도근
    8월 28일 15:42

    보통 그 데이터가 동적으로 출력될 때 생기는 현상입니다..! selenium을 이용해보세요. requests는 정적인 페이지(실제 코드에 가격정보가 있는 경우)에서만 사용가능합니다.

    좋아요 0
      유재원
      8월 29일 12:48

      네 그럴 것 같았습니다. selenium으로 다시 해보겠습니다. 감사합니다. :)

      좋아요 0
        이동준
        등록했습니다. 잘 부탁드립니다!
        eun bi Jeon
        저도 참여합니다! 잘 부탁드려요:).
        김예원
        등록했습니다. 잘 부탁드려요:).
        박만수
        안녕하세요~ 잘 부탁드려요:).
        방익종
        등록했습니다. 잘 부탁드립니다!
        전세영
        등록했습니다. 끝까지 열심히 하겠습니다~!
        김은지
        저도 함께 하게 됐어요~ 열심히 하겠습니다..!
        김희진
        저도 참여합니다! 열심히 하겠습니다..!
        너무 고민말고 물어보세요!
        kakao 카카오톡 상담
        kakao 적성 테스트
        부담없이 채팅 상담하세요. 친절한 코알라가 대기중입니다:)