티스토리 뷰
웹페이지 돌아다니다 보면 관련 데이터 추출해서 엑셀 등에 저장하고 싶은 데이터가 있습니다. 하지만 일반인들이 파이썬을 써서 크롤링을 하는 것을 참 어려운 일이죠.
그래서 오늘 소개해 드릴 사이트는 리스틀리 웹 크롤링 사이트 입니다. 원하는 데이터를 원클릭으로 추출하여 엑셀로 저장하여 사용할 수 있습니다. 저도 블로그를 작성할 때 데이터가 필요하면 이 사이트를 이용해서 수집하는데 미친 성능을 자랑합니다. 진짜 추천하는 사이트 입니다.
지금은 부분 유료화가 되었지만 하루 10페이지까지는 무료로 이용가능합니다.
1. 리스틀리(Listly) 홈페이지 바로가기
리스틀리 홈페이지에 아래 링크를 통해 접속하면 무료로 크롤링할 수 있는 많은 도구를 무료로 이용할 수 있습니다. 초보자도 아래 사이트 이용 방법을 참고하시면 쉽게 크롤링을 경험하실 수 있습니다.
2. 사이트 주요 내용
- 크롬 베이스(네이버 웨일 등)에 확장 프로그램으로 쉽게 등록 가능
- 무료 웹 데이터 추출 기능 제공
- 스크래핑 기능 제공
- 크롤링(전부, 부분) 기능 제공
3. 리스틀리 사이트 사용 방법
먼저 리스틀리 홈페이지에 접속하여 웨일확장프로그램을 추가합니다. 손쉽게 바로 추가가 가능합니다. 혹시 익스플로러나 예전 웹 브라우저를 사용하시면 크롬 베이스인 브라우저로 업그레이드 해 주세요.
저는 웨일을 사용하고 있어서 웨일에 추가해 보겠습니다. 아래와 같이 '웨일에 추가하기' 버튼을 클릭하시면 됩니다.
그럼 아래와 같이 팝업이 뜨는데 추가해 주시면 됩니다.
리스틀리가 확장프로그램으로 등록이 되면 브라우저 오른쪽 상단에 아이콘이 생깁니다.
이제 우리나라 대표 사이트인 네이버에 들어가서 크롤링을 한번 해 보겠습니다.
그리고 리스틀리 아이콘을 클릭하면 아래와 같이 전체, 부분이 나오게 됩니다.
전체는 화면 전체를 크롤링 하는 것이고 부분은 화면의 일정 부분만 크롤링 하는 기능입니다.
저는 전체를 클릭하여 크롤링을 실행해 보겠습니다.
이제 엑셀로 저장하시면 됩니다. 그리고 엑셀파일을 실행하면 아래와 같은 결과물이 나오게 됩니다.
그림이 많고 데이터가 별로 없는 네이버 전면 페이지라서 광고가 나오는 링크들의 정보가 크롤링 되어서 나왔습니다.
이런식으로 데이터를 추출할 수 있는 사이트이니 많이 이용하시기 바랍니다.
리스틀리 사용방법 영상으로도 한번 보시는 것을 추천드립니다.
이상으로 리스틀리 웹 스크래핑 사이트에 대해 알아보았습니다.