1. Web Scrapper의 개념
- 웹 스크래퍼는 인터넷 웹사이트에서 데이터를 추출하는 기술이다. 웹스크래퍼가 무엇인지 공부를 하면서 그동안 내가 사용하던 다양한 기술들이 웹 스크래핑에 기반하였다는 것을 이제서야 알게 되었다. 예를 들어, 어떤 기사의 링크를 복사하여 SNS에 또는 메신저에 올리면 링크와 함께 자동으로 그 기사의 preview가 보여진다. 웹 스크래핑 기술을 이용해 해당 기사의 링크에 있는 대표 사진 등의 정보를 가져와 보여주는 것이다. 이것이 web scrapper이다.
- 웹 스크래핑 기술을 사용해 우리는 다양한 것들을 만들 수 있다. 특정 물건의 가격을 몇몇 웹사이트에서 수집하여 이를 데이터하는 등 요즘 우리가 말하는 빅데이터의 기본이 되는 데이터를 수집하는 기본적인 방법중의 하나이다.
2. 앞으로의 일정
- YouTube의 노마드코더 채널을 운영하는 니콜라스의 파이썬으로 웹스크래퍼 만들기 강좌를 바탕으로 제가 공부하는 내용을 포스팅을 할 예정입니다. 해당 강좌에서 진행하는 프로젝트는 구직사이트의 정보를 엑셀 형태로 export하는 웹 스크래퍼를 만드는 것입니다. 이 외에도 다양한 프로젝트를 포함한 무료 강좌가 있으니 필요하신 분들은 아래의 사이트를 참고해 주세요.
노마드 코더 Nomad Coders
코딩은 진짜를 만들어보는거야!. 실제 구현되어 있는 서비스를 한땀 한땀 따라 만들면서 코딩을 배우세요.
nomadcoders.co
3. 어떤 tool을 사용하나요?
- 저는 노마드 코더의 강의에 따라 Repl.it 이라는 사이트에서 파이썬을 사용합니다.
- 파이썬을 따로 설치하거나 환경설정을 하지 않아도 쉽게 사용할 수 있는 무료 사이트 입니다. 아래 주소를 참고해 주세요.
The collaborative browser based IDE
Repl.it is a simple yet powerful online IDE, Editor, Compiler, Interpreter, and REPL. Code, compile, run, and host in 50+ programming languages: Clojure, Haskell, Kotlin, QBasic, Forth, LOLCODE, BrainF, Emoticon, Bloop, Unlambda, JavaScript, CoffeeScript,
repl.it
'Back-end > Python Scrapper' 카테고리의 다른 글
| 파이썬으로 웹스크래퍼 만들기 - 6 (0) | 2020.08.06 |
|---|---|
| 파이썬으로 웹스크래퍼 만들기 - 5 (0) | 2020.08.05 |
| 파이썬으로 웹스크래퍼 만들기 - 4 (0) | 2020.08.04 |
| 파이썬으로 웹스크래퍼 만들기 - 3 (0) | 2020.08.03 |
| 파이썬으로 웹스크래퍼 만들기 - 2 (0) | 2020.08.03 |
댓글