파이썬으로 웹스크래퍼 만들기 - 1

1. Web Scrapper의 개념

- 웹 스크래퍼는 인터넷 웹사이트에서 데이터를 추출하는 기술이다. 웹스크래퍼가 무엇인지 공부를 하면서 그동안 내가 사용하던 다양한 기술들이 웹 스크래핑에 기반하였다는 것을 이제서야 알게 되었다. 예를 들어, 어떤 기사의 링크를 복사하여 SNS에 또는 메신저에 올리면 링크와 함께 자동으로 그 기사의 preview가 보여진다. 웹 스크래핑 기술을 이용해 해당 기사의 링크에 있는 대표 사진 등의 정보를 가져와 보여주는 것이다. 이것이 web scrapper이다. 

 

- 웹 스크래핑 기술을 사용해 우리는 다양한 것들을 만들 수 있다. 특정 물건의 가격을 몇몇 웹사이트에서 수집하여 이를 데이터하는 등 요즘 우리가 말하는 빅데이터의 기본이 되는 데이터를 수집하는 기본적인 방법중의 하나이다.

---

2. 앞으로의 일정 

- YouTube의 노마드코더 채널을 운영하는 니콜라스의 파이썬으로 웹스크래퍼 만들기 강좌를 바탕으로 제가 공부하는 내용을 포스팅을 할 예정입니다. 해당 강좌에서 진행하는 프로젝트는 구직사이트의 정보를 엑셀 형태로 export하는 웹 스크래퍼를 만드는 것입니다. 이 외에도 다양한 프로젝트를 포함한 무료 강좌가 있으니 필요하신 분들은 아래의 사이트를 참고해 주세요.

 

https://nomadcoders.co/

노마드 코더 Nomad Coders

 

---

3. 어떤 tool을 사용하나요? 

- 저는 노마드 코더의 강의에 따라 Repl.it 이라는 사이트에서 파이썬을 사용합니다. 

- 파이썬을 따로 설치하거나 환경설정을 하지 않아도 쉽게 사용할 수 있는 무료 사이트 입니다. 아래 주소를 참고해 주세요.

 

https://repl.it/

The collaborative browser based IDE