Back-end/Python Scrapper11 파이썬으로 웹스크래퍼 만들기 - 2 1. 사이트 주소(url) 알아내기 - indeed 사이트의 정보를 추출하는 웹 스크래퍼를 만들어 볼겁니다. 자신이 원하는 검색어로 검색을 한 뒤에 맞춤검색을 통해 페이지에 표시할 검색결과의 개수를 50개로 설정해 주세요. 이후 나온 검색결과의 url 주소를 복사해두시면 됩니다. 저는 서울특별시의 직장 중 java를 필요로하는 신입공채를 검색하였습니다. 2. Requests 라이브러리 설치하기 - 웹 스크래퍼를 만들기 위해서는 먼저 URL에 대한 요청을 처리할 수 있는 기능을 가진 라이브러리를 필요로 합니다. 그렇기에 Requests라는 라이브러리를 설치합니다. (1) 왼쪽 메뉴바에서 패키지를 선택하고 request를 검색한 뒤에 첫번째 검색결과를 선택합니다. (2) 첫번째 검색결과를 선택 후 오른편에 .. 2020. 8. 3. 파이썬으로 웹스크래퍼 만들기 - 1 1. Web Scrapper의 개념 - 웹 스크래퍼는 인터넷 웹사이트에서 데이터를 추출하는 기술이다. 웹스크래퍼가 무엇인지 공부를 하면서 그동안 내가 사용하던 다양한 기술들이 웹 스크래핑에 기반하였다는 것을 이제서야 알게 되었다. 예를 들어, 어떤 기사의 링크를 복사하여 SNS에 또는 메신저에 올리면 링크와 함께 자동으로 그 기사의 preview가 보여진다. 웹 스크래핑 기술을 이용해 해당 기사의 링크에 있는 대표 사진 등의 정보를 가져와 보여주는 것이다. 이것이 web scrapper이다. - 웹 스크래핑 기술을 사용해 우리는 다양한 것들을 만들 수 있다. 특정 물건의 가격을 몇몇 웹사이트에서 수집하여 이를 데이터하는 등 요즘 우리가 말하는 빅데이터의 기본이 되는 데이터를 수집하는 기본적인 방법중의 하.. 2020. 7. 31. 이전 1 2 다음
