python(10)
-
[selenium] 구글 자동검색 2021.11.11
-
[웹크롤링] 웹사이트에서 정보수집
네이버 금융에서 환율 정보 가져오기 `크롬에서 네이버 > 금융 > 시장지표 > 미국 USD 금액을 부분을 개발자 모드로 확인 1.098.50 교보문고에서 파이썬 책 검색하여 책 제목 출력 & 책 이미지 저장하기
2021.11.11 -
[웹크롤링]BeautifulSoup
웹서버에 접속하고, 데이터를 요청하며 서버로부터 받는 데이터를 분석해서 정보를 제공할 수 있도록 파이썬의 표준 라이브러리를 사용해도 되지만 유용한 외부 라이브러리가 있다. * requests : 웹요청을 보내고 받는 기능 * beautifulsoup4 : 서버로부터 받은 데이터를 분석하는데 사용 - 스크래이핑 할 수 있는 라이브러리 - 다운로드 기능은 없음 ( 다운로드는 urllib를 이용함 ) - 추가 설치 필요 bs4 설치 bs4 라이브러리 : 웹에서 가져온 HTML코드를 파이썬에서 사용하기 편하게 파싱해주는 라이브러리 [참고] 웹에서 가져온 HTML코드 가져오는 방법 - requests 모듈 - urllib 의 request 모듈 BeautifulSoup 모듈 - find() - find_all()..
2021.11.11 -
[웹크롤링] requests
* API (Application Programming Interface) : 어느 프로그램 기능을 외부 프로그램에서 사용할 수 있도록 만든 것 즉 서로 다른 프로그램이 기능을 공유할 수 있도록 한 것 ** Web API : 웹상의 많은 정보를 공유할 수 있도록 제공하는 것 단점은 해당 제공자의 사정에 의해 변동이 심하다. ` 다음 개발자 센터 ` 네이버 개발자 센터 ` 구글 개발자 센터 ` [그외] https://www.apistore.co.kr/api/apiList.do API 날씨정보가져오기 전세계날씨제공 API : http://openweathermap.org 1. 회원가입 : 메뉴 > Sign Up > 사용용도 : Education > 대충가입 (무료는 1번에 60번 호출 가능 ) 2. 개발자모..
2021.11.11 -
[웹크롤링] 파일 저장
파일저장 기본방식 f = open('a.txt','w') f.write("테스트 내용") f.close() 위의 과정을 with 문으로 간략하게 (close 필요없음) with open("a.txt","w") as f: f.write("테스트 내용")
2021.11.11 -
[웹크롤링]이미지 다운로드
파이썬에서 웹을 요청할 수 있는 라이브러리 1- requests 라이브러리 (s붙음 주의) - 추가 2- urllib 라이브러리 - 내장모듈 urllib 라이브러리(패키지): - URL를 다루는 모듈을 모아 놓은 패키지 - Http나 Ftp를 사용하여 데이터를 다운로드 할 때 사용하는 라이브러리 [예] request 모듈 : 웹 요청을 보내고 받는 기능을 하는 모듈 - urlretrieve() 함수를 이용하여 이미지를 다운로드 받아 파일로 저장한다. url = 'https://ssl.pstatic.net/tveta/libs/1357/1357075/8661701a6cb991effded_20211109152545732.jpg' imgName = 'data/xxxx.png' #저장할 경로 from urllib..
2021.11.11