[python]BeautifulSoup을 이용한 xml 파싱 및 txt 파일 중복 확인 후 리스트 저장

티스토리 rss를 살펴보면 rss/channel 안에 title(블로그명), link(블로그링크)가 있고 각각의 블로그 제목과 링크들이 들어있는 item이 반복됨을 알 수 있다. blist =['https://letsplaycoding.tistory.com/rss'] asyncio.run(telegram_send([텔레그램봇아이디],"[xml 수집 시작 by 인포 메이크]")) while True: for blog in blist : time.sleep(0.1) crawl_blog(blog) time.sleep(300) 여러 개의 xml 주소를 담을 수 있도록 배열을 선언하고 한 개의 블로그 주소를 넣어주었다. 반복문을 만들고 블로그 주소를 매개변수로 전달받는 crawl_blog라는 메소드를 만들었다. ..

• format_list_bulleted developer life/python
• · 2023. 10. 18.
• textsms

[python] 파이썬 BeautifulSoup을 이용한 뉴스 웹사이트 크롤링(제목, 이미지명, 내용) 방법

웹사이트를 크롤링하는 방법에는 여러 가지가 있다. 오늘은 그중에서 BeautifulSoup을 이용해 원하는 웹사이트 정보를 크롤링하는 방법에 대해 알아보자. BeautifulSoup 라이브러리 뷰티풀 스프는 HTML과 XML 문서들의 구문을 분석할 수 있는 파이썬의 패키지이다. 뷰티풀 수프는 2004년 레너드 리처드슨에 의해 개발되었으며 html로부터 데이터를 추출하기 위해 사용할 수 있는 파스 트리를 만드는데 매우 유용한 오픈소스다. HTML 구성요소 확인 웹사이트를 크롤링 하기위해 네이버 뉴스페이지 중 생활/문화 기사페이지에 접속했다. 소스보기를 통해 해당문서의 구문을 파악하고 원하는 데이터를 추출해 보았다. 먼저 f12를 누르고 inspector를 통해 원하는 html 요소를 눌러준다.(단축키는 C..

• format_list_bulleted developer life/python
• · 2023. 5. 25.
• textsms

[python]파이썬 업비트 API로 비트코인 시세 조회 후 텔레그램 알람 받기

오늘은 파이썬을 이용해 프로그램을 한번 짜보았다. 어떤 것을 해볼까 하다가 업비트에서 제공하는 코인의 시세를 조회에서 텔레그램으로 알람을 받아보기로 했다. 비주얼 스튜디오 코드 설치 일단 간단하게 파이썬을 해볼 수 있는 비주얼 스튜디오 코드를 설치했다. 비주얼 스튜디오 코드는 pc에서 간단히 실행할 수 있는 가볍지만 강력한 소스 코드 편집기이다. 왼쪽 메뉴중 사각도형 모양의 extensions을 클릭하고 python을 검색해 설치했다. 그리고 파일-[New File]을 눌러 원하는 이름의 py파일을 하나 만들어줬다. 업비트 시세 정보로 비트 코인 상승량 구하기 url = "https://api.upbit.com/v1/market/all?isDetails=true" resp = requests.get(ur..

• format_list_bulleted developer life/python
• · 2023. 2. 6.
• textsms