본문 바로가기
반응형

전체 글411

김대리, 네이버 뉴스 크롤링 해볼 시간이지 (2/2) "김대리. 그러니까 네이버 뉴스 제목 추출하기 위해서는 라이브러리 Import URL 생성 페이지 수집 파싱 뉴스 제목 추출 의 순서로 진행된다는 거지" "예. 맞아요. 이제 해 볼께요. 따라서 해 주세요." 1. 라이브러리 Import import requests from bs4 import BeautifulSoup 여기서 "requests"는 웹페이지의 코드를 가져오는 라이브러리이고, "BeautifulSoup"은 가져온 웹페이지 코드를 파싱하세 해 주는 라이브러리 입니다. "BeautifulSoup"을 설치하면 bs4 라는 폴더에 생겨요. 그래서 "from bs4"를 붙여서 가지고 와요. 2. URL 생성 url = "https://search.naver.com/search.naver?where=n.. 2022. 2. 25.
김대리, 네이버 뉴스 크롤링 해볼 시간이지 (1/2) 김대리 이제 크롤링이 뭔지 잘 이해했어. 크롤링이란 웹페이지 코드를 가져오는 것이고, 우리는 거기서 필요한 데이터를 뽑아서 쓸수 있다는 것이었지. 웹페이지 구성도 동적페이지와 정적페이지로 구분할 수 있는 거고. 오늘은 그 중에 정적페이지인 네이버 뉴스를 크롤링 할 꺼란 거지" "오!, 잘 정리하셨어요. 어제 말씀 드렸던, 네이버 뉴스에 올라온 기사 제목을 가져와 볼꺼예요. 크롤링은 파이썬으로 할 껀데, 여기에 사용되는 크롤링 라이브러리로 주요한 2개가 있어요. 먼저 웹페이지를 가져오는 request 가 있고, 두번째는 가져온 웹페이지는 파싱에 사용하는 "BeautifulSoup" 이 있어요" 크롤링은 쥬피터노트북으로 할께요. 쥬피터노트북을 실행해 주세요. 웹페이지가 하나 열렸죠. 주소창을 보면 "http.. 2022. 2. 25.
김대리, 크롤링이 뭐야 김대리! 이리와봐 예. 팀장님 부르셨어요 팀장은 김대리를 빤히 처다보며 말한다. "너, 불렀으니 왔지. 그냥 니 발로 오는 애는 아니지 않니." "아...예." 김대리는 오늘도 조금 긴장을 한데. 회사생활 4년. 대리가 되었지만 언제나 막내 취급이다. 밑에 아무도 안들어오기 때문이니...내가 모든것을 해야 한다. 이해 해야지.... 내가 들어온 여기 마케팅3팀도 신입이 들어온게 5년 만이라고 하니, 말을 다 했지. 요즘 신입은 5년 마다 뽑나. 음~~ 나도 내년이면 후임을 받을 수 있겠지...ㅋㅋ 팀장님의 얼굴이 내 앞으로 점점 다가온다. "이봐, 김대리. 무슨 생각해..." "아,.. 아닙니다. 생각은요 무슨. 저 생각없는 거 아시잖아요." 휴~! 또 트집잡으려나. "오늘 부른 건 크롤링이 뭔가해서 물.. 2022. 2. 20.
파이썬 seaborn 그래프에서 한글이 안나옴 seaborn을 활용해서 그래프를 그렸다. 아래 그림처럼 그래프는 나왔지만 중간에 빨간 박스로 경고메세지를 보내주고 있고 그래프 x축에는 한글이 깨져 나왔다. 경고메세지는 아래와 같다. C:\ProgramData\Anaconda3\lib\site-packages\matplotlib\backends\backend_agg.py:240: RuntimeWarning: Glyph 45224 missing from current font. font.set_text(s, 0.0, flags=flags) 구글링을 해서 관련 블로그를 찾았다. 이것이다. --> https://mindscale.kr/course/python-visualization-basic/font/ 글꼴 설정 mindscale.kr 방법은 단순했다. .. 2022. 2. 17.
판다스(Pandas) cheeting sheet 판다스(Pandas) cheeting sheet 입니다. 첨부된 pdf 파일을 다운로드 합니다. 섹션별로 하나씩 수행을 하면서 익힙니다. 파란색 밑줄은 관련 사이트로 이동하는 링크가 있습니다. https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf 2022. 2. 9.
마크다운(MarkDown) 사용법 마크다운은 쥬피터노트북이나 깃허브 등에서 사용하는 문서 작성 문법이다. 웹페이지에서 사용하는 HTML 문법은 쉽게 문서에 적용할 수 있도록 만들었다. 글자의 크기, 인용문처리, 문장목록, 링크 등 현대 문서 작성에 필요한 규칙을 정해두고 있다. MS의 워드와 비슷하지만 파워포인트 처럼 글자를 겹치거나 도형을 그려 붙이는 등의 작업은 안된다. 대신 이런 내용을 원할 경우 파워포인트에 작성 후 이미지를 붙여 넣으면 된다. 다른 도구의 힘을 빌리면 되겠다. 하나씩 살펴 보겠다. 제목 크기 처리하기 ( "#" 활용) "#" 갯수에 따라 크기가 달라짐# 샵 1개 ## 샵2개 ### 샵 3개 #### 샵 4개 ##### 샵 5개 샵 1개 샵2개 샵 3개 샵 4개 샵 5개 인용문 적용하기 ( ">" 활용) > 인용문.. 2022. 2. 8.
R, R Studion 설치 중 R Studio 설치하기 R 설치가 끝나면 R Studion 설치를 진행합니다. R Studion 홈페이지(https://www.rstudio.com/)로 이동합니다. "Download"항목을 클릭합니다. (화면 상단 우측에 있어요) "Download the RStudio IDE" 화면으로 이동합니다. "RStudio Desktop/Open Source License/Free" 하단의 "DOWNLOAD" 버튼 클릭합니다. "RStudio Desktop 2021.09.1+372" 화면으로 이동합니다. "Download RStudio Desktop" 하단 버튼을 클릭 합니다. 파일을 다운로드 합니다. 다운로드 된 파일 "RStudio-2021.09.1-372.exe"을 더블클릭하여 설치 합니다. 설치위치: C:\Program Fil.. 2021. 11. 29.
R , R Studio 중 R 설치하기 R은 데이터 분석 및 통계 등에 활용하는 프로그램밍 언어입니다. 자바나 파이썬 처럼 복잡하지는 않습니다. 처음 배우기는 쉬어요. 몇가지 규칙을 알면 나머지는 찾아서 사용하면 됩니다. R을 사용하는 방법은 2가지 있습니다. 하나는 R 자체의 터미널에서 코딩하는 방법이고 다른 방법은 R Studio를 사용하는 것입니다. R Stiudio는 R의 설치가 먼저 되어야 합니다. 내부정으로 R엔진을 활용하기 때문이죠. 먼저 R을 설치 하겠습니다. R홈페이지: (https://www.r-project.org) 에 가서 Download 도 이동합니다. CRAN Mirrors (https://cran.r-project.org/mirrors.html) 사이트가 나옵니다. 여기는 R 아카이브가 있는 각 나라의 기관이 죄측에.. 2021. 11. 29.
속성을 의미하는 Attribute 와 Property 데이터베이스 나 프로그램 등에 객체를 구성하는 요소로 속성에 대한 정의가 많다. 그래프DB인 Neo4J를 학습하다 보니, Property를 '속성'으로 번역되어 사용하고 있었다. 궁금해 졌다. 속성은 Attribute를 의미하는 것은 아닌가? 이리 저리 찾아보다가 알게되었다. Attribute는 정적인 의미로 값이 변하지 않는다. Property는 동적인 의미이다. 값이 변할 수 있는 것이다. Attribute는 HTML 문장의 요소(Element)에 속한 부분이다. HTML의 Element에 붙어서 변경되지 않는다. 예) => href, => src 등 Property는 DOM 문장의 객체 속성을 의미한다. "이름 : 값"의 형태이며, DOM에서 필요 시 빼거나 동적으로 변경할 수 있다. 결국 정적이면.. 2021. 11. 7.
엑셀 VBA: 시트보호 해제, 설정, 모래시계 적용 엑셀 매크로를 이용하여 업무용 프로그램을 개발 중이다. 만드는 로직은 쉽다. 어려운 것은 어떤 코드를 써야 하는지 찾는 것이다. 필요로 하는 코드를 말로하면 바로 문장을 만들어 준다면 좋겠다. 로직은 암기이기도 하지만, 창의적인 발생이 바탕이된다. 구구단의 로직은 많이 알려졌다. 그대로 하면 된다. 더 좋은 방법도 있겠지만, 결과를 만드는 입장에서 크게 차이가 없을 것이다. 마찬가지로 두 수의 합과 차 그리고 최소, 최대, 평균 등의 함수도 이미 만들어져 있다. 그냥 가져다 사용하면 된다. 하지만 그 코드와 사용법은 익숙해 지지 않으면 찾아야 한다. 이번 엑셀 기반 시스템개발을 하면서 진작알았으면 좋았을 것을 하는 내용을 기록해 둔다. 잊지 않으려고 하는 것도 있지만, 쉽게 찾기 위해서다. 데이터분석에서.. 2021. 10. 23.
반응형

티스토리툴바