본문 바로가기
반응형

마당417

독전감. 당신의 과거를 지워드립니다.(비프케 로렌츠) 『당신의 과거를 지워드립니다.』 이 책의 제목이 맘에 들었다. 지우고 싶은 기억이 있는데, 그게 지워진다면 인생은 어떻게 될까? 소설 속의 이야기이겠지만 궁금했다. 책을 잡으면 시선이 처음 가는 곳은 제목이다. 그 다음이 표지, 그리고 띠지나 부제목에 눈이 간다. 제목만으로 책 내용을 설명할 수 없다. 그래서 부제목을 넣거나, 띠지를 사용해서 내용을 어필한다. 책 뒷날개에는, 책에서 강조하거나 싶은 어구나 문장 그리고 추천 내용이 적혀있다. 강조하고 싶은 어구나 문장은 출판사 담당자가 몇개 추려서 작가에게 확인을 받는다. 본인이 봤을 때 좋았던 구절이기에 그렇다. 가끔 작가가 넣어달라는 부분도 있다. 추천서는 한개만 읽는다. 다 비슷한 문구이다. 내가 그런 감명을 받을지는 모른다. 영화의 에피소드 같다... 2022. 3. 1.
파이썬 타이타닉 데이터 불러오기 타이타닉 데이터는 데이터 분석 및 연습에 많이 활용된다. 데이터셑은 인터넷에 많이 있기에 찾아서 다운로드 받아서 사용하면 된다. 파이썬 라이브러리 중에 seaborn에는 타이타닉 데이터셑이 들어 있다. 손쉽게 이 데이터를 불러와서 활용하면 좋을 것이다. 1. 라이브러리 Import import seaborn as sns 2. 데이터셑 읽기 titanic = sns.load_dataset('titanic') titanic.head() 3. 타이타닉 데이터 csv로 저장하기 titanic.to_csv('./data/titanic.csv', index=False) data폴더를 만들어 그 곳에 파일을 저장한다. 4. titanic.csv 파일 내용 확인하기 이렇게 타이타닉 데이터를 csv로 만들었다. 이 데이.. 2022. 3. 1.
CSV 파일을 읽어서 key와 value 로 받아오기 CSV 파일을 읽어서 key와 value 로 받아오기 CSV파일은 콤마로 분리된 데이터 파일이다. 사실 콤마대신 다른 문자나 기호를 사용할 수 있다. 단지 csv의 약자가 comma seperate value 이기에 콤마를 많이 쓸 뿐. 데이터에 콤마가 있을 경우가 많기에 '' 표시 또는 탭 기호를 많이 사용하기도 한다. import pandas as pd import csv 타이타닉 데이터 구조 파악 df = pd.read_csv('./data/titanic.csv') df.head() survived pclass sex age sibsp parch fare embarked class who adult_male deck embark_town alive alone 0 0 3 .. 2022. 3. 1.
파이썬 seaborn의 이해 파이썬 그래프는 간단하다. 파이썬은 프로그래밍 언어다. 코딩도 간단하다. 단, 하고 싶은 기능의 모듈 사용법만 알면 된다 seaborn이 그렇다. 파이썬으로 그래프를 그리려면 matplotlib 을 사용하면 되었다. 근데, 조금 사용이 까다롭다. 그래서 나온게 seaborn이다. matplotlib보다 10배는 쉽다. 왜 10배냐! seaborn이 matplotlib 에서 나왔기 때문이다. 이제 seaborn을 활용한 그래프를 그려보자. 그래프에 사용할 데이터는 타이타닉 데이터이다. 1. 모듈 불러들이기¶ In [1]: import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 여기에 seabo.. 2022. 3. 1.
김대리, 네이버금융 크롤링 해 볼까?(2/2) "김대리. 이제 코딩을 할꺼면 그 단계에 따라 진행하는 거 겠네. 라이브러리 Import URL 생성 페이지 수집 파싱 데이터(주요검색종목) 추출 이 순서 말이지" "예. 맞아요. 주요검색종목에서 종목(삼성전자, 카카오,...), 현재가, 변동금액 이렇게 추출 할께요." "그래, O~~K." 1. 라이브러리 Import import requests from bs4 import BeautifulSoup "requests"는 웹페이지 코드를 가져오는 라이브러리이고, "BeautifulSoup"는 웹페이지 파싱하는 라이브러리 입니다. "BeautifulSoup"을 설치하면 bs4 라는 폴더에 생겨요. 그래서 "from bs4"를 붙여서 가지고 와요. 2. URL 생성 url = 'https://finance... 2022. 2. 28.
김대리, 네이버금융 크롤링 해 볼까?(1/2) "김대리. 오늘은 네이버 금융을 크롤링 하는 거지?" "예. 맞습니다. 오늘은 네이버금융 페이지(https://finance.naver.com/)에 보시면, 오른쪽 하단에 보면 '인기 검색 종목' 보이시죠. 이게 증권 종목 중에 검색량이 많은 TOP 5를 보여주고 있어요." "오~~. 여기 보니, 내가 가지고 있는 삼성전자도 나오고 있네. 음~! 여기에 나타나는 종목은 사람들에게 관심이 많다고 봐도 되겠네." "예. 맞습니다. 여기에 나타나는 종목은 관심 TOP 이죠. 이거 크롤링 해 보죠. 재밌겠죠." "맞아. 이거 재밌겠어. 만약 이 데이터를 매일 또는 매시간 수집해 두면 사람들이 관심가지는 종목을 모니터링 해 볼 수 있겠네." "윽, 그거 좋은 방향입니다. 데이터를 매일 수입하고 분석한다면, 여론의.. 2022. 2. 27.
김대리, 네이버 뉴스 크롤링 해볼 시간이지 (2/2) "김대리. 그러니까 네이버 뉴스 제목 추출하기 위해서는 라이브러리 Import URL 생성 페이지 수집 파싱 뉴스 제목 추출 의 순서로 진행된다는 거지" "예. 맞아요. 이제 해 볼께요. 따라서 해 주세요." 1. 라이브러리 Import import requests from bs4 import BeautifulSoup 여기서 "requests"는 웹페이지의 코드를 가져오는 라이브러리이고, "BeautifulSoup"은 가져온 웹페이지 코드를 파싱하세 해 주는 라이브러리 입니다. "BeautifulSoup"을 설치하면 bs4 라는 폴더에 생겨요. 그래서 "from bs4"를 붙여서 가지고 와요. 2. URL 생성 url = "https://search.naver.com/search.naver?where=n.. 2022. 2. 25.
김대리, 네이버 뉴스 크롤링 해볼 시간이지 (1/2) 김대리 이제 크롤링이 뭔지 잘 이해했어. 크롤링이란 웹페이지 코드를 가져오는 것이고, 우리는 거기서 필요한 데이터를 뽑아서 쓸수 있다는 것이었지. 웹페이지 구성도 동적페이지와 정적페이지로 구분할 수 있는 거고. 오늘은 그 중에 정적페이지인 네이버 뉴스를 크롤링 할 꺼란 거지" "오!, 잘 정리하셨어요. 어제 말씀 드렸던, 네이버 뉴스에 올라온 기사 제목을 가져와 볼꺼예요. 크롤링은 파이썬으로 할 껀데, 여기에 사용되는 크롤링 라이브러리로 주요한 2개가 있어요. 먼저 웹페이지를 가져오는 request 가 있고, 두번째는 가져온 웹페이지는 파싱에 사용하는 "BeautifulSoup" 이 있어요" 크롤링은 쥬피터노트북으로 할께요. 쥬피터노트북을 실행해 주세요. 웹페이지가 하나 열렸죠. 주소창을 보면 "http.. 2022. 2. 25.
김대리, 크롤링이 뭐야 김대리! 이리와봐 예. 팀장님 부르셨어요 팀장은 김대리를 빤히 처다보며 말한다. "너, 불렀으니 왔지. 그냥 니 발로 오는 애는 아니지 않니." "아...예." 김대리는 오늘도 조금 긴장을 한데. 회사생활 4년. 대리가 되었지만 언제나 막내 취급이다. 밑에 아무도 안들어오기 때문이니...내가 모든것을 해야 한다. 이해 해야지.... 내가 들어온 여기 마케팅3팀도 신입이 들어온게 5년 만이라고 하니, 말을 다 했지. 요즘 신입은 5년 마다 뽑나. 음~~ 나도 내년이면 후임을 받을 수 있겠지...ㅋㅋ 팀장님의 얼굴이 내 앞으로 점점 다가온다. "이봐, 김대리. 무슨 생각해..." "아,.. 아닙니다. 생각은요 무슨. 저 생각없는 거 아시잖아요." 휴~! 또 트집잡으려나. "오늘 부른 건 크롤링이 뭔가해서 물.. 2022. 2. 20.
파이썬 seaborn 그래프에서 한글이 안나옴 seaborn을 활용해서 그래프를 그렸다. 아래 그림처럼 그래프는 나왔지만 중간에 빨간 박스로 경고메세지를 보내주고 있고 그래프 x축에는 한글이 깨져 나왔다. 경고메세지는 아래와 같다. C:\ProgramData\Anaconda3\lib\site-packages\matplotlib\backends\backend_agg.py:240: RuntimeWarning: Glyph 45224 missing from current font. font.set_text(s, 0.0, flags=flags) 구글링을 해서 관련 블로그를 찾았다. 이것이다. --> https://mindscale.kr/course/python-visualization-basic/font/ 글꼴 설정 mindscale.kr 방법은 단순했다. .. 2022. 2. 17.
반응형

티스토리툴바