본문 바로가기
반응형

데이터인문학66

데이터 분석 중심 피처 엔지니어링(Feature engineering) - 반복적인 데이터 분석의 중심 탐색적 데이터분석 작업의 한 단계로 피처 엔지니어링이 있다. 피처 엔지니어링이 데이터 분석 과정에서 어떤 역할을 하고 왜 중요한지를 살펴 보고자 한다. 1. 피처 엔지니어링(Feature engineering) 이란 피처 엔지니어링은 머신러닝 모델의 성능을 향상시키기 위해 데이터를 변환하고 개선하는 과정을 말한다. 피처 엔지니어링에서 피처 Feature 는 머신러닝 모델이 학습하는 데이터의 속성 또는 특성을 말한다. 피처에는 수치형, 범주형, 순서형 등으로 구분할 수 있다. ● 수치형 피처 - 숫자로 표현 - 예를 들어, 점수, 혈압, 몸무게, 매출액, 수량 등이 았음 ● 범주형 피처 - 문자열이나 기호로 표현 - 예를 들어, 상품군, 나이대, 성별, 직업, 지역 등이 있음 ● 순서형 피처 - 정렬 가능.. 2024. 2. 1.
구글 트렌드 전세계 올해의 인기 검색어 - 요리법 편, 비빔밥이 1위 구글 트랜드에서 제공하는 인기 검색어 순위이다. 이 순위는 섹션별로 있다. 섹션은 뉴스, 인물, 유행, 배우, 운동선수 등 다양한 분야로 나누어져 있다. 그 중에서 요리법 섹션에서 1위에서 5윌까지 알아보겠습니다. 여기서 놀랍게도 1위는 비빔밥이었습니다. 놀랍죠. 이제 비빔밥이 세계적인 음식이 되었네요. 조리법 - 1. Bibumbap 비빔밥 요리법 섹션의 1위는 비빔밥입니다. 전세계 사람들이 많이 검색한 단어입니다. 아마 한류와 K푸드 때문에 많은 이슈가 되어 찾아 본 것이란 생각이 듭니다. 시간 트랜드를 살펴보겠습니다. 2023년 상반기에는 4월 하순 부터 5월초순까지 검색이 많았습니다. 그 때 뭔가 있었나 봐요. 그리고 검색어가 줄었습니다. 그러다가 8월 하순에 급격한 상승을 그리다가 9월 3일 부.. 2023. 12. 27.
고속도로 졸음 쉼터 개수 및 평균 거리 알아보기 우리나라 고속도로에는 졸리면 쉬어가라는 졸음쉼터가 있습니다. 경부고속도록, 중부고속도로, 영도선에 과연 몇개의 졸음쉼터가 있을까요? 알아보겠습니다. 고속도로 졸음쉼터 란 한국도로공사의 졸음쉼터 안내문에 나와 있는 내용입니다. 졸음쉼터는 졸음사고 예방을 위해 잠시 쉴 수 있도록 조성된 비상주차 공간입니다. 졸음으로 인해 긴급하게 이용하는 차량을 위해 오랜 시간 휴식은 식당 등 편의시설이 잘 갖추어진 정규 휴게소를 이용해 주시기 바랍니다. 즉, 졸음쉼터는 간단하게 쉴 수 있는 공간으로 화장실과 자판기가 설치되어 있는 주차 공간입니다. 편히 길세 쉬려면 휴게소를 이용해야 합니다. 졸음쉼터 아이디어는 한국도로공사 직원에게서 나왔서 2011년 부터 설치 되었습니다. 휴게소간 거리가 먼 노선에 있는 미사용 버스정류.. 2023. 12. 26.
Small data로 만드는 경량 머신러닝 TinyML small Data로 머신러닝을 구동하는 방식인 TinyML(Machine Leaning)에 대해서 알아보려 한다. 빅데이터 시대의 큰 데이터는 표본 데이터 만으로 확률과 가설을 검증하는 통계 방식에 새로운 가치를 부여한 지 오래되었다. 빅데이터 시대에는 그에 맞는 통계 기법이 나와서 세상을 조금씩 바꾸어 나가고 있다. 빅데이터 시대는 인공지능 기술의 발전을 가져왔다. 신경망네트워크는 역전파기술 도입으로 더 진보되었고, 프로그래밍 기법으로 머신러닝이 가능해졌다. 빅데이터의 시대 머신러닝의 시대 여기서의 전제는 빅데이터이다. 이런 빅데이터를 돌리기 위해서는 컴퓨팅 파워가 좋아야 한다. 그것도 아주 좋아야 한다. 머신러닝의 기본은 데이터를 기반한 학습이다. 학습에는 시간이 필요하다. 여기서 시대적으로 즉각적.. 2023. 12. 21.
OpenAI CEO 샘 올트먼 Sam Altman AI증가 대비 인간 증명을 위한 월드코인 작업 OpenAI의 CEO 샘 울트먼(Sam Altman)은 인공지능 기술의 발전에 인간임을 증명하기 위한 월드코인(Word Coin) 작업을 진행하고 있다. 언론에서의 월드코인 언급 샘 울트먼(Sam Altman)은 월드코인 공동창업자이다. 인공지능인 AI 세계에서 월드코인이 왜 중요한가를 언급했다. "인공지능이 증가하는 상황에서 인간 자체 (정체성)에 대한 데이터가 점점 더 필요하다"고 지난 16일에 강조했다. 이는 AI의 기술 발전이 점점 인간을 대체하고 있기에 이에 대한 방어책의 준비를 강조하고 있다고 보인다. 월드코인은 홍채인식 기술을 기반으로 한다. '오브' 라는 기기를 통해 홍채를 인식시키면 암호화된 블록체인이 만들어진다. 국내에서는 모집인 역할을 하는 ‘비더시드(BE THE SEED)’에 가면 .. 2023. 12. 19.
컴퓨터 관련 학과 서울 지역 2023년도 정시 경쟁률 컴퓨터 관련 학과 서울지역 2023년도 정시 경쟁률입니다. 홍익대학교 컴퓨터공학과의 농어촌학생전형이 11:1로 가장 높은 경쟁률을 보였습니다. 5명 모집에 60명이 지원했네요. 헌데, 수능우수자 전형은 75명 모집에 630명이 지원하였네요. 가장 많은 지원자였습니다. 경쟁률은 8.4:1이었습니다. 가장 많은 모집인원은 서울시립대학교 전자전기컴퓨터공학부의 일반전형으로 77명이었습니다. 지원인력은 287명으로 3.73:1의 경쟁률을 보여 주었습니다. 컴퓨터 관련 정시 지원할 때 참조 하시기 바랍니다. 진학사 "원서접수 사이트" --> 바로가기 유웨이 "원서접수 사이트" --> 바로가기 2023년도 컴퓨터 관련 학과 전형별 경쟁률 - 경쟁률 기준 정렬 2023년도 컴퓨터 관련 학과 전형별 경쟁률 표입니다. 원.. 2023. 12. 17.
731부대, 마루타, 생체실험 데이터는 왜 만들었나 전쟁이 우리를 위험에 빠뜨린다. 오늘 옆에 있던 사람이 내일 병원에서 치료를 받거나 사망했을 수 있다. 여기에 전쟁의 와중에 하지 않아야 할 일을 한 역사적 사실이 있다. 731부대의 마루타 실험. 그들이 얻고자 한 것은 무엇일까? 아래 내용은 "데이터인문학"에 나온 내용이다. 스토리는 사실적 내용을 재구성한 허구이다. 이야기는 우리에게 이런 역사적 사실을 조심스럽게 알려준다,    #11. 731부대, 마루타도 사람이다. 생체실험 데이터는 왜 만들었나. 731부대 - 실험의 시작  “으….아… 아~ 아악 ” 요시무라 히사토는 악몽에 잠을 깼다. 식은 땀이 잠 옷을 적셨다.춥다. 무섭다.오늘도 사람이, 아니 마루타 4명이 죽었다. 동상실험이 있었다. 영하 40도의 혹한의 날씨에 여자 2명과 남자 2명의 .. 2023. 11. 21.
데이터인문학, 에피소드 1, "교도소 폭동 예측을 위한 데이터 분석" 배경 이야기,데이터 연결하기 데이터인문학, 에피소드 1, "교도소 폭동 예측을 위한 데이터 분석" 배경 이야기,데이터 연결하기 #데이터인문학 에피소드를 만든 배경과 집필 뒷이야기 입니다. ​ 첫번째 에피소드는 "교도소 폭동 예측을 위한 데이터 분석" 입니다. 쥴리아니 시장도 나오고, 경찰청, 교도소도 나오는 내용입니다. TV 드라마나 영화에 경찰이 범죄현장이나, 폭동을 예측하는 장면이 나오는 데 그런 체포과정의 배경이 이 내용일 것입니다. ​ 쥴리아니가 뉴욕의 107대 시장으로 당선되었죠. 그는 범죄없는 도시를 만들고자 했습니다. 생각은 힘이 없죠. 그는 행동을 했습니다. 과격한 행동은 아니고요. 경찰의 실적을 기록할 수 있는 시스템을 만들었죠. Compstat 라고 하는 시스템이죠. 아래 사진은 뉴욕경찰국의 CompStat 조회 .. 2023. 11. 13.
엘론머스크가 면접 때 꼭 물어보는 것 - 직접 겪은 문제와 해결한 방법 유브 숏에서 본 영상 내용이다. 질문자는 "팀원을 뽑을 때 무엇을 중요시 하나요?" 라고 질문했다. 엘론머스크의 대답이다. 솔직히 말해서 느낌이 좋은 사람을 채용하는 편입니다. 그래서 면졉때마다 제 질문은 같아요 살아온 과정을 얘기해 달라고 하고 그 과정에서 내렸던 결정들과 그 이유를 물어봐요. 직접 겪었던 문제가 무엇이었고 어떻게 해결했는지를 묻습니다. 이 질문이 아주 중요해요 문제를 진정으로 해결해 본 사람들은 세부사항까지 다 알고있죠. 그리고 문제를 해결한 척 하는 사람은 조금 설명하다가 어느 순간 막힙니다. 이 영상을 보고 떠오르는 책이 있었다. 그것은 "디테일의 힘" 이다. 이책은 중국에서 디테일의 전도사로 불리는 왕중추가 적었다. 그는 현재 왕중추디테일경영컨설팅 대표, 칭화대학 초빙교수로 있다.. 2023. 11. 10.
경쟁을 부추기는 숫자들. 주가, 환율, Yes24 인터넷서점 판매지수, 보험판매건수 경쟁은 좋은 의미도 있지만 안 좋은 의미도 같이 가지고 있다. 경쟁을 부추기는 숫자가 있다. 그 숫자의 당사자가 되어 본다면 그 숫자가 자신의 일상을 어떻게 파고 드는 지 알 수 있다. 그 숫자는 아침에 일어나서, 저녁 잠들기 전 항상 컴퓨터를 통해 수치를 확인하게 한다. 많은 오프라인 산업은 어느세 온라인으로의 전환이 자연스럽게 이루어 졌다. 하지만 일부는 강제적인 전환이 있었다. 그래도 괜찮았다. 우리는 쉽게 적응했다. 이미 핸드폰을 통한 학습이 있었기 때문이다. 매순간 "주가" 확인 아침 9시 전, 9시 후, 점심시간, 오후 3시 경. 주가가는 하루종일 요동친다. 가지고 있는 주식의 가치에 따라 그날의 표정이 달라진다. 주가는 그 회사의 실적에 따라 좌우 한다. 우리는 이렇게 알고 있다. 하지만 그.. 2023. 11. 9.
반응형

티스토리툴바