ColdPumpkinn

Claude Code와 앱 개발해보기 #1 클로드코드 세팅과 로컬LLM

오버워치2 게임 데이터 분석 미니 프로젝트(2)

solvesql - 지역별 주문의 특징

오버워치2 게임 데이터 분석 미니 프로젝트(1)

[공모전] Dacon 대구 빅데이터 분석 공모전 리뷰

[공모전] 관광데이터분석공모전 기획서 준비과정 정리

[데이터분석] 파이썬을 활용한 빅분기 통계 정리

[데이터분석] 빅분기 실기 및 코딩테스트 대비

[공모전] 식약처 가공식품 데이터분석 개인 공부

[출처]

[통계] 데이터 분석가의 숫자유감 독후감

1. Claude Code란?

3. 앱 구상

제 6회 대구 빅데이터 분석 경진대회에 대해 리뷰를 하려한다.

6/21

6/29

T-test검정

정규성 검정

비모수 검정

등분산검정

카이제곱 검정

분산분석

내용

당뇨병과 영양성분의 관계

고혈압과 영양성분의 관계

상관관계와 인과관계

모수와 표본

숫자의 불확실성

가설

문제점

데이터

주제 1 (지방도시만의 특색과 특성을 살리는 관광상품 및 서비스 개발)

주제 2 (개인의 취향과 관심사에 맞춘 관광상품 및 서비스 개발)

주제 3 (관광거점도시 사업의 분석을 통한 문제점 파악 및 해결 방안 제시)

콜드펌킨 — Wed, 1 Apr 2026 18:15:43 +0900

Claude는 알았지만 Claude Code는 처음이라 환경세팅이나 이해한것들을 기록해두고 앱 세팅을 위한 환경들을 기록한다.

내가 해보고싶었던것들,,

엔트로픽(Anthropic)이 개발한 터미널 기반의 자율형 AI 코딩 에이전트. 자연어로 명령하여 프로젝트 구조 파악, 코드 생성, 다중 파일 수

정, 버그 수정, 테스트 및 배포까지 전 과정을 자동화하는 도구로, 단순한 챗봇이 아닌 능동적인 개발 조력자 역할을 합니다.

1. 터미널을 키고 이 코드부터 복붙하면 claude code 설치가 가능하다.

2. 다음은 로컬 LLM을 설치할건데 ollama를 활용해보기로 해서 저걸 복붙하면 된다.
(왜냐하면 밖에 나와서 다운로드했는데 claude code를 쓰려면 결제가 필요했다. 카드를 집에 두고왔었다.)

저건 말인가?

3. 그다음 ollama Models에 들어가 내 환경에 맞는 Model을 다운받으면 된다(나는 qwen3.5:9b 중국 모델을 다운로드했다.)

4. 터미널에서 ollama launch claude 를 하고 모델을 뒤에 쓰면(--model ~) claude code를 인터페이스로한 로컬 llm 사용이 된다.

와 근데 안녕으로만 물어봤는데 4분걸린다. 못쓴다 너무 느리다.

그치만 무료이고 오프라인에서도 되니까 충분히 장점이 있을것이지만 일단 나는 결제를 하기로 했다.

그래서 이제 이거가지고 뭐 만들어볼건데?

콜드펌킨 — Wed, 23 Oct 2024 23:59:13 +0900

세가지 영웅

토르비온과 시메트라, 라이프위버를 살펴보려한다.

첫번째 토르비온.

시즌별 티어별로 승률과 픽률, 데미지 비중 그래프

여기서 우리는

1. 토르비온이 시즌1, 2 픽률은 3,4 시즌 대비 낮았지만 승률과 데미지 면에서는 높은 수치를 나타냈다.

-> 이는 메타챔이였다는 반증과 패치 후 밸런스가 잡힌 것으로 파악됨.

-> 현재에는 써봐야 사기챔이 아니다.

2. 유난히 실버구간에서는 데미지의 비율과 승률이 낮다.

-> 왜?

3. 토르비온은 전시즌에 걸쳐 고티어로 갈수록 픽률이 높아졌다.

-> 하지만 시즌이 거듭될수록 데미지 비중은 낮아지고 있고 승률도 고티어에서 뚜렷하게 높지않다.

시즌이 거듭되면서 숙련도 향상과 영웅의 성능을 확인할 필요성을 느꼈고 패치노트를 통해 확인 할 예정이다.

예를들어 다른 픽률이 높은 영웅을 찾았을때 그 영웅의 성능이 낮으면

그걸 보완하기 위한 토르비온이 팀적으로 필요한 영웅이었을지도 모른다는 생각

여기서 우리가 세운 목표인 "그랜드마스터를 왜 가지 못할까?"

여기의 답은 못하는 사람도 티어를 올리려면 숙련도보단 캐릭터가 가진 사기성을 찾아서 티어를 올려야 한다로 귀결될 수 있을거같다.

콜드펌킨 — Wed, 23 Oct 2024 17:34:30 +0900

중복을 생각못했다.

(근데 지역별 가구 주문 수를 세는건데 하나의 주문오더에 2개의 가구가 주문되어있으면 2개로 세어야하는거아님?)

Category에 Furniture, Office, Tec 가 한개의 컬럼인데

피봇화 해야한다.

case when 구문을 사용해야했다.
Case when의 기본 구조

CASE
    WHEN 조건식1 THEN 반환값1
    WHEN 조건식2 THEN 반환값2
    ELSE 기본반환값
END

여기서 ELSE는 생략가능하고 생략할 경우에 NULL이 된다.

select region as Region,
count(distinct case when category='Furniture' then order_id else null end) as Furniture,
count(distinct case when category='Office Supplies' then order_id else null end) as 'Office Supplies',
count(distinct case when category='Technology' then order_id else null end) as Technology
from records
group by region
order by region

order by 의 기본값이 오름차순이라 ASC는 안썼다.

콜드펌킨 — Tue, 22 Oct 2024 12:05:36 +0900

게임 도메인을 선호하는 나로서는 게임업계에 지원하기 위해

미니 프로젝트라도 진행하면서 직무연관성..

데이터분석을 하는 이유는 올바른 의사결정을 내리기 위함이다.

본 프로젝트에서는

" 왜 우리는 그랜드마스터가 되지 못할까? "
라는 지극히 개인적인 전적으로 나의 이야기이다.

데이터는 Kaggle의 overwatch2 데이터를 사용하였으며

간단하게 소개하자면 티어별로 승률, 픽률, kda, 10분내힐량 등등 126개의 변수들이 소개되어있다.

https://www.kaggle.com/datasets/mykhailokachan/overwatch-2-statistics

Overwatch 2 statistics

overwatch 2 seasons 1-4 statistics + quick play

www.kaggle.com

우선 그랜드마스터티어보다 승률이 높은 브론즈의 챔피언에 주목해보고자 한다.

-> 특정 영웅들을 골라내기 위함이다.

토르비온과 라이프위버이다.

더불어,

라이프위버는 두 티어 40%도 안되는 승률로 티어가 가장 낮은 쓰면 안되는 영웅이였다.

또한 시메트라는 그랜드마스터와 브론즈에서도 승률1위였다.

우리는

토르비온과 라이프위버, 시메트라
라는 특이한 데이터를 분석하여이 영웅들이 특정 티어에서 더 높은 성과를 나타내는지, 승률이 안좋은 이유를 찾아낼것이다.

이러한 이유를 발견한다면

데이터에 기반한 영웅들을 이해하고 그랜드마스터에 갈 수 있지 않을까?

콜드펌킨 — Wed, 25 Sep 2024 01:26:41 +0900

어떤 생각을 가지고 프로젝트를 시작했고

어떤 방법이 프로젝트 주제에 맞겠다 판단했는지

왜 이렇게 했어?

라는 점을 계속해서 상기시키며 작성해보려 한다.

오늘은 데이콘에서 주최한

대략 7월말부터 2달간 진행했다.

6회에서는 분야별로 산업 에너지 등등 나눠져있었고

우리팀은 맨처음 에너지 부문에 도전했었다.

그러나 산업부문이 생각보다 인원이 미달이였는지 추가모집을 하였고 수상을 위해

산업분야에 추가로 분석계획서를 작성하여 분야를 바꿔 참가했다.

운이 좋게 예선 심사에서 좋은 성적을 받아 1위로 랭크하게 됐다.

데이터를 분석한다는건 수집된 데이터를 가지고 인사이트를 도출하는 것이다.

우리는 대구 내에 이는 국가산업단지를 키워드로 산업단지 내 인프라 활성을 위해서

버스정류장/아파트/편의점의 입지를 최적화하여 인프라를 활성화 시켜보자 라는게 목적이였다.

문제 정의 : 산업단지 내 인프라 활성화는 산업 발전과 지역 경제 성장에 직결되는데 현재 산단 내 미분양 입주율이나 청년 고용률을 해석했을때 부족한 실정이였다. 따라서 우리는 산단 내 인프라 활성화를 통해 취업률 문제를 해소하고 지역 경제 발전을 도모해보자 이것이 프로젝트의 문제 정의였다.

위의 3가지를 선정한 이유는

인프라 활성화라는 명목에서 필요한 요소는 교통환경, 주거생활, 편의시설로 판단했기 때문이다.

교통환경은 인프라를 구축하는데 있어 중요한 문제 중 하나인데

근로자들이 산단으로 출퇴근하는 비율이 외부에서 들어오는 비중이 높았기 떄문에

버스 정류장 위치를 개선하여 노선을 신설하는 정책을 생각했다.

(지금 생각해보니 왜 교통환경 중에서 버스정류장, 자가용, 자전거 등에서 버스정류장을 선택하게 된 이유가 명확하지 않았던거같다.)

주거생활 역시 인프라를 구축하는데 있어서 가장 직결되는 문제 중 하나로 생각할 수 있는데

활성화에 필요하겠다 생각한 계기는 산단 내에 주거시설이 부족하여 청년들이나 근로자들이 외부에서 출퇴근한다는 뉴스 기사를 접했었다.

오피스텔이나 빌라 아파트 중 아파트를 선택한 이유는

데이터 확보를 위해 네이버 지도에서 크롤링을 진행했었는데

빌라의 경우 한정된 지역에 밀집되어있었고

오피스텔은 지도에서 찾을 수 없었다. 그 결과 아파트로 선택하게 되었다.

편의시설은 가장 생각이 많았던 요소이다.

초기의 생각은 상권 최적화였는데 상권이라는 정의부터 필요했고 카페나 음식점, 편의점 등에서 편의점을 선택한 이유는

편의점은 버스정류장이나 주거시설에 영향을 카페나 음식점에 비해 높은 영향을 받는다 생각했고

세가지의 요소가 인프라 활성화에 높은 시너지를 낸다고 판단했다.

분석 방법 : 입지 선정이라는 키워드에서 가장 많이 분석되는 기법은 MCLP 기법이였다.
한국어로는 최대커버링 모델로 제한된 시설물 수로 수요를 최대한 커버할 수 있는 위치를 선정하기 위한 모델링 방법이다.

이 분석방법을 선택하게 된 계기는 공공 자원의 한정된 예산과 효율성을 높이는데 적합하다고 판단했다.

이후 분석에 필요한 수요량을 계산하기 위해 다음과 같이 설정했다.

버스정류장 : 승하차 인원, 인구밀도, 주변 편의시설 데이터를 결합해 수요량(r_score)을 계산하고, 이를 기반으로 버스정류장의 입지 선정에 반영하였음.

아파트: 주변 지역의 주택가격을 분석하여 적정한 가격대의 주거단지를 조성할 수 있는 입지를 선정하고, 주변 공공시설(편의점, 병원 등)과의 접근성도 함께 고려하여 수요량을 반영하였음.

편의점 : 공시지가와 반경 내 버스정류장 개수, 인구밀도, 주거시설 접근성의 입지를 선정하여 수요량을 반영하였다.

가중치는 상관관계를 통해 설정하였고

버스정류장

아파트

편의점

다음과 같은 입지를 선정할 수 있었다.

아직 최종 결과는 나오지않은 상태라 올려도 괜찮을지 모르겠지만

어차피 아무도 안보니까 상관없다

콜드펌킨 — Wed, 10 Jul 2024 21:25:51 +0900

관광 데이터 공모전에 도전하기 위해 2주간 진행했던 내용들 정리함

현재는 취준에 집중하기 위해 중도하차함

방한하는 외국인들이 지방으로의 접근에 이동수단에서 어려움을 겪는다.
교통정보에 대한 정보가 부족하다.

문화체육관광부와 한국관광공사가 지난해 10월 31일부터 12월 6일까지 국내외 주요 여행앱을 분석한 결과, 한국을 방문한 외래 방문객이 한국 앱 사용을 시도했다가 이탈하는 비율이 글로벌 앱 대비 높다는 결과가 나옴

서울 중심의 방한관광으로는 2000만명을 목표를 달성할 수 없어서 각 지역으로 관광객을 분산시킬 수 있는 정책이 필요하다.

클룩에서 실싯간 고속버스 예매 서비스를 도입함

클록에서 렌터카 예약수가 2022년 대비 3배 증가

공항별 월 운항 및 여객 통계(3년간)
항공사별 운항 여객 통계(3년간)
국제선 지역별 통계(3년간)
교통 및 유동인구량 ‣
외부 유입객 지역 이동 패턴 인천한정 https://www.bigdata-telecom.kr/invoke/SOKBP2603/?goodsCode=ICTTOUR000001

공모전킥오프

주제 1 : 지방도시만의 특색과 특성을 살리는 관광상품 및 서비스 개발

주제 2 : 개인의 취향과 관심사에 맞춰 지방도시만의 특색과 특성을 살리는 관광상품 및 서비스 개발

주제 3 : 관광거점도시 사업의 분석을 통한 문제점 파악 및 해결 방안 제시

새해 일몰을 보기 위해 정동진에 많이 가는것처럼

헌팅을 위해 양양에 1630만명이 가는것처럼

그 지역만의 특색, 특성을 살려야 한다고 생각함.

어떤 곳을 많이 가고, 방문 이유가 무엇인지 등 분석을 통해 지역의 특색과 결합한 관광상품과 서비스를 만들어보자

ex)

분석을 통해서 여행 목적이 “자연경관 감상인데 강원도로 많이 가더라” 라고 한다면 , 강원도는 이제 자연거점도시

“맛있는거 먹으러가는게 목적인데 전주에 많이 가더라” 라고 한다면, 전주를 먹거리거점도시

옛날에는 패키지 형식의 관광 문화재들을 방문하거나 큰 틀에서의 도시를 여행하는 방향에서

지금은 개인의 관심사, 취향을 기반으로 여행을 다니는 방향으로 옮겨가고 있음

개인의 세분화된 관심사나 취향을 분석한 여행을 분석해서 지역에 맞는 관광상품과 코스를 개발해보자

ex)

축구좋아해서 축구보러 가는 여행을 가거나 스킨스쿠버를 위해 베트남으로 여행을 가는 액티비티 여행

주제1과 주제2의 차이는

서울,부산,강원 등 다른 지역의 방문 이유를 기준으로 둘것인지

개인의 세분화된 관심사나 취향을 기준으로 볼것인지

2020년 기준 지역 관광 거점을 육성하기 위해서 관광거점도시를 선정해 사업을 시작하겠다는 정책을 발표

4년간동안 어떤 변화가 있었는지를 분석하는것도 괜찮다 싶음

우리가 교통이나 공통된 관광상품, 문화재, 서비스, 브랜드를 기준으로 분석한 후에 클러스터링을 다시 해서 그룹별로 관광서비스를 개발하자

클록에서 판매하는 교통수단 판매 상품을 정리

주제 : "국내 국제공항에서 지역별 외국인 관광객의 이동 경로 분석 및 접근성 개선 방안"

분석내용

대구 기준 대부분 인기관광지와 중심관광지가 일치함.

(https://datalab.visitkorea.or.kr/datalab/portal/loc/getTourLocalDataForm.do)

중심관광지 기준으로 연관 관광지가 다르게 나옴

중심관광지에서 연관관광지까지의 교통경로를 가지고 분석하는건 어떤지

중심관광지과 연관된관광지 순위 10개를 필터링해서 10곳의 이동경로를 분석

중심지를 기준으로 가까운 거리에서 부터 10곳의 경로를 최적화시켜서 추천

공항별로 입국하는 인구수에 대한 내용 시각화 (ex. 데이터 예시)
국제공항에서 중심관광지 5곳까지의 이동경로를 분석 (소요시간, 이동금액, 환승횟수, 교통수단) (ex. 택시를 타면 20분이면 도착하는데 대중교통이 중심관광지까지의 경로가 부족하다라는 것을 분석을 통해서 인사이트로 파악할 수 있을 것)
관광지 경로 추천 중심관광지와 인기관광지는 거의 대부분 일치함 우리는 이를 기반으로 중심관광지에서 연관관광지까지의 이동경로를 파악하고 연관관광지의 이동경로를 거리기반으로 추천

제안할수 있는 부분 :

김포국제공항 픽업/샌딩과 같은 상품 개발

주요 관광지 이동할 수 있는 투어택시 상품 개발
이와 같은 방식을 통해 다른 국제공항과 다른 지역의 관광 활성화를 동일하게 진행할 수 있을것이라는 향후 연구를 제시

As is :

현재 인천과 김포 공항을 제외환 국제 공항은 유명 관광지로의 접근성이 제한된다고 생각함

To be :

외국인들이 주요 공항에 도착해 관광지로 이동하는 경로, 교통량, 이동수단, 가격 변화를 분석하여 지역 관광지로의 접근성을 개선하고 관광 활성화 방안을 마련

콜드펌킨 — Tue, 9 Jul 2024 17:45:55 +0900

통계학은 데이터를 잘 사용하는 방법을 알아내는 학문이다.

출처: 데이터마님

두 집단의 평균에 차이가 있는지 분석

독립표본 t검정은 서로 다른 두 집단의 차이를 분석하는 것이고 대응표본 t검정은 서로 대응되는 두 집단의 차이를 분석하는 것

예를들어 독립표본은 광고를 본 그룹과 보지않은 그룹의 차이를 본다면 대응표본은 광고를 보기전과 보고난 후 의 차이가 있는지

정규성을 위배하면 t검정을 할 수 없다.

단일표본 t검정 ttest_1samp(df[’열’], 값?)

대응표본 t검정 ttest_rel(before, after)

독립표본 t검정 ttest_ind(df1, df2)

데이터셋의 분포가 정규분포를 따르는지 검정

여러 검정법들이 정규분포를 가정하기 때문에 정규성을 확인하는 과정이 필수

shapiro(df)

anderson(df[’열’].values)

맨휘트니
윌콕슨 순위합-중위수(독립된)
윌콕슨 부호 순위합(관련된)

a = a.score

b = b.score

bartlett(a,b)

fligner(a,b, center=’mean’)

fligner(a,b, center=’median’)

levene(a,b, center=’mean’)

levene(a,b, center=’median’)

두 가지 범주형 또는 명목형 변수가 관련될 가능성 여부를 확인하는데 사용됨

chi2_contingency (독립성 검정)
chisquare (적합도 검정)
fisher_exact ( 빈도수가 5개 이하 셀의 수가 전체 셀의 20%이상일 경우)

분산분석은 두 개 이상 다수의 집단을 비교하고자 할때 집단 내의 분산,평균과 평균 차이에 의해 집단 간 분산 비교를 통해

F분포를 이용해 가설검정 함

일원분산분석 stats.anova, anova_1m
다원분산분석 or 이원분산분석

빅분기 7회 기출

2과목

-회귀(7회 기출)

-분류(6회 기출)

-회귀(5회 기출)

-분류(4회 기출)

3과목

- 다중선형회귀, 로지스틱회귀(7회 기출)

-선형회귀, 카이제곱 독립성(6회 기출)

-t-test, t값, 신뢰구간, 분산분석 (5회 기출)

-카이제곱 독립성, z-test(4회 기출)

-카이제곱검정, 대응표본 t검정(3회 기출)

예상내용

카이제곱 자유도

우도비

fisher

상대위험도

콜드펌킨 — Mon, 8 Jul 2024 14:50:38 +0900

데이터프레임에서 대문자, 소문자 : df['열이름’].str.upper() df[’열이름’].str.lower()

결측치로 만들기 : df[’열이름’].replace(’\\N’, np.nan, inplace=True)

고객 ID의 고유한 개수 카운트 : df.gropuby(’열이름’)[’고객아이디’].nunqiue() df.gropuby(’열이름’)[’고객아이디’].unqiue() unique, nunique의 차이는 unique는 고객 아이디를 나타내고 nunique는 개수를 나타냄

날짜타입(datetime64)으로 변환하기 : df[’열이름’] = pd.to_datetime(df['열이름'])

파생변수 생성하기(날짜, 위치 등) : time_pattern = r’(\d{4}) - (\d{1,2}) - (\d{1,2}) (\d{1,2})’ df[[’연’,’월’,’일’,’시간’]] = df[[’연’,’월’,’일’,’시간’]].str.extract(time_pattern) location_pattern = r’(\S+) (\S+) (\S+)’ df[[’도시’,’구’,’동’]] = df[[’도시’,’구’,’동’]].str.extract(location_pattern)

여러 함수를 동시에 입력하고 출력 : df.groupby(’열이름')['거래날짜'].agg(['min', 'max']).reset_index()

학습을 통해 가중치를 찾아서 고객별로 등급을 메긴다

groupby.(’’)[’’].size .sum .nunique

특정 타입만 추출하여 상관관계 분석 : df.select_dtypes(include=’number’).corr()

특정값을 기준으로 새로운 열을 추가할때 : df.iloc[df[’열이름’] == ‘특정값’, ‘생성할열’] = ‘생성할값’

특정열에서 문자나 숫자를 제외하고 싶을때 : df[’특정열’] = df[’특정열’].replace(r’\D’, ‘’, regex=True)

날짜 데이터 형식 관련 : df.dt.strftime(’%Y-%m’) // df.dt.strptime

콜드펌킨 — Thu, 30 May 2024 23:21:37 +0900

'질환별로 필수 섭취 영양성분이 다르다' 라는 가설을 세우고 질병에 도움이 되는 식품과 도움이
되지않는 식품을 찾아 데이터 분석을 진행해보려 함

불러오기

식품의약품안전처_가공식품 품목별 영양성분 DB 데이터를 사용함.
단위를 모두 g으로 맞춤.

결측치

결측치의 경우 1회 섭취참고량에 결측치가 있었고 불필요한 열로 판단하여 제거함.

이상치

상관관계

상관관계는 인과관계와 같지않다. 따라서 상관계수가 높다고 해도 이것이 원인의 이유가 되지않는다.

군집별 필터링

영양성분과 질병의 관계성(ex. 논문, 기사, 인터뷰)을 찾아 가중치를 부여함.

긍정적이면 +, 부정적이면 -

2. 군집별 필터링을 위해 대분류, 중분류, 소분류, 대표식품, 이름별로 나눔

질환별	대표식품	대분류	중분류	소분류	식품별
당뇨에 좋은	두부,김치, 국/탕류	주류,절임류 또는 조림류, 두부류 또는 묵류	김치류, 식초, 탄산음료류	두부, 김치, 기타장류	김/무염, 검은깨두부, 율외장아찌
당뇨에 나쁜	버터, 마가린, 고추씨기름	코코아가공품류 또는 초콜릿류, 당류	버터류(*축산물), 식용유지가공품, 식물성유지류	버터, 마가린, 고추씨기름	버터/가염, 버터/무염, 마가린
고혈압에 좋은	두부,국/탕류, 연어	두부류 또는 묵류, 주류, 절임류 또는 조림류	김치류, 커피, 발효주류	두부, 기타장류, 김치	김/무염, 검은깨두부, 율외장아찌
고혈압에 나쁜	버터, 타르트, 마카롱	식용유지류, 코코아가공품류 또는 초콜릿류, 당류	버터류(*축산물), 당류가공품, 코코아가공품류	버터, 고형차, 기타 코코아가공품	버터/무염, 버터/가염, 초코슈
이상지질혈증에 좋은	김치, 두부, 발효음료	주류, 절임류 또는 조림류, 두부류 또는 묵류	김치류, 발효주류, 식초	김치, 두부, 기타발효음료	검은깨두부, 당근주스, 생강페이스트
이상지질혈증에 나쁜	버터, 초콜릿, 마카롱	코코아가공품류 또는 초콜릿류, 식용유지류, 당류	버터류(*축산물), 코코아가공품류, 당류가공품	버터, 기타 코코아가공품, 고형차	버터/가염, 버터/무염, 초코슈

인사이트 :
• 고혈압과 이상지질혈증에 좋은 식품으로는 두부와 김치가 반복적으로 등장함
• 부정적인 식품은 대체로 비슷한 성격을 띄지만, 긍정적 식품의 경우 일반적으로 생각했을때 아니라고 생각되는 식품들도 존재
• 나쁜 식품으로는 주로 고지방 식품과 고당류 식품이 포함됨

군집화

6개의 클러스터로 군집화를 한 후 중심에서 가장 까운 식품들을 순위대로 나열해봄
클러스터 중심에 가장 가까운 10개의 식품들:
0: '오리불고기', '닭다리튀김', '치킨텐더', '치킨너겟', '치즈햄버그스테이크', '마늘햄', '동그랑땡', '치즈돈가스', '치킨가스', '치킨패티'
1: '홀스래디쉬소스', '콘샐러드드레싱', '발사믹소스', '시저드레싱', '데미글라스소스', '아이올리소스', '마요네즈', '허니머스터드드레싱', '크림스파게티소스/가루', '오리엔탈드레싱'
2: '해물군만두', '버섯만두', '오징어만두', '부추전', '납작만두', '소고기육수', '김치메밀전병', '새우군만두', '새우만두', '쌀찐빵'
3: '토마토소스', '카레소스', '고기소스', '플레인호상요구르트/가당', '초코우유', '딸기우유', '딸기액상요구르트', '바나나우유', '검은참깨두유', '매쉬드포테이토'
4: '쇠고기수프/가루', '양송이수프/가루', '크래커', '감자수프', '모카빵', '고구마케이크', '카레가루', '컵케이크', '사과파이/완제품', '소보루빵'
5: '단팥붕어빵', '깨송편', '팥호빵', '제육볶음소스', '채소호빵', '단팥빵', '꿀떡', '찹쌀경단', '찹쌀떡', '백설기'
k-means 클러스터링 이후 PCA을 통해 차원을 축소시킨 후 시각화를 진행함

4. 실루엣 계수는 pca를 한 후 0.71의 점수가 나옴.

코사인 유사도

다음으로는 코사인 유사도를 통해 식품별로 코사인 유사도를 통해 가까운 식품들을 추천함
당뇨에 좋은 점수를 나타낸 김/무염같은 경우 다른 검은깨두부나 울외장아찌와 유사하다고 판단하지 않았음

3. 당뇨에 나쁜 점수를 나타낸 버터/가염의 경우 버터/무염이나 마가린등 질환에 좋지않은 식품들을 유사하게 판단하였음.

DBSCAN

예정

비교

가중치를 통해 정렬된 질환에 좋은 식품과 좋지 않은 식품들을 k-means 클러스터링을 한 결과와 비교함

대체적으로 1번 그룹과 4번 그룹은 모든 질병에 나쁜 그룹으로 판단되고3번 그룹은 모든 질병에 좋은 그룹으로 판단해볼 수 있음,
하지만 4번 그룹중에서도 질병에 좋은 식품으로 정렬된 식품이 있어서 정밀한 분석이 필요하다고 생각됨
0번 그룹 1번 그룹 2번 그룹 3번 그룹 4번 그룹 5번 그룹

초기 생각

필터링하여 정렬된 식품들과 군집화를 통한 식품들이 비슷한지 다른지 ex) 돼지국밥이 좋은 음식이라 했을때 군집화를 통해 묶인 식품들중에 돼지국밥과 비슷한 음식이 무엇인지, 돼지국밥과 묶인 음식이 실제로도 필터링된 음식들 중 상위권에 위치하는지

중반 생각

비지도학습의 군집화를 수행하였다고 군집화된 식품들이 질병과 관련이 있다는 논리가 생기지않음
가중치 역시 포괄적이고 일반적인 가중치를 부여하면서 필터링된 결과들이 명확하게 질병에 영향을 준다고 판단할 수 없음

후반 생각

여러가지 분류 방법과 가중치를 이용해서 질병에 따라서 좋은 식품, 나쁜 식품을 추천 해보려 한다.
모든 군집화 방법에서 도출된 클러스터 중심과 가까운 식품들을 비교하여 겹치는 식품을 찾고 각 군집화 방법의 결과를 합집합이나 교집합으로 비교해보기 → 겹치는 식품들이 우연의 일치일수도 있으며 특정 질병과 관련이 있는지 신뢰성있게 판단해야함

결론

일반적으로 모든 질환에 긍정적인 영향을 주는 식품으로 두부와 김치가 대표적이며 부정적 영 향의 식품으로 고지방 식품과 고당류 식품이 포함됨.
비지도 학습 기반의 군집화를 수행해 임의로 가중치를 설정한 식품과의 유사한 그룹이 형성됨

칼로리 O
단백질 O 적당해야함 (http://www.samsunghospital.com/webzine/smcdmedu/341/webzine_341_3.html)
지방 O - (http://www.samsunghospital.com/webzine/smcdmedu/236/webzine_236_1.html)
수분 O + (http://www.samsunghospital.com/webzine/smcdmedu/284/webzine_284_2.html)
회분 X
탄수화물 O ? (https://health.kdca.go.kr/healthinfo/biz/health/gnrlzHealthInfo/gnrlzHealthInfo/gnrlzHealthInfoView.do?cntnts_sn=3388)
당류 O - (https://health.kdca.go.kr/healthinfo/biz/health/gnrlzHealthInfo/gnrlzHealthInfo/gnrlzHealthInfoView.do?cntnts_sn=3388)
식이섬유 O + (https://health.kdca.go.kr/healthinfo/biz/health/gnrlzHealthInfo/gnrlzHealthInfo/gnrlzHealthInfoView.do?cntnts_sn=3388)
칼슘 O +
(https://www.joongang.co.kr/article/12254917#home)
철 O - (https://www.whosaeng.com/108795)
인 X
칼륨 O + (https://synapse.koreamed.org/articles/1145428)
나트륨 O - (http://www.bosa.co.kr/news/articleView.html?idxno=609069)
비타민 A X ? (제 2형 당뇨병 환자와 정상 성인의 비타민 A와 비타민 E 영양상태*)
레티놀 X
베타카로틴 O + (https://jhealthmedia.joins.com/article/article_view.asp?pno=7737)
티아민 (비타민 B1) O + (http://www.kinddoctor.co.kr/Module/News/News.asp?KEY=&MODE=V&KEYWORD=&PAGESIZE=10&PAGE=1&SRNO=27246)
리보플라빈 (비타민 B2) O + (https://m.health.chosun.com/svc/news_view.html?contid=2017112901227)
니아신 (비타민 B3) O - (https://pharm.edaily.co.kr/news/read?newsId=01259526632431912)
비타민 C O + (비타민 C 보충이 제 2형 당뇨병 환자의 혈당 및 항산화상태에 미치는 효과)
비타민 D O ? (http://www.monews.co.kr/news/articleView.html?idxno=319723)
콜레스테롤 ?
포화지방산 O - (http://www.samsunghospital.com/home/healthInfo/content/contenView.do?CONT_SRC_ID=27970&CONT_SRC=HOMEPAGE&CONT_ID=4209&CONT_CLS_CD=001021003001)
트랜스지방산 O - (http://www.samsunghospital.com/home/healthInfo/content/contenView.do?CONT_SRC_ID=27658&CONT_SRC=HOMEPAGE&CONT_ID=3785&CONT_CLS_CD=001021003001)

칼로리 O
단백질 O 적당해야함 (http://www.samsunghospital.com/webzine/smcdmedu/341/webzine_341_3.html)
지방 O - (http://www.samsunghospital.com/webzine/smcdmedu/236/webzine_236_1.html)
수분 O + (http://www.samsunghospital.com/webzine/smcdmedu/284/webzine_284_2.html)
회분 X
탄수화물 O - (https://health.kdca.go.kr/healthinfo/biz/health/gnrlzHealthInfo/gnrlzHealthInfo/gnrlzHealthInfoView.do?cntnts_sn=3388)
당류 O - (https://post.naver.com/viewer/postView.naver?volumeNo=30246881&memberNo=7131400)
식이섬유 O + (https://health.kdca.go.kr/healthinfo/biz/health/gnrlzHealthInfo/gnrlzHealthInfo/gnrlzHealthInfoView.do?cntnts_sn=3388)
칼슘 O +
(https://www.joongang.co.kr/article/12254917#home)
철 O - (https://www.whosaeng.com/108795)
인 X
칼륨 O + (https://synapse.koreamed.org/articles/1145428)
나트륨 O - (http://www.bosa.co.kr/news/articleView.html?idxno=609069)
비타민 A X ? (제 2형 당뇨병 환자와 정상 성인의 비타민 A와 비타민 E 영양상태*)
레티놀 X
베타카로틴 O + (https://jhealthmedia.joins.com/article/article_view.asp?pno=7737)
티아민 (비타민 B1) O + (http://www.kinddoctor.co.kr/Module/News/News.asp?KEY=&MODE=V&KEYWORD=&PAGESIZE=10&PAGE=1&SRNO=27246)
리보플라빈 (비타민 B2) O + (https://m.health.chosun.com/svc/news_view.html?contid=2017112901227)
니아신 (비타민 B3) O - (https://pharm.edaily.co.kr/news/read?newsId=01259526632431912)
비타민 C O + (비타민 C 보충이 제 2형 당뇨병 환자의 혈당 및 항산화상태에 미치는 효과)
비타민 D O ? (http://www.monews.co.kr/news/articleView.html?idxno=319723)
콜레스테롤 ?
포화지방산 O - (http://www.samsunghospital.com/home/healthInfo/content/contenView.do?CONT_SRC_ID=27970&CONT_SRC=HOMEPAGE&CONT_ID=4209&CONT_CLS_CD=001021003001)
트랜스지방산 O - (http://www.samsunghospital.com/home/healthInfo/content/contenView.do?CONT_SRC_ID=27658&CONT_SRC=HOMEPAGE&CONT_ID=3785&CONT_CLS_CD=001021003001)

콜드펌킨 — Thu, 23 May 2024 14:25:01 +0900

데이터 분석가를 준비하기 위해 좋은 책이 있다는 블로그를 보고 읽어보고 기록하기 위해 작성한다.

상관관계는 인과관계를 나타내지 않는다.
하나의 요인으로 인해 다른 요인의 수치가 변하는 형태처럼 원인과 결과가 명확한 관게를 인과관계라고 한다.
상관관계는 두 변수가 얼마나 상호 의존적인지를 의미하는데
이를 파악하는 방법은 한 변수가 증가할때 다른 변수가 증가하거나 감소하는 추이를 따르는 식이다.
상관관계가 있다고 해도 그것이 인과관계가 아니란 것은 확실하다.
데이터 분석에서 상관관게는 기본적이며 중요한 항목이지만,
수많은 외생 변수가 존재하는 현실 데이터에서는 상관관계가 인과관계가 될 수 없다.
내생 변수와 외생 변수를 이해하고 변수의 추이에 영향을 미칠 수 있는 요인이 어떤 것들이 있는지 따져봐야한다.

모집단 != 전체 집단
모집단의 개념은 간단한 듯 하면서도 복잡하고 추상적이다.
모수란 모집단의 수치적 요약값이며 모집단에 대한 통계값을 모수라고 한다.
모집단 자체를 다룰 수 있는 경우는 거의 없고 다 사용한다고 해도 모두를 대표할 수 없다.
모집단의 개념은 간단한 듯 하면서도 복잡하고 추상적이다.

1. 모집단을 어느 정도 정의한다.
2. 모집단에 가까운 표본을 정의한다.
3. 표본을 구하는 법을 고민한다.
a. 큰 수의 법칙 - 표본의 크기가 충분히 크면 표본 평균은 모평균에 충분히 가까워진다는 법칙
b.중심 극한 정리 - 동일한 확률 분포를 가진 독립 변수 n개의 평균의 분포는 N이 적당히 크면 정규분포에 가까워진다는 정리
4. 표본 데이터를 수집한다.

이상지질혈증에 좋은

이상지질혈증에 나쁜

숫자의 큰 역할 중 하나는 정량적인 비교이다.
단순한 차이가 있더라도 그 차이가 통계적으로 유의미한지, 고려할 전제조건은 무엇인지,
여러 측면에서 차이가 맞는것인지를 여러 도구를 활용하여 고민해야한다.
수학은 불확실성 위에 쌓아 올려진 학문이고 통계는 항상 확률과 등장하며 숫자는 절대적인 적이 없다.