AI+ism(에이아이즘)

결측치 처리 이번 시간에는 결측치를 처리해 보도록 하겠습니다. 이번 시간 정리 1. 결측치가 있는 행 삭제 data.dropna(axis=0) 2. 결측치가 있는 열(컬럼) 삭제 data.dropna(axis=1) 3. 결측치가 있는 열(컬럼) 확인 df.isnull() True = 결측치가 맞다. False=결측치가 아니다. 4. 결측치가 있는 열(컬럼) 합계 df.isnull().sum() True = 1로 계산 False= 0로 계산 5. 결측값 채우기 df['결측치가 있는 컬럼명'].fillna('결측값에 채울 값') 아래의 코드 실행 버튼을 눌러 실습을 진행해 보세요! 결측치 삭제 # 데이터프레임 복사 data = df.copy() data 실행 완료 [22]: Unnamed: 0메뉴가격호수칼로..

데이터 불러오기/만들기 지난 시간에 만든 데이터 파일을 가지고 있으면 df = pd.read_csv('new_modudak.csv') 으로 불러와 주세요. 없다면 하단의 코드의 실행 버튼을 눌러 파일을 생성해 주시면 됩니다. 이번 시간 정리 1.기존의 인덱스명을 살릴때 index_col='Unnamed: 0' 데이터 불러오기/만들기 (new_modudak.csv) 데이터 불러오기 df = pd.read_csv('new_modudak.csv') # '노드2. 데이터 핸들링1'에서 마지막에 만든 new_modudak.csv 다시 만들기 import pandas as pd import numpy as np df = pd.DataFrame({ 'Unnamed: 0': [0,1,2,3,4,5,6,'new',10]..

인덱스 다루기 이번 시간에는 인덱스를 배워 보도록 하겠습니다. 이번 시간 정리 set_index와 reset_index를 비교해 봅시다. 1. set_index 원하는 값으로 인덱스 컬럼을 변경 할 수 있다. 2. reset_index 변경된 인덱스 컬럼을 되돌릴 수 있다. 인덱스명을 살릴 필요 없을 때는 drop=True로 변경 한다. 이제 아래의 코드 실행 버튼을 눌러 실습을 진행해 보세요! # 데이터 불러오기 df = pd.read_csv('modudak.csv') df 실행 완료 [43]: 메뉴가격호수칼로리0123456 후라이드 12000 10호 1000 양념치킨 13000 10호 1400 간장치킨 14000 9호 1600 마늘치킨 14000 9호 1800 파닭 14000 11호 1300 닭강정 ..

이번 시간에는 데이터의 다양한 선택 방법을 배워보도록 하겠습니다. 이번 시간 정리 1. 열(column) 선택 시리즈 : df['메뉴'] 대괄호 1개 데이터프레임 : df[['메뉴','가격']] 대괄호 2개 2. 행(row) 조건 2개 이상 일때 (and) : df[cond1 & cond2] 조건 2개 이상 이거나 ~일때 (or]) : df[cond1 | cond2] |이란? 비교 연산자로서 or과 동일한 역할을 합니다. 키보드에서 Shift+(역슬래시. Enter 위쪽에 보통 배치)를 누르면 입력됩니다. 비슷하게 &도 비교 연산자로서 and와 동일한 역할을 합니다. 3. isin 함수 데이터 프레임 안의 요소(리스트 안에 저장된 값)에 isin()에 입력된 데이터 값이 있다면 해당 데이터의 행을 가져온..

잡음제거모델DDPM(Diffusion 현재는 DDPM방식을 이용해 이미지 확산 생성 모델 -> 잡음을 하나씩 제거해서 해당하는 텍스트가 반영된 최종 이미지 생성 -> 마치 석상을 조각하는 것처럼 잡음을 하나씩 제거. 즉, 확산모델은 생성모델이긴 하지만 주어진 이미지에서 잡음을 없애는 회귀모델의 일종이라고도 볼 수 있다. -조건부 생성 :잠재변수를 생성할 때 여러가지 조건(텍스트, 이미지 등)을 추가로 주입 -> 기존 조건부 생성 모델에서 사용되는 기법을 사용 ->입력 조건을 은닉층에 결합하여 Cross-attention을 적용하여 정보 주입 ->잡음을 제거할 때 주어진 조건에 의존적인 정도(Guidance)를 조절하는 것이 가능해짐 -공개된 대규모 텍스트-이미지 쌍 데이터셋 ex)LAION-400M, L..

gpt(generative pretrained transformer) 언어모델(랭귀지모델)의 한 종류 언어모델: 주어진 문장 뒤에 이어질 자연스러운 단어 예측 chat-gpt의 학습원리: RHLF gpt-3를 기반으로 다양한 task를 prompt로 만들어서 그에 대한 답을 다음 단어를 예측하는 형태로 추가적인 학습방식을 제공. instruction활용한 fine-tuning 방식 활용=instruction-tuning -학습방법인RLHF란? 배경)분류나 번역등 명확한 데이터를 통해 학습 트레이닝, -> 사람이 할법한 다양한 질문들과 답변 못함 ->사람들의 피드백을 받아 답변강화학습 -> 사람이 답변의 순위를 매김 -> 강화모델훈련 -> 이 강화모델로 언어모델의 추론 강화학습 =RLHF(Reinforce..

판다스 라이브러리 판다스(pandas)는 파이썬(python)을 기반으로 한 쉽고 강력한 데이터 분석 도구...엑셀과 같은 존재임! 파이썬 코드를 이용해서 엑셀과 같은 기능을 판다스에서 활용해 볼 수 있습니다...판다스는 pd라고 부르며 라이브러리를 불러오는 것을 시작으로 실행한다. 이번 시간 정리 1.판다스 라이브러리 불러오기 import pandas 2.판다스의 별칭 별칭은 pd를 일반적으로 사용합니다. 라이브러리를 불러오는 코드 뒤에 as pd를 붙여주면 됩니다. 아래의 코드 실행 버튼을 눌러 판다스 라이브러리를 불러와 보세요! 라이브러리 불러오기 # 판다스 라이브러리 import pandas as pd 데이터프레임과 시리즈 이번 시간에는 데이터 프레임과 시리즈에 대하여 설명하도록 하겠습니다. 이번..

10-4. 프로젝트 3 : 10 이하 숫자만 곱해주는 함수 프로젝트 3번을 시작하기 전에 한 함수를 만들어보며 몸을 풀어보겠습니다. 만들 함수는 input 값이 둘다 정수라면 두 정수를 나눴을 때의 값을 구해주고, 입력된 값이 정수가 아니라면 '정수만 계산 가능합니다'라고 출력하고 결과값은 None으로 출력하는 함수입니다. 함수를 만들기 위해 차근차근 생각해봅시다. 우선 함수를 만들 때는 간결하면서도 납득이 가는 함수명을 지어주면 좋습니다. 정수만 나누는 함수이기 때문에 int_divider라고 명명하겠습니다. 그 다음은 몇 개의 매개 변수가 필요한지 생각해봅니다. 여기서는 나누기를 시행할 두 개의 매개변수가 필요하지만경우에 따라 가변인수가 더 편리할 수도 있으므로 다양한 각도로 생각해봐야 합니다. 그 ..

프로젝트 2 : 리스트 평탄화 리스트 평탄화란?중첩된 리스트가 있을 때 중첩을 모두 제거하고 풀어서 1차원 리스트로 만드는 것을 말합니다. 리스트를 평탄화 하기 전에 반복문 문제로 warm-up 해보겠습니다. 반복문의 기본 구조는 다음과 같았습니다. for 변수 in 컬렉션: 수행할 문장 이때 컬렉션은 여러 개의 값을 모아 놓은 집합이라고 했었습니다. 그럼 이번에 다룰 중첩된 리스트도 여러 요소가 모여 있으니 컬렉션이라고 할 수 있겠네요! 그러면 for문의 컬렉션에 중첩된 리스트를 넣어 보고 각각 어떻게 출력되는지 실험하고 관찰해보겠습니다. overlap = [[1, 2], 3, [[4, 5, 6], 7], 8, 9] 실행 완료 overlap이라는 중첩된 리스트를 만들었습니다. 이 리스트를 컬렉션에 두고..

노트필기 1950년대 인공지능: 비교적 간단문제 해결 1980년대 머신러닝등장: 컴퓨터,기계가 다양한 예시데이터 통해 스스로 학습하게 해서 보다 어려운 인공지능 테스크 풀수있게 사람의 뇌를 모방한 구조인 인공 신경망 구조를 활용 보다 어려운 문제 해결 인공지능>머신러닝>딥러닝 전문가 시스템: 특정사물을 인식하는 모든 알고리즘을 모두 사람이 만든다.(특징을 발견하는 프로그램을 사람이 구현) 한계: 워낙 많은 예외 케이스가 존재 ->이를 해결하기 위한 또 다른 인공지능 방법론인 '머신러닝'등장 머신러닝: 예시데이터(특정 사물이 있는 이미지를 제공)해서 기계가 스스로 학습하게 해서 스스로 추론하게 함 ->기계가스스로 학습하는 다양한 종류 ->지도학습, 비지도학습, 강화학습 지도학습: 레이블이 있는 이미지 활용..