AI+ism(에이아이즘)

머신러닝 프로젝트 전 알아두면 좋을 점

디지털랫드 — Wed, 5 Jun 2024 19:13:02 +0900

<보완>

-모델종류(어떤 상황에 쓰면 좋을지,(gb, 리니어 ,로지스틱, svc, 캣부스트, lgb,)가 쓰이면 좋은 상황

-모델강화를 위한 .. (앙상블, 스태킹)

-전처리(필요없는 데이터 파악하는 방법)

<트러블슈팅>

-함수에 불이 안들어오는 상황; fit, predict

-이진분류

<추가할것들>

-로컬미니마 ? 글로벌미니마에 빠지진 않았는지 시각화해서 보고 싶다.

-그밖에 유익한 정보뽑아보기 (변제예상,

끝내고 느낀 점을 한줄로 요약하자면,

:데이터이해도가 전처리에 중요한 역할을 한다. (data scientist가 domain이 중요한 이유)

-> 적절한 전처리기법선택(범주형; 원핫인코딩/ 연속형;표준화, 정규화)

-> 이상치 및 결측치 처리....식별하고 결측치특성삭제

-> 특성 엔지니어링... 이해를 통해 새로운 특성을 만들거나 기존 특성을 변환

-> 모델해석에 용이

<적절한 모델링기법선택>

각 모델은 데이터의 특성과 목표에 따라 적합한 상황이 다르므로, 문제의 특성을 고려하여 모델을 선택해야 합니다. 어떤 모델을 선택하느냐에 따라 사용자의 의도대로 인사이트를 얻을 수 있으니 각 모델의 장단점과 특징을 파악해서 목적에 따라 사용하는 게 중요합니다. 또한 모델 선택 이후에는 하이퍼파라미터 튜닝과 모델 평가를 통해 최적의 모델을 찾아야 합니다. 원리는 각 모델별로 자세히 따로 정리해둘 예정입니다.

지금은 주로 사용되는 상황에 대해서만 간단히 살펴보겠습니다:

대규모 비선형데이터 모델링에 좋은, GB, catboost, LGB

1. Gradient Boosting (GB):
- 사용되는 상황: 고차원의 복잡한 데이터, 특히 트리 기반 모델이 적합한 경우. 예를 들어, 자연어 처리나 구조화된 데이터에서 많은 수의 피처를 처리하는 데 유용합니다.

- 약한 모델(의사 결정 트리 등)을 순차적으로 학습하여 잔차를 보정하고 예측 성능을 향상시킵니다.
- 부스팅 알고리즘 중 하나로, 과적합에 강한 모델입니다.

from sklearn.ensemble import GradientBoostingClassifier

# 모델 초기화
gb_model = GradientBoostingClassifier()

# 모델 학습
gb_model.fit(X_train, y_train)

# 예측
gb_pred = gb_model.predict(X_test)

2. CatBoost:
- 사용되는 상황: 범주형 변수가 많은 데이터나 텍스트 데이터를 다룰 때 유용합니다. 자체적으로 범주형 변수를 처리하는 기능이 있어 전처리 과정이 단순화됩니다.

from catboost import CatBoostClassifier

# 모델 초기화
catboost_model = CatBoostClassifier()

# 모델 학습
catboost_model.fit(X_train, y_train)

# 모델 예측
catboost_pred = catboost_model.predict(X_test)

3. LightGBM (LGB):
- 사용되는 상황: 대용량 데이터와 고차원 피처를 처리하는 데 효율적입니다. 트리 기반 모델 중에서도 속도가 빠르고 메모리 사용량이 적은 편이어서 대규모 데이터셋에 적합합니다.

import lightgbm as lgb

# 모델 초기화
lgb_model = lgb.LGBMClassifier()

# 모델 학습
lgb_model.fit(X_train, y_train)

# 모델 예측
lgb_pred = lgb_model.predict(X_test)

4. Linear Regression (선형 회귀):
- 사용되는 상황: 입력 변수와 출력 변수 간에 선형 관계가 있다고 가정할 수 있는 경우. 간단하면서도 해석하기 쉬운 모델이 필요한 경우에 적합합니다.

- 주어진 피처들 간의 선형 관계를 학습하고, 그에 따라 타겟 변수를 예측

from sklearn.linear_model import LinearRegression

# 모델 초기화
linear_model = LinearRegression()

# 모델 학습
linear_model.fit(X_train, y_train)

# 모델 예측
linear_pred = linear_model.predict(X_test)

5. Logistic Regression (로지스틱 회귀)
- 사용되는 상황: 이진 분류 문제에서 먼저 시도할 수 있는 간단한 모델. 각 피처의 영향을 해석하기 쉽고, 예측이 필요한 경우에 적합합니다.

- 이진 분류 문제에 사용되며, 선형 회귀의 확장으로 확률을 모델링합니다.
- *시그모이드 함수를 사용하여 입력 피처와 클래스 간의 확률을 모델링합니다.

from sklearn.linear_model import LogisticRegression

# 모델 초기화
logistic_model = LogisticRegression()

# 모델 학습
logistic_model.fit(X_train, y_train)

# 모델 예측
logistic_pred = logistic_model.predict(X_test)

*시그모이드 함수 사용법

먼저, 로지스틱 회귀모델연습 후

from sklearn.linear_model import LogisticRegression
import numpy as np

# 예제 데이터 생성
X = np.array([[1, 2], [2, 3], [3, 4]])
y = np.array([0, 1, 0])

# 로지스틱 회귀 모델 생성 및 학습
model = LogisticRegression()
model.fit(X, y)

# 학습된 모델을 사용하여 확률 예측
probabilities = model.predict_proba(X)
print("Predicted probabilities:", probabilities)

시그모이드 함수 직접 구현

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 입력 값 정의
z = np.array([0, 1, 2, 3])

# 시그모이드 함수 적용
probabilities = sigmoid(z)
print("Predicted probabilities:", probabilities)

6. **Support Vector Machine (SVM)**:
- **사용되는 상황**: 비선형 분리 가능한 문제에 적합한 모델. 특히 데이터가 고차원이고 분류가 어려운 경우에 유용합니다. 하이퍼파라미터 튜닝에 따라 성능이 크게 달라질 수 있습니다.

from sklearn.svm import SVC

# 모델 초기화
svm_model = SVC()

# 모델 학습
svm_model.fit(X_train, y_train)

# 모델 예측
svm_pred = svm_model.predict(X_test)

7. **랜덤 포레스트 (Random Forest)**:
- 의사 결정 트리를 앙상블한 모델로, 다수의 의사 결정 트리를 통해 예측합니다.
- 과적합을 줄이고 예측 성능을 향상시키는 데 사용됩니다.

<적절한 전처리기법선택>

1. 범주형(categorical) 데이터 처리

(1) 원-핫 인코딩(One-Hot Encoding)

\ 범주형 변수를 이진 형태로 변환

One_Hot_encoded_data = pd.get_dummies(data, columns=['categorical_feature'])

(2)라벨 인코딩 (Label Encoding):

\ 범주형 변수를 숫자로 변환

from sklearn.preprocessing import LabelEncoder

label_encoder = LabelEncoder()

data['categorical_feature_encoded'] = label_encoder.fit_transform(data['categorical_feature'])

2. 연속형 데이터 전처리:

(1) 표준화(standardization):

\평균0 표준편차1 인 분포로 변환

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()

scaled_data = scaler.fit_transform(data[['numeric_feature']])

(2) 정규화(Normalization)

\특성 벡터 크기 조절해 단위길이로 변환

\데이터 스케일 조정 (효과: 속도향상, 거리기반알고리즘 성능향상e.g...k-최근접이웃, 규제적용, 정확도 높아짐)

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()

normalized_data = scaler.fit_transform(data[['numeric_feature']])

예를 들어, 주택 가격 예측 모델에는 주택의 면적(제곱 피트)과 방의 수(개수)라는 두 가지 특성이 있습니다. 면적은 수백에서 수천 제곱 피트로 표현되지만, 방의 수는 보통 1부터 5까지의 작은 값입니다. 이러한 경우 면적과 방의 수를 동일한 스케일로 조정하면 모델이 더 나은 결과를 얻을 수 있습니다.

(3) 로그변환(Log Transformation)

\왜곡된 분포를 보정해 정규분포에 가깝게 만듦.

import numpy as np

data['numeric_feature_log'] = np.log(data['numeric_feature'])

(4) 바이닝(Binning)

\연속형 변수를 구간별로 나눠서 이산적인 값으로 변환.

\연속형데이터 이해력 높여서 모델에 적용하기 쉽게함 (효과: 비선형 관계 모델링, 이상치 처리, 모델의 복잡성 감소, 해석가능성 향상)

data['numeric_feature_binned'] = pd.cut(data['numeric_feature'], bins=3, labels=['Low', 'Medium', 'High'])

예를 들어, 주택 가격 예측 모델에서 주택의 면적과 가격 간의 관계가 선형이 아닌 경우, 면적을 구간별로 나눠서 각 구간에 대한 가격 범위를 예측하는 것이 유용할 수 있습니다. 더불어 이상치가 포함되어 있을 때 이를 처리하는 방법 중 하나로 구간별로 나눠 각 구간에 속한 값들을 그 구간의 평균 또는 중앙값으로 대체하여 이상치의 영향을 줄일 수 있습니다.

모델의 복잡성 감소는, 나이 변수를 구간별로 나눠서 각 연령 그룹에 대한 이산적인 값으로 변환하면 모델이 연령에 대한 세부적인 정보보다는 각 그룹의 특성에 더 집중할 수 있습니다. 구간별 특성은 클라이언트나, 도메인 전문가에게 더 의미있는 정보를 제공해줌으로써 전달력을 높일 수 있습니다.

<모델향상을 위한 앙상블 기법의 종류>

여러 개의 모델을 결합하여 하나의 모델보다 더 나은 예측 성능을 얻기 위한 방법으로, 앙상블 기법은 모델의 다양성을 확보하고 예측 성능을 향상시킬 수 있습니다. 따라서 적절한 앙상블 기법을 선택하여 모델의 성능을 향상시키는 것이 중요합니다.

1. 보팅(Voting): 일반적으로 성능이 좋은 여러 개의 모델을 결합해, 더 안정적이고 강력한 예측을 수행한다. 모델의 다양성을 증가시키고 일반화 성능을 향상시키는 데 도움이 된다.
   - 하드 보팅(Hard Voting): 여러 모델의 예측을 다수결 투표하여 최종 예측을 결정합니다.
   - 소프트 보팅(Soft Voting): 각 모델의 예측에 가중치를 부여하여 평균을 내어 최종 예측을 결정합니다.

2. 배깅(Bagging):
   - 여러 개의 모델을 병렬적으로 학습시켜서 각 모델의 예측을 평균내거나 다수결투표로 결합합니다. 주로 **부트스트랩 샘플링을 사용하여 각 모델에 서로 다른 학습 데이터를 제공합니다. 대표적인 예로는 랜덤 포레스트(Random Forest)가 있습니다.

**부트스트랩 샘플링(Bootstrap Sampling)은 통계적인 기법 중 하나로, 주어진 데이터 집합으로부터 복원 추출을 통해 샘플을 만드는 과정을 말합니다. 데이터의 특성을 파악하거나 모델의 불확실성을 추정하는 데에 사용됩니다.각 모델에게 데이터의 서로 다른 부분 집합을 제공하여 모델 간의 다양성을 증가시키고 일반화 성능을 향상시키기 위함입니다. 따라서 각 모델은 서로 다른 샘플링된 데이터를 기반으로 학습하게 됩니다.

3. 부스팅(Boosting)
- 여러 개의 약한 모델(weak learner)를 순차적으로 학습시켜 각 모델의 예측 오차에 가중치를 부여하여 오차를 보정하는 방식으로 최종 예측을 수행합니다. 대표적으로는 에이다부스트(AdaBoost), 그래디언트 부스팅(Gradient Boosting), XGBoost, LightGBM 등이 있습니다.

4. 스태킹(Stacking):
- 여러 개의 기본 모델의 예측한 결과를 새로운 피처로 사용하여 ***최종 메타 모델을 학습합니다. 즉, 여러 모델의 예측값을 취합하여 이를 입력으로 새로운 모델을 학습시킵니다. (더욱 강력한 예측 성능 달성)

***최종 메타모델은 앙상블 학습에서 여러 개의 기본 모델로부터 나온 예측 결과를 활용하여 최종적인 예측을 수행하는 모델을 말합니다. 일반적으로 각 기본 모델의 예측 결과를 인풋값으로 설정하고, 이를 조합해 최종 예측을 생성합니다.
주요한 최종 메타모델:
1. Voting Classifier (보팅 분류기): 다수결 원칙으로 각 예측을 결합하여 최종 예측. 분류 문제에 사용
2. Voting Regressor (보팅 회귀기): 각 회귀 모델의 예측 결과를 평균내 최종적인 회귀 예측을 생성
3. Stacking (스태킹): 여러 예측 결과를 새로운 피처로 사용해 메타모델(보통 로지스틱 회귀, 랜덤 포레스트 등)을 학습시키는 방식.
4. Blending (블렌딩): 스태킹과 비슷하지만, 일부 학습 데이터로 여러 기본 모델을 학습시키고, 다른 일부 데이터를 사용해 메타모델을 학습시키는 방식.

5. 블렌딩(Blending):
- 스태킹과 유사하지만, 훈련 데이터를 두 개의 세트로 분할하고, 트레이닝/테스트셋...하나의 세트로 기본 모델을 학습하고 다른 세트로 예측합니다.그런 다음 예측값을 새로운 모델에 입력하여 최종 예측을 수행합니다.

6. 추정값 수정(Boosting):
- 기본 모델의 예측값을 기준으로 다음 모델을 학습하는데, 이때 이전 모델의 예측 오차에 가중치를 부여하여 학습합니다. 대표적으로 그래디언트 부스팅(Gradient Boosting)이 있습니다.

앙상블 기법은 모델의 다양성을 확보하고 예측 성능을 향상시킬 수 있습니다. 따라서 적절한 앙상블 기법을 선택하여 모델의 성능을 향상시키는 것이 중요합니다.

240531 _ 파이썬

디지털랫드 — Fri, 31 May 2024 19:32:16 +0900

1. datetime 모듈

용도; 날짜와 시간을 처리

기능; 날짜와 시간의 생성, 조작, 형식 지정 및 차이 계산

종류; datetime 모듈 안에 date, time, datetime, timedelta 등의 클래스가 포함

이들 각각에 대해 자세히 살펴보겠습니다.

(1). datetime.date 클래스

date 클래스는 연도, 월, 일로 구성된 날짜를 나타냅니다.

date.today(): 오늘 날짜를 반환합니다.
date(year, month, day): 특정 날짜를 생성합니다.
date.year, date.month, date.day: 각각 연도, 월, 일을 반환합니다.
date.weekday(): 요일을 반환합니다(월요일=0, 일요일=6).

(2). datetime.time 클래스

time 클래스는 시, 분, 초, 마이크로초로 구성된 시간을 나타냅니다.

time(hour=0, minute=0, second=0, microsecond=0): 특정 시간을 생성합니다.
time.hour, time.minute, time.second, time.microsecond: 각각 시, 분, 초, 마이크로초를 반환합니다.

(3). datetime.datetime 클래스

datetime 클래스는 날짜와 시간을 함께 나타냅니다.

datetime.now(): 현재 날짜와 시간을 반환합니다.
datetime(year, month, day, hour=0, minute=0, second=0, microsecond=0): 특정 날짜와 시간을 생성합니다.
datetime.date(), datetime.time(): 각각 날짜와 시간 부분을 반환합니다.
datetime.strftime(format): 날짜와 시간을 지정된 형식의 문자열로 변환합니다.
datetime.strptime(date_string, format): 문자열을 지정된 형식으로 해석하여 datetime 객체로 변환합니다.

(4). datetime.timedelta 클래스

timedelta 클래스는 두 날짜나 시간 간의 차이를 나타냅니다.

timedelta(days=0, seconds=0, microseconds=0, milliseconds=0, minutes=0, hours=0, weeks=0): 시간 간격을 생성합니다.
total_seconds(): 시간 간격을 초 단위로 반환합니다.

2. lambda 함수

:파이썬에서 lambda 함수는 익명 함수(anonymous function)를 생성하는 데 사용됩니다. lambda 함수는 보통 간단한 함수가 필요할 때, 특히 한 번만 사용될 함수를 정의할 때 유용합니다. lambda 함수는 lambda 키워드를 사용하여 정의하며, 일반 함수와는 다르게 이름이 없습니다.

lambda 키워드로 시작합니다.
뒤에 함수의 매개변수들이 콤마로 구분되어 나열됩니다.
콜론(:) 뒤에 반환할 표현식을 작성합니다.

(1). 기본 사용법

두 수의 합을 계산하는 lambda 함수

add = lambda x, y: x + y print(add(2, 3))

# 출력: 5

(2). 리스트 정렬에서의 사용

lambda 함수는 종종 sort() 메서드나 sorted() 함수와 함께 정렬 기준을 정의하는 데 사용됩니다.

#각 튜플의 두 번째 요소를 기준으로 리스트 정렬

pairs = [(1, 2), (4, 1), (3, 3)] pairs.sort(key=lambda pair: pair[1]) print(pairs)

# 출력: [(4, 1), (1, 2), (3, 3)]

(3). 고차 함수에서의 사용

lambda 함수는 종종 map(), filter(), reduce() 같은 함수와 함께 사용됩니다.

map(): 모든 항목에 대해 함수 적용 후 반환

numbers = [1, 2, 3, 4] squared = map(lambda x: x ** 2, numbers) print(list(squared))

# 출력: [1, 4, 9, 16]

filter(): 조건을 만족하는 항목 필터링

numbers = [1, 2, 3, 4, 5] even_numbers = filter(lambda x: x % 2 == 0, numbers) print(list(even_numbers

# 출력: [2, 4]

reduce(): 누적 함수 적용 (이 경우에는 functools 모듈을 임포트해야 합니다)

from functools import

reduce numbers = [1, 2, 3, 4] product = reduce(lambda x, y: x * y, numbers) print(product)

# 출력: 24

(4). 다른 함수 내에서 사용

lambda 함수는 다른 함수 내에서 간단한 함수를 정의할 때 유용합니다.

def make_incrementor(n): return lambda x: x + n increment_by_2 = make_incrementor(2) print(increment_by_2(5)) # 출력: 7

주의사항

lambda 함수는 한 줄의 표현식만 가질 수 있으며, 복잡한 로직을 담기에는 적합하지 않습니다.
lambda 함수는 코드의 가독성을 해칠 수 있으므로, 복잡한 로직이 필요한 경우에는 일반적인 def 키워드를 사용하여 함수를 정의하는 것이 좋습니다.

3. map 함수

파이썬의 map() 함수는 반복 가능한 객체(리스트, 튜플 등)의 모든 요소에 대해 지정된 함수를 적용한 결과를 반환하는 데 사용됩니다. map() 함수는 함수와 반복 가능한 객체를 인수로 받으며, 결과는 map 객체로 반환됩니다. 이 객체는 필요에 따라 리스트나 다른 자료형으로 변환할 수 있습니다.

map() 함수의 기본 구문

function: 반복 가능한 객체의 각 요소에 적용할 함수.
iterable: 반복 가능한 객체(리스트, 튜플 등). 여러 개의 반복 가능한 객체를 인수로 받을 수 있습니다.

1. 단일 반복 가능한 객체에 적용

리스트의 각 요소를 제곱하는 함수에 map()을 사용하는 예시입니다.

python

코드 복사

numbers = [1, 2, 3, 4, 5] # 각 요소를 제곱하는 lambda 함수 squared = map(lambda x: x ** 2, numbers) # map 객체를 리스트로 변환 squared_list = list(squared) print(squared_list) # 출력: [1, 4, 9, 16, 25]

2. 여러 반복 가능한 객체에 적용

두 개의 리스트를 더하는 예시입니다.

python

코드 복사

numbers1 = [1, 2, 3] numbers2 = [4, 5, 6] # 두 리스트의 각 요소를 더하는 함수 summed = map(lambda x, y: x + y, numbers1, numbers2) # map 객체를 리스트로 변환 summed_list = list(summed) print(summed_list) # 출력: [5, 7, 9]

3. 문자열 변환

리스트의 각 문자열을 대문자로 변환하는 예시입니다.

python

코드 복사

strings = ['apple', 'banana', 'cherry'] # 각 문자열을 대문자로 변환하는 함수 uppercased = map(str.upper, strings) # map 객체를 리스트로 변환 uppercased_list = list(uppercased) print(uppercased_list) # 출력: ['APPLE', 'BANANA', 'CHERRY']

map() 함수와 사용자 정의 함수

미리 정의된 함수를 map()과 함께 사용할 수도 있습니다.

python

코드 복사

def add_three(x): return x + 3 numbers = [1, 2, 3, 4, 5] # 사용자 정의 함수를 사용하여 각 요소에 3을 더하기 result = map(add_three, numbers) # map 객체를 리스트로 변환 result_list = list(result) print(result_list) # 출력: [4, 5, 6, 7, 8]

장점 및 주의사항

map() 함수는 반복 가능한 객체의 각 요소에 대해 함수를 적용하는 간결하고 효율적인 방법입니다.
map() 객체는 게으른 평가(lazy evaluation)를 사용하므로, 필요할 때만 계산됩니다.
결과를 리스트로 변환할 때는 list() 함수를 사용해야 합니다.
map() 함수는 읽기 쉽고 간결한 코드 작성을 도와주지만, 복잡한 변환이 필요할 경우에는 리스트 컴프리헨션(list comprehension)이 더 가독성이 좋을 수 있습니다.

리스트 컴프리헨션과 비교

리스트 컴프리헨션을 사용하여 동일한 작업을 수행할 수 있습니다. 예를 들어, 각 요소를 제곱하는 경우:

python

코드 복사

numbers = [1, 2, 3, 4, 5] # 리스트 컴프리헨션을 사용하여 각 요소를 제곱 squared_list = [x ** 2 for x in numbers] print(squared_list) # 출력: [1, 4, 9, 16, 25]

map() 함수는 함수형 프로그래밍 스타일을 선호하는 경우 유용하며, 간단한 변환 작업에 효과적입니다. 그러나 복잡한 로직이 필요한 경우, 가독성을 고려하여 적절한 방식을 선택하는 것이 중요합니다.

각 코드별로 상세히 설명해줘 왜, 어떤 상황에서, 어떻게 쓰는지 from datetime import datetime, timedelta # dt = datetime df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M")) df["_dt"] = df["dt"] + timedelta(hours=6) # 6 hours shift (18~09 -> 00~15) df["_date"] = df._dt.dt.date.astype(str) df["_hour"] = df._dt.dt.hour df

ChatGPT

이 코드는 datetime 모듈을 사용하여 데이터프레임의 날짜와 시간 데이터를 변환하고 조작하는 예시입니다. 데이터프레임의 특정 열에 대해 날짜와 시간을 파싱하고, 시간 조정을 수행한 다음, 결과를 새로운 열에 저장합니다. 이 코드는 특히 시계열 데이터를 처리하거나 시간대 변환, 시간 기반의 분석을 수행할 때 유용합니다.

코드 설명

python

코드 복사

from datetime import datetime, timedelta

datetime 모듈에서 datetime 클래스와 timedelta 클래스를 임포트합니다. datetime 클래스는 날짜와 시간을 다루는 데 사용되고, timedelta 클래스는 시간 간격을 나타내는 데 사용됩니다.

python

코드 복사

# dt = datetime

이 주석은 필요 없는 코드의 흔적으로 보입니다. datetime 모듈을 dt라는 별칭으로 임포트하려던 시도를 나타냅니다. 주석이므로 실제로 실행되지 않습니다.

python

코드 복사

df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M"))

df["신고접수일시"] 열의 각 값을 apply 메서드를 사용하여 변환합니다.
lambda x: datetime.strptime(x, "%Y%m%d_%H%M"):
- lambda 함수는 x라는 입력 값을 받아 datetime.strptime 함수를 사용해 문자열을 datetime 객체로 변환합니다.
- datetime.strptime(x, "%Y%m%d_%H%M"): 문자열 x를 지정된 형식("%Y%m%d_%H%M")에 따라 datetime 객체로 파싱합니다. 여기서 "%Y%m%d_%H%M"는 연도, 월, 일, 시간, 분의 형식을 나타냅니다.

python

코드 복사

df["_dt"] = df["dt"] + timedelta(hours=6) # 6 hours shift (18~09 -> 00~15)

df["dt"] 열의 각 datetime 객체에 timedelta(hours=6)를 더해 6시간을 더합니다.
timedelta(hours=6): 6시간의 시간 간격을 나타내는 timedelta 객체입니다.
결과는 새로운 열 "_dt"에 저장됩니다. 주석에 따르면, 이 작업은 특정 시간 범위를 조정하기 위해 수행됩니다(예: 18~~09시간 범위를 00~~15로 이동).

python

코드 복사

df["_date"] = df._dt.dt.date.astype(str)

df["_dt"].dt.date: "_dt" 열의 각 datetime 객체에서 날짜 부분을 추출합니다.
.astype(str): 날짜를 문자열 형식으로 변환합니다.
결과는 새로운 열 "_date"에 저장됩니다.

python

코드 복사

df["_hour"] = df._dt.dt.hour

df["_dt"].dt.hour: "_dt" 열의 각 datetime 객체에서 시간 부분을 추출합니다.
결과는 새로운 열 "_hour"에 저장됩니다.

python

코드 복사

최종적으로 변환된 데이터프레임을 출력하거나 반환합니다.

요약 및 사용 사례

이 코드의 목적은 df라는 데이터프레임의 날짜와 시간 데이터를 다음과 같은 방식으로 변환하는 것입니다:

문자열 형식의 날짜와 시간을 datetime 객체로 변환합니다.
6시간을 더해 시간대를 조정합니다.
변환된 날짜와 시간을 문자열로 저장합니다.
시간 부분만 별도의 열에 저장합니다.

이 코드는 다음과 같은 상황에서 유용합니다:

날짜와 시간 데이터를 표준화하거나 변환해야 할 때.
시간대 변환을 통해 데이터를 조정할 때.
특정 시간 범위를 분석하거나 시계열 데이터를 다룰 때.

이를 통해 데이터프레임의 날짜와 시간 데이터를 효율적으로 조작하고, 필요한 분석이나 변환을 쉽게 수행할 수 있습니다.

여기에서 왜 []를 쓰는 거야? df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M"))

ChatGPT

파이썬에서 데이터프레임(pandas.DataFrame)의 열을 선택하거나 새로운 열을 추가할 때, 대괄호 []를 사용합니다. pandas 라이브러리는 데이터 분석을 위해 널리 사용되는 라이브러리이며, 데이터프레임은 테이블 형식의 데이터를 저장하고 조작하는 데 사용됩니다. 다음은 코드에서 대괄호 []를 사용하는 이유와 그 사용법에 대한 설명입니다.

df["열이름"]의 의미

1. 기존 열 선택

df["열이름"] 형식은 데이터프레임 df에서 특정 열을 선택할 때 사용됩니다. 예를 들어, df["신고접수일시"]는 데이터프레임 df의 "신고접수일시"라는 이름의 열을 선택합니다.

2. 새로운 열 추가 또는 수정

df["새로운열이름"] = 값 형식은 데이터프레임 df에 새로운 열을 추가하거나, 기존 열을 수정할 때 사용됩니다. 예를 들어, df["dt"] = 값은 "dt"라는 이름의 새로운 열을 데이터프레임 df에 추가하고, 해당 열에 값을 할당합니다.

코드 설명

python

코드 복사

df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M"))

이 코드는 데이터프레임 df에 "dt"라는 새로운 열을 추가하고, "신고접수일시" 열의 값을 변환하여 해당 열에 저장합니다. 각 단계는 다음과 같습니다:

df["신고접수일시"]:
- 데이터프레임 df에서 "신고접수일시"라는 기존 열을 선택합니다. 이 열은 아마도 날짜와 시간을 나타내는 문자열을 포함하고 있을 것입니다.
.apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M")):
- apply 메서드는 데이터프레임의 각 요소에 함수를 적용합니다. 여기서 lambda x: datetime.strptime(x, "%Y%m%d_%H%M")는 각 요소 x에 대해 datetime.strptime(x, "%Y%m%d_%H%M") 함수를 적용하는 익명 함수입니다.
- datetime.strptime(x, "%Y%m%d_%H%M")는 문자열 x를 파싱하여 datetime 객체로 변환합니다. 예를 들어, "20230531_1234"라는 문자열을 datetime 객체로 변환합니다.
df["dt"] = ...:
- 변환된 datetime 객체들을 "dt"라는 새로운 열에 저장합니다. 이로써 데이터프레임 df에는 "신고접수일시" 열에 있는 문자열 데이터를 datetime 객체로 변환한 결과가 "dt" 열에 추가됩니다.

요약

대괄호 []를 사용하는 이유는 데이터프레임의 특정 열을 선택하거나 새로운 열을 추가하기 위해서입니다. pandas 라이브러리에서 데이터프레임의 열을 선택하거나 조작할 때는 항상 대괄호를 사용하여 열 이름을 지정합니다. 이 구문을 통해 데이터프레임을 유연하게 다루고 원하는 데이터를 쉽게 추출하거나 변환할 수 있습니다.

apply함수

ChatGPT

apply() 함수는 pandas 라이브러리의 강력한 도구로, 데이터프레임의 행이나 열에 함수를 적용할 수 있게 해줍니다. 이 함수는 데이터 분석과 변환 작업을 효율적으로 수행할 수 있도록 도와줍니다.

apply() 함수의 기본 구문

python

코드 복사

DataFrame.apply(func, axis=0, raw=False, result_type=None, args=(), **kwds)

func: 각 행이나 열에 적용할 함수입니다.
axis: 함수가 적용될 축입니다. 0이면 각 열(column)에 적용되고, 1이면 각 행(row)에 적용됩니다.
raw: True이면 데이터프레임의 값을 넘겨주고, False이면 시리즈 객체를 넘겨줍니다.
result_type: 결과의 유형을 지정합니다. 'expand', 'reduce', 'broadcast' 중 하나를 사용할 수 있습니다.
args, **kwds: 함수에 추가적으로 전달할 인수들입니다.

예시들

1. 각 열에 함수 적용

각 열의 최대값과 최소값의 차이를 계산하는 함수 예시입니다.

python

코드 복사

import pandas as pd df = pd.DataFrame({ 'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9] }) # 각 열에 최대값과 최소값의 차이를 계산하는 함수 적용 result = df.apply(lambda x: x.max() - x.min()) print(result)

출력:

css

코드 복사

A 2 B 2 C 2 dtype: int64

2. 각 행에 함수 적용

각 행의 합계를 계산하는 함수 예시입니다.

python

코드 복사

# 각 행에 합계를 계산하는 함수 적용 result = df.apply(lambda x: x.sum(), axis=1) print(result)

출력:

코드 복사

0 12 1 15 2 18 dtype: int64

3. 복잡한 변환 작업

데이터프레임의 특정 열을 변환하는 복잡한 예시입니다. 이 예시에서는 문자열로 저장된 날짜를 datetime 객체로 변환하고, 6시간을 더한 후 새로운 열에 저장합니다.

python

코드 복사

import pandas as pd from datetime import datetime, timedelta # 데이터프레임 생성 df = pd.DataFrame({ '신고접수일시': ['20230531_1230', '20230601_1545', '20230602_0815'] }) # 문자열을 datetime 객체로 변환하고 6시간 더하기 df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M")) df["_dt"] = df["dt"] + timedelta(hours=6) # 결과 확인 print(df)

출력:

yaml

코드 복사

신고접수일시 dt _dt 0 20230531_1230 2023-05-31 12:30:00 2023-05-31 18:30:00 1 20230601_1545 2023-06-01 15:45:00 2023-06-01 21:45:00 2 20230602_0815 2023-06-02 08:15:00 2023-06-02 14:15:00

apply() 함수의 사용 사례

데이터 변환: 문자열을 날짜 형식으로 변환하거나, 특정 형식의 데이터를 다른 형식으로 변환할 때.
데이터 계산: 각 열이나 행에 대해 합계, 평균, 최대값, 최소값 등의 계산을 할 때.
데이터 정리: 복잡한 데이터 정리 작업을 수행할 때, 예를 들어, 텍스트 데이터를 처리하거나 여러 열의 데이터를 조합할 때.

주의사항

apply() 함수는 데이터프레임의 각 요소에 대해 함수를 적용하기 때문에, 큰 데이터프레임에 대해 복잡한 작업을 수행할 경우 성능이 저하될 수 있습니다. 이 경우 벡터화 연산을 고려해볼 수 있습니다.
단일 열에 대해 함수를 적용하려면 apply() 대신 map()이나 applymap() 함수를 사용할 수 있습니다. map()은 시리즈에 적용되며, applymap()은 데이터프레임의 각 요소에 대해 함수를 적용합니다.

apply() 함수는 매우 유연하고 강력한 도구로, 다양한 데이터 변환 및 처리 작업을 간단하게 수행할 수 있도록 도와줍니다.

strptime함수

ChatGPT

strptime 함수는 datetime 모듈에서 제공하는 함수로, 문자열을 특정 형식의 datetime 객체로 변환하는 데 사용됩니다. 이 함수는 주로 날짜와 시간 데이터를 파싱할 때 사용됩니다. strptime 함수는 string parse time의 약자입니다.

strptime 함수의 기본 구문

python

코드 복사

datetime.strptime(date_string, format)

date_string: 파싱할 날짜와 시간 문자열입니다.
format: 문자열이 어떤 형식인지 지정하는 형식 문자열입니다.

형식 문자열의 구성 요소

strptime 함수는 형식 문자열을 사용하여 입력 문자열이 어떤 방식으로 날짜와 시간을 표현하는지 지정합니다. 형식 문자열은 다음과 같은 서식 지정을 포함할 수 있습니다:

%Y: 4자리 연도 (예: 2023)
%m: 2자리 월 (01부터 12)
%d: 2자리 일 (01부터 31)
%H: 2자리 시간 (24시간제, 00부터 23)
%M: 2자리 분 (00부터 59)
%S: 2자리 초 (00부터 59)

예시들

1. 기본 사용법

python

코드 복사

from datetime import datetime # 문자열을 datetime 객체로 변환 date_string = "2023-05-31 12:30:45" format = "%Y-%m-%d %H:%M:%S" date_object = datetime.strptime(date_string, format) print(date_object) # 출력: 2023-05-31 12:30:45

2. 다른 형식의 문자열 파싱

python

코드 복사

# 다른 형식의 날짜 문자열 date_string = "31/05/2023 12:30" format = "%d/%m/%Y %H:%M" date_object = datetime.strptime(date_string, format) print(date_object) # 출력: 2023-05-31 12:30:00

3. 시간만 포함된 문자열 파싱

python

코드 복사

# 시간만 포함된 문자열 time_string = "14:45:30" format = "%H:%M:%S" time_object = datetime.strptime(time_string, format) print(time_object) # 출력: 1900-01-01 14:45:30

datetime 객체는 날짜와 시간을 모두 포함해야 하기 때문에, 시간만 포함된 문자열을 파싱할 경우 기본적으로 날짜 부분은 1900-01-01로 설정됩니다.

4. 사용자 정의 형식의 문자열 파싱

python

코드 복사

# 사용자 정의 형식의 날짜 문자열 date_string = "20230531_1230" format = "%Y%m%d_%H%M" date_object = datetime.strptime(date_string, format) print(date_object) # 출력: 2023-05-31 12:30:00

코드 내 사용 사례

다음은 strptime 함수를 사용하여 데이터프레임의 문자열 열을 datetime 객체로 변환하는 예시입니다:

python

코드 복사

import pandas as pd from datetime import datetime # 데이터프레임 생성 df = pd.DataFrame({ '신고접수일시': ['20230531_1230', '20230601_1545', '20230602_0815'] }) # 문자열을 datetime 객체로 변환 df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M")) print(df)

출력:

css

코드 복사

신고접수일시 dt 0 20230531_1230 2023-05-31 12:

2/2

여기에서 x가 어떻게 지정된건지 이해가 안돼 df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M"))

ChatGPT

df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M")) 코드에서 x가 어떻게 지정되는지 이해하기 위해 apply 함수가 어떻게 작동하는지 자세히 설명하겠습니다.

apply 함수의 작동 원리

apply 함수는 pandas의 Series 객체에 정의되어 있습니다. apply 함수는 시리즈의 각 요소에 대해 지정된 함수를 적용하고, 그 결과를 새로운 시리즈로 반환합니다.

각 요소에 대한 함수 적용

df["신고접수일시"]는 데이터프레임 df에서 "신고접수일시"라는 열을 선택합니다. 이 선택된 열은 pandas.Series 객체입니다.
apply 함수는 이 시리즈의 각 요소에 대해 지정된 함수를 적용합니다.
lambda x: datetime.strptime(x, "%Y%m%d_%H%M")는 익명 함수로, x는 시리즈의 각 요소를 나타냅니다.

예시 코드

다음 예시 코드를 통해 각 단계가 어떻게 작동하는지 살펴보겠습니다:

python

코드 복사

import pandas as pd from datetime import datetime # 데이터프레임 생성 df = pd.DataFrame({ '신고접수일시': ['20230531_1230', '20230601_1545', '20230602_0815'] }) # 문자열을 datetime 객체로 변환하는 함수 정의 df["dt"] = df["신고접수일시"].apply(lambda x: datetime.strptime(x, "%Y%m%d_%H%M")) print(df)

이 코드를 통해 apply 함수의 작동 방식을 단계별로 설명하면 다음과 같습니다:

df["신고접수일시"]는 다음과 같은 시리즈를 반환합니다:
vbnet
코드 복사

0 20230531_1230 1 20230601_1545 2 20230602_0815 Name: 신고접수일시, dtype: object
apply 함수는 이 시리즈의 각 요소에 대해 람다 함수를 적용합니다:
- 첫 번째 요소인 '20230531_1230'에 대해 lambda x: datetime.strptime(x, "%Y%m%d_%H%M")가 호출됩니다. 여기서 x는 '20230531_1230'이 됩니다.
- datetime.strptime('20230531_1230', "%Y%m%d_%H%M")는 datetime 객체 2023-05-31 12:30:00를 반환합니다.
- 동일한 과정이 나머지 요소에 대해서도 반복됩니다.
결과적으로, 새로운 시리즈가 생성되고, 이 시리즈는 "dt"라는 새로운 열로 df에 추가됩니다.

전체 코드의 흐름

df["신고접수일시"] 열의 각 요소에 대해 람다 함수가 적용됩니다.
각 요소는 문자열에서 datetime 객체로 변환됩니다.
변환된 결과가 새로운 시리즈로 반환되고, 이 시리즈는 "dt" 열로 추가됩니다.

적용 후 데이터프레임

적용 후 데이터프레임은 다음과 같이 됩니다:

yaml

코드 복사

신고접수일시 dt 0 20230531_1230 2023-05-31 12:30:00 1 20230601_1545 2023-06-01 15:45:00 2 20230602_0815 2023-06-02 08:15:00

이렇게 apply 함수는 시리즈의 각 요소에 대해 지정된 함수를 적용하고, 그 결과를 새로운 시리즈로 반환하는 방식으로 작동합니다. lambda x: ...에서 x는 시리즈의 각 요소를 나타내며, 이 요소들에 대해 변환 작업이 수행됩니다.

“신고접수일시”

ChatGPT는 실수를 할 수 있습니다. 중요한 정보를 확인하세요.

ChatGPT

넘파이 array함수 활용법(1)_파이썬 기초

디지털랫드 — Fri, 31 May 2024 18:10:48 +0900

넘파이 라이브러리 중 array함수의 기본 활용법.

-[] , () 모두 프린트 했을땐 []형식으로 출력된다.

-차원은 0차원부터 n차원까지 나타낼 수 있다.

-array함수의 쓰임; n차원으로 정렬해준다.

*팁; 쉽게 생각하면 출력했을 때 맨 첫줄 [ 개수가 n개라면 n차원

함수를 이용해서 차원을 아는 방법도 있다. (ndim)

-ndim 함수로 차원을 알 수 있다.

*ndmin = n 으로 최소차원을 지정해줄 수 있다.

indexing 가능

-이름 지정해놓고 꺼내오기도 가능하다.

-0,1 은 0번째 위치의 1번째 위치의 원소

-0,1,2 는 0번째 위치의 1번째 위치의 2번째 원소

...

*참고로 [[1],[2]] 원소가 이런식으로 되어있을때

[1]을 출력하려면? arr[0]

1을 출력하려면? arr[0,0]

slicing 가능

slicing

-slicing의 규칙;

-[a:b] 는 a번째 원소 포함 ~ b번째 원소 미포함

-[a:b:c] 는 a번째 원소 포함 ~ b번째 원소 미포함 중에서 c칸뛰기.

-[::a] 는 처음 포함~ 끝 포함 중에서 a칸 뛰기

-[a:]는 a번째 원소 포함~ 끝 포함 까지

-[:a]는 처음 포함 a번째 미포함 까지

*참고 ; 맨 처음 원소는 항상 0이며, 맨 뒤 원소의 위치는 항상 원소개수+1 or -1이다.

indexing + slicing 혼합예제

-[위치/슬라이싱, 위치/슬라이싱, ....]

- 1번째 위치 원소의 1부터 4번째 전까지의 위치.

- 0부터 2번째 전까지의 원소들의 각 2번째 위치.

- 0부터 2번째 전까지의 원소들의 각 1부터 4번째 전까지의 위치

type확인하기; dtype함수

-잘못 쓴 원소는 없는지 디버깅에 활용할 수 있다.

type바꾸기; astype 함수

-예로 문자 하나 들어있으면 이렇게 오류난다.

-astype함수로 타입을 바꿀 수 있다. (위의 예시에서는 새 변수 newarr에 지정해줬지만, arr.astype해도 가능하다.

copy/ view함수.

shape함수

-copy함수

-자주 쓰이는 함수 중 하나로, x= arr 가 아닌 ,x= arr.copy() 를 쓰면 기존 arr이 업데이트 되는 걸 방지할 수 있다,

-한마디로 기존 변수를 복사해서 새로운 변수를 만드는 거다.

(사진 원본 수정하고 새로 저장하기 기능과 비슷하다)

*활용; 기존 array를 보존하면서 특정 부분만 업데이트한 array를 사용해야한다면 copy함수를 쓰면 좋겠군

-shape함수

(n차원일때의 원소의 개수, n-1차원일때의 원소의 개수,.....)

-nested array 에서의 shape 함수

-첫번째 예시는 설정한 5차원보다 낮아 차원설정이 가능하지만, 두번째 예시는 5차원보다 높아 차원설정이 불가능하다.

-첫번째 예시; ndmin=5를 사용하여 최소 5차원 배열을 만들고, 입력 리스트 [1, 2, 3, 4]는 1차원 리스트이지만 최소 5차원을 강제로 적용한다.

ndmin=5로 인해 최소 5차원이 적용되어, 입력 리스트가 (1, 1, 1, 1, 4) 모양으로 확장
배열의 모양은 (1, 1, 1, 1, 4) : 첫 4차원은 각각 1개의 요소를 가지며 마지막 5차원에 4개의 요소가 있음을 의미.

-두번째 예시;

주어진 입력 리스트는 이미 9차원의 중첩을 가지고 있으므로 ndmin=5는 추가적인 영향을 미치지 않는다.
배열의 모양은 (1, 1, 1, 1, 1, 1, 1, 4) : 첫 7차원은 각각 1개의 요소를 가지며 마지막 8차원에 4개의 요소가 있음을 의미.

-요약

첫 번째 코드는 [1, 2, 3, 4]라는 1차원 리스트를 최소 5차원으로 확장하여 (1, 1, 1, 1, 4) 모양을 가집니다.
두 번째 코드는 이미 9차원의 중첩 리스트 구조를 사용하여 (1, 1, 1, 1, 1, 1, 1, 4) 모양을 가집니다.

*왜 9차원의 배열인데 shape함수에서는 8차원까지의 원소만 나올까?

day1._1 확률변수(random variable:변할수 있는 수)r.v

디지털랫드 — Thu, 30 May 2024 15:17:08 +0900

(1)Random Variable. :<<<"확률론적 규칙을 기반으로" 변할 수 있는 수를 ‘확률변수’라고 말한다>>>

확률론적 규칙?

랜덤베리어블의 분포가 있는데 이 분포가 랜덤베리어블의 확률론적 규칙이 됨.

->분포유무가 랜덤베리어블 존재의 전제조건인가?

그렇다면,

‘모든 사건이 확률로 표현 가능하냐?’: 관점에 따라 다르다

상수(고정된 수)또한 변하는 수다. -베이지안기반

상수는 확률에의한 사건값이 아니다 - 논베이지안기반

ex.이름이 oo인 사람이 oo일 확률은?

베이지앙; 0과 100 둘 중에 나올 확률이므로 위 사건역시 확률료 표현 가능하다.

논베이지안; 확률이 아님

Ex. 키

변할 수 있는 수는 거의 다 확률변수..

(2)이산descrete(정해진 값 중 하나)………주사위값

/연속 확률변수 continuous. …….다트값

-무한과는 다른 개념이다. 이산확률변수이면서 가능한 값이 무한할 수 있음. …(범위안에서 수를 무한대로 나눠서 표현가능할수있겠다, 다트값 생각해보면..

연속 -> 이산 지정해줄때 어떤 데이터를 지정해야 유의미한지 고려해야함.

(3)PMF…이산확률일때의 분포/ descrete한 확률변수를 표현하는 확률분포

Px(x) := P(X=x)

>주사위 던졌을 때 나온 수를 x 라고 하고

이 x가 가지는 확률분포(함수)를 p(x)

라고 할 때 x=1,x=2,x=3…x=6에서의 p(x)값이

p(1), p(2)…p(6)과 같다.

라는 의미

x =: ‘뭐'

x를 ‘뭐'로 정의한다.

:이 정의하는 대상으로

예로 공평한 주사위 던졌을 때

x=1(1/6)

… x=6(1/6)

>p(x=1) =>1/6 …. p(x=6) => 1/6. >p(x=7) (x)

확통에서의 약속

p(X=x) -> px(x) -> P(x)

예) p(180) : p에 대해서 180에 해당하는 값을 찾아라.

<<<pmf는 아래 두 조건을 만족해야 함.>>>

-확률은 총합이 1이고

-음수일수없다

<가우시안 디스트리뷰션?? = normal distribution

(4)PDF :이산확률변수에 대한 분포/ 셀 수 없는 무한..?/

연속확률변수(containious r.v)에 대한 확률을 구할. 때는 특정한 하나에 대한 확률을 묻는 게 아니라, 범위를 정해주고 00에서00사이에 있을 확률은 몇이냐, 이렇게 물어봐야 정답을 알 수 있다.(넓이가 곧 확률임)

<<후보로 나온 게 무한대면 그 어떤 특정한 값 하나의 확률은 수학적으로 0이다.

:범위로 정해줘야 확률값을 정할 수 있다.(?)

pdf의 역할 : 확률을 넓이값으로 뱉어주는 게 pdf의 역할

넓이를 계산하는 , 그 값들을 측정하는 게 pdf다.>>

>아래 식은 정의(from gausiaain distribution). 가장 많이쓰이는 probability density function (pdf)

>위 그림에서 f(x)가 pdf임

>키의 분포 (연속 확률 변수에 대한 분포가 pdf)

>연속 확률 변수에 대한 확률은 pdf값을 적분을 통해서 다 더해줌.(넓이 구하려고)

즉, 이산확률분포는 pmf이고,

pmf 통한 아웃풋 자체가 확률값

연속확률분포는 pdf이고

pdf 내 범위-적분으로 구한 넓이 값이 곧 확률값

연속확률 변수의 값 하나에 대한 확률값은 뭘까요? 0이다~ (연속확률변수 확률값은 pdf 내의 범위에 대한 적분을 해서 넓이를 구하는데,

특정한 확률값 하나에 대해서는 범위가 0이므로)

pdf자체가 확률은 아니기 때문에 pdf값이 0보다 낮을 순 없고

그 pdf를 전체 적분한 게 확률이니까 그게 확률은 1이다.

(모든 가능한 변수에서 pdf범위를 다 합산한 값이 1이므로)

즉, 0<= pdf의 넓이(연속확률변수의 가능한 확률값) < =1

Pdf, pmf 함수 식이 확률에따라 달라지는 게 아니고~ 확률변수가 무엇이냐에 따라서 분포가 달라진다!

프로젝트에서 이산확률변수를 pdf로 표현하는 경우보다(막대를 이어야 하나? 하지만 정확한 값은 아니다 시도해볼수는 있음),

연속확률변수를 pmf로 표현하는 경우가 많다...

확률분포; 확률값들을 나열(?)

보통

pdf는 f(x)

cdf는 F(x)

>cdf의 특징

>3.마무~마무 :적분구간이 없으니까 0

마무~무 :모든구간에서 적분 1

>2.단조증가함수란? x그대로 유지되거나, 더 줄어들 수는 없다! (위의 첫번째 그래프처럼 죽 올라가거나)유지되거나 해야함,

두번째처럼 꺾이는 부분이 없어야함.

>1. cdf는 단조증가함수의 면적이므로, 위처럼 x값이 커질수록 면적은 늘어나거나 유지되거나...(줄어들일 없다는 것임)

(5)CDF ..마이너스 무한대에서 x까지의 넓이를 구한 것이 cdf이다.

는, 단조증가함수…

> 적분한 값. 1-(마이너스 무한대부터 x까지의 범위) = x부터 무한대까지의 범위

>위에서 아래를 빼면 딱 맨 위의 범위가 나옴.

즉 a부터b의 pdf 가 b와a의 cdf로 유도하는 원리.

그래서 cdf, 언제 쓰느냐?

>pdf구할때 주로 쓰겠다..

머신러닝할때 pdf많이 쓰므로 (p(x)로 표현해야 하니까)

(6)PDF를 적분한 값이 cdf이므로

cdf를 미분하면 pdf

Cdf(F(x)) 적분 = pdf(f(x))

Pdf(f(x))미분 = cdf(F(x))

(7) 기대값과 분산.

(데이터가 주어지면 평균, 주어지지 않으면 기댓값,

확률분포의 평균을 계산하면 기댓값)

기댓값, 평균은 모든 정의역에 대해서 구해야하는,

x에 대한 평균값을 구할 때의 공식

위에가 pmf 아래가 pdf

g(x)에 대한 평균값을 구할 때의 공식

위에가 pmf(description), 아래가 pdf(integral)

>Ex 는 x변수에 대한 평균을 구하겠다 라는 뜻임

>g(x)라는 특정함수의 평균을 구하고 싶으면 위처럼 x의 pmf에 함수 g(x)를 곱해준다.

x에 대한 분산: x에 대한 평균과 그 x가 얼마나 떨어져 있는지 빼기 기법으로 나타내고 그 떨어져 있는 거리를 평균으로 취해주는 게 ‘분산’이다.

>x^2의 평균 - (x의 평균)^2

확률변수 x 가 있다? <<<<<<확률변수? 변하는 값인데 분포에 따라 변하는 값이다.>>>>>>

-> 아 그럼 x에 대한 확률 분포가 있겠구나,

->x는 변화하는 값이겠구나.

모평균: 진짜 값들을 평균

표본평균: 샘플을 이용한 평균

day1._1 확률변수(random variable:변할수 있는 수)r.v

(1)Random Variable. :<<<"확률론적 규칙을 기반으로" 변할 수 있는 수를 ‘확률변수’라고 말한다>>>

확률론적 규칙?

랜덤베리어블의 분포가 있는데 이 분포가 랜덤베리어블의 확률론적 규칙이 됨.

->분포유무가 랜덤베리어블 존재의 전제조건인가?

그렇다면,

‘모든 사건이 확률로 표현 가능하냐?’: 관점에 따라 다르다

상수(고정된 수)또한 변하는 수다. -베이지안기반

상수는 확률에의한 사건값이 아니다 - 논베이지안기반

ex.이름이 oo인 사람이 oo일 확률은?

베이지앙; 0과 100 둘 중에 나올 확률이므로 위 사건역시 확률료 표현 가능하다.

논베이지안; 확률이 아님

Ex. 키

변할 수 있는 수는 거의 다 확률변수..

(2)이산descrete(정해진 값 중 하나)………주사위값

/연속 확률변수 continuous. …….다트값

연속 -> 이산 지정해줄때 어떤 데이터를 지정해야 유의미한지 고려해야함.

(3)PMF…이산확률일때의 분포/ descrete한 확률변수를 표현하는 확률분포

Px(x) := P(X=x)

>주사위 던졌을 때 나온 수를 x 라고 하고

이 x가 가지는 확률분포(함수)를 p(x)

라고 할 때 x=1,x=2,x=3…x=6에서의 p(x)값이

p(1), p(2)…p(6)과 같다.

라는 의미

x =: ‘뭐'

x를 ‘뭐'로 정의한다.

:이 정의하는 대상으로

예로 공평한 주사위 던졌을 때

x=1(1/6)

… x=6(1/6)

>p(x=1) =>1/6 …. p(x=6) => 1/6. >p(x=7) (x)

확통에서의 약속

p(X=x) -> px(x) -> P(x)

예) p(180) : p에 대해서 180에 해당하는 값을 찾아라.

<<<pmf는 아래 두 조건을 만족해야 함.>>>

-확률은 총합이 1이고

-음수일수없다

<가우시안 디스트리뷰션?? = normal distribution

(4)PDF :이산확률변수에 대한 분포/ 셀 수 없는 무한..?/

<<후보로 나온 게 무한대면 그 어떤 특정한 값 하나의 확률은 수학적으로 0이다.

:범위로 정해줘야 확률값을 정할 수 있다.(?)

pdf의 역할 : 확률을 넓이값으로 뱉어주는 게 pdf의 역할

넓이를 계산하는 , 그 값들을 측정하는 게 pdf다.>>

>아래 식은 정의(from gausiaain distribution). 가장 많이쓰이는 probability density function (pdf)

>위 그림에서 f(x)가 pdf임

>키의 분포 (연속 확률 변수에 대한 분포가 pdf)

>연속 확률 변수에 대한 확률은 pdf값을 적분을 통해서 다 더해줌.(넓이 구하려고)

즉, 이산확률분포는 pmf이고,

pmf 통한 아웃풋 자체가 확률값

연속확률분포는 pdf이고

pdf 내 범위-적분으로 구한 넓이 값이 곧 확률값

연속확률 변수의 값 하나에 대한 확률값은 뭘까요? 0이다~ (연속확률변수 확률값은 pdf 내의 범위에 대한 적분을 해서 넓이를 구하는데,

특정한 확률값 하나에 대해서는 범위가 0이므로)

pdf자체가 확률은 아니기 때문에 pdf값이 0보다 낮을 순 없고

그 pdf를 전체 적분한 게 확률이니까 그게 확률은 1이다.

(모든 가능한 변수에서 pdf범위를 다 합산한 값이 1이므로)

즉, 0<= pdf의 넓이(연속확률변수의 가능한 확률값) < =1

Pdf, pmf 함수 식이 확률에따라 달라지는 게 아니고~ 확률변수가 무엇이냐에 따라서 분포가 달라진다!

프로젝트에서 이산확률변수를 pdf로 표현하는 경우보다(막대를 이어야 하나? 하지만 정확한 값은 아니다 시도해볼수는 있음),

연속확률변수를 pmf로 표현하는 경우가 많다...

확률분포; 확률값들을 나열(?)

보통

pdf는 f(x)

cdf는 F(x)

>cdf의 특징

>3.마무~마무 :적분구간이 없으니까 0

마무~무 :모든구간에서 적분 1

>2.단조증가함수란? x그대로 유지되거나, 더 줄어들 수는 없다! (위의 첫번째 그래프처럼 죽 올라가거나)유지되거나 해야함,

두번째처럼 꺾이는 부분이 없어야함.

>1. cdf는 단조증가함수의 면적이므로, 위처럼 x값이 커질수록 면적은 늘어나거나 유지되거나...(줄어들일 없다는 것임)

(5)CDF ..마이너스 무한대에서 x까지의 넓이를 구한 것이 cdf이다.

는, 단조증가함수…

> 적분한 값. 1-(마이너스 무한대부터 x까지의 범위) = x부터 무한대까지의 범위

>위에서 아래를 빼면 딱 맨 위의 범위가 나옴.

즉 a부터b의 pdf 가 b와a의 cdf로 유도하는 원리.

그래서 cdf, 언제 쓰느냐?

>pdf구할때 주로 쓰겠다..

머신러닝할때 pdf많이 쓰므로 (p(x)로 표현해야 하니까)

(6)PDF를 적분한 값이 cdf이므로

cdf를 미분하면 pdf

Cdf(F(x)) 적분 = pdf(f(x))

Pdf(f(x))미분 = cdf(F(x))

(7) 기대값과 분산.

(데이터가 주어지면 평균, 주어지지 않으면 기댓값,

확률분포의 평균을 계산하면 기댓값)

기댓값, 평균은 모든 정의역에 대해서 구해야하는,

x에 대한 평균값을 구할 때의 공식

위에가 pmf 아래가 pdf

g(x)에 대한 평균값을 구할 때의 공식

위에가 pmf(description), 아래가 pdf(integral)

>Ex 는 x변수에 대한 평균을 구하겠다 라는 뜻임

>g(x)라는 특정함수의 평균을 구하고 싶으면 위처럼 x의 pmf에 함수 g(x)를 곱해준다.

x에 대한 분산: x에 대한 평균과 그 x가 얼마나 떨어져 있는지 빼기 기법으로 나타내고 그 떨어져 있는 거리를 평균으로 취해주는 게 ‘분산’이다.

>x^2의 평균 - (x의 평균)^2

확률변수 x 가 있다? <<<<<<확률변수? 변하는 값인데 분포에 따라 변하는 값이다.>>>>>>

-> 아 그럼 x에 대한 확률 분포가 있겠구나,

->x는 변화하는 값이겠구나.

모평균: 진짜 값들을 평균

표본평균: 샘플을 이용한 평균

day1._1 확률변수(random variable:변할수 있는 수)r.v

(1)Random Variable. :<<<"확률론적 규칙을 기반으로" 변할 수 있는 수를 ‘확률변수’라고 말한다>>>

확률론적 규칙?

랜덤베리어블의 분포가 있는데 이 분포가 랜덤베리어블의 확률론적 규칙이 됨.

->분포유무가 랜덤베리어블 존재의 전제조건인가?

그렇다면,

‘모든 사건이 확률로 표현 가능하냐?’: 관점에 따라 다르다

상수(고정된 수)또한 변하는 수다. -베이지안기반

상수는 확률에의한 사건값이 아니다 - 논베이지안기반

ex.이름이 oo인 사람이 oo일 확률은?

베이지앙; 0과 100 둘 중에 나올 확률이므로 위 사건역시 확률료 표현 가능하다.

논베이지안; 확률이 아님

Ex. 키

변할 수 있는 수는 거의 다 확률변수..

(2)이산descrete(정해진 값 중 하나)………주사위값

/연속 확률변수 continuous. …….다트값

연속 -> 이산 지정해줄때 어떤 데이터를 지정해야 유의미한지 고려해야함.

(3)PMF…이산확률일때의 분포/ descrete한 확률변수를 표현하는 확률분포

Px(x) := P(X=x)

>주사위 던졌을 때 나온 수를 x 라고 하고

이 x가 가지는 확률분포(함수)를 p(x)

라고 할 때 x=1,x=2,x=3…x=6에서의 p(x)값이

p(1), p(2)…p(6)과 같다.

라는 의미

x =: ‘뭐'

x를 ‘뭐'로 정의한다.

:이 정의하는 대상으로

예로 공평한 주사위 던졌을 때

x=1(1/6)

… x=6(1/6)

>p(x=1) =>1/6 …. p(x=6) => 1/6. >p(x=7) (x)

확통에서의 약속

p(X=x) -> px(x) -> P(x)

예) p(180) : p에 대해서 180에 해당하는 값을 찾아라.

<<<pmf는 아래 두 조건을 만족해야 함.>>>

-확률은 총합이 1이고

-음수일수없다

<가우시안 디스트리뷰션?? = normal distribution

(4)PDF :이산확률변수에 대한 분포/ 셀 수 없는 무한..?/

<<후보로 나온 게 무한대면 그 어떤 특정한 값 하나의 확률은 수학적으로 0이다.

:범위로 정해줘야 확률값을 정할 수 있다.(?)

pdf의 역할 : 확률을 넓이값으로 뱉어주는 게 pdf의 역할

넓이를 계산하는 , 그 값들을 측정하는 게 pdf다.>>

>아래 식은 정의(from gausiaain distribution). 가장 많이쓰이는 probability density function (pdf)

>위 그림에서 f(x)가 pdf임

>키의 분포 (연속 확률 변수에 대한 분포가 pdf)

>연속 확률 변수에 대한 확률은 pdf값을 적분을 통해서 다 더해줌.(넓이 구하려고)

즉, 이산확률분포는 pmf이고,

pmf 통한 아웃풋 자체가 확률값

연속확률분포는 pdf이고

pdf 내 범위-적분으로 구한 넓이 값이 곧 확률값

연속확률 변수의 값 하나에 대한 확률값은 뭘까요? 0이다~ (연속확률변수 확률값은 pdf 내의 범위에 대한 적분을 해서 넓이를 구하는데,

특정한 확률값 하나에 대해서는 범위가 0이므로)

pdf자체가 확률은 아니기 때문에 pdf값이 0보다 낮을 순 없고

그 pdf를 전체 적분한 게 확률이니까 그게 확률은 1이다.

(모든 가능한 변수에서 pdf범위를 다 합산한 값이 1이므로)

즉, 0<= pdf의 넓이(연속확률변수의 가능한 확률값) < =1

Pdf, pmf 함수 식이 확률에따라 달라지는 게 아니고~ 확률변수가 무엇이냐에 따라서 분포가 달라진다!

프로젝트에서 이산확률변수를 pdf로 표현하는 경우보다(막대를 이어야 하나? 하지만 정확한 값은 아니다 시도해볼수는 있음),

연속확률변수를 pmf로 표현하는 경우가 많다...

확률분포; 확률값들을 나열(?)

보통

pdf는 f(x)

cdf는 F(x)

>cdf의 특징

>3.마무~마무 :적분구간이 없으니까 0

마무~무 :모든구간에서 적분 1

>2.단조증가함수란? x그대로 유지되거나, 더 줄어들 수는 없다! (위의 첫번째 그래프처럼 죽 올라가거나)유지되거나 해야함,

두번째처럼 꺾이는 부분이 없어야함.

>1. cdf는 단조증가함수의 면적이므로, 위처럼 x값이 커질수록 면적은 늘어나거나 유지되거나...(줄어들일 없다는 것임)

(5)CDF ..마이너스 무한대에서 x까지의 넓이를 구한 것이 cdf이다.

는, 단조증가함수…

> 적분한 값. 1-(마이너스 무한대부터 x까지의 범위) = x부터 무한대까지의 범위

>위에서 아래를 빼면 딱 맨 위의 범위가 나옴.

즉 a부터b의 pdf 가 b와a의 cdf로 유도하는 원리.

그래서 cdf, 언제 쓰느냐?

>pdf구할때 주로 쓰겠다..

머신러닝할때 pdf많이 쓰므로 (p(x)로 표현해야 하니까)

(6)PDF를 적분한 값이 cdf이므로

cdf를 미분하면 pdf

Cdf(F(x)) 적분 = pdf(f(x))

Pdf(f(x))미분 = cdf(F(x))

(7) 기대값과 분산.

(데이터가 주어지면 평균, 주어지지 않으면 기댓값,

확률분포의 평균을 계산하면 기댓값)

기댓값, 평균은 모든 정의역에 대해서 구해야하는,

x에 대한 평균값을 구할 때의 공식

위에가 pmf 아래가 pdf

g(x)에 대한 평균값을 구할 때의 공식

위에가 pmf(description), 아래가 pdf(integral)

>Ex 는 x변수에 대한 평균을 구하겠다 라는 뜻임

>g(x)라는 특정함수의 평균을 구하고 싶으면 위처럼 x의 pmf에 함수 g(x)를 곱해준다.

x에 대한 분산: x에 대한 평균과 그 x가 얼마나 떨어져 있는지 빼기 기법으로 나타내고 그 떨어져 있는 거리를 평균으로 취해주는 게 ‘분산’이다.

>x^2의 평균 - (x의 평균)^2

확률변수 x 가 있다? <<<<<<확률변수? 변하는 값인데 분포에 따라 변하는 값이다.>>>>>>

-> 아 그럼 x에 대한 확률 분포가 있겠구나,

->x는 변화하는 값이겠구나.

모평균: 진짜 값들을 평균

표본평균: 샘플을 이용한 평균

day1._1 확률변수(random variable:변할수 있는 수)r.v

(1)Random Variable. :<<<"확률론적 규칙을 기반으로" 변할 수 있는 수를 ‘확률변수’라고 말한다>>>

<div style="color: #000000; text-a

"누적 데이터"와 "데이터프레임"의 차이

디지털랫드 — Sun, 12 May 2024 17:29:24 +0900

"누적 데이터"와 "데이터프레임"은 데이터를 저장하고 관리하는 데 사용되는 두 가지 다른 개념입니다.

1. **누적 데이터 (Accumulated Data)**:
   - 누적 데이터는 데이터의 총계 또는 합계를 나타내는 개념입니다.
   - 보통 누적 데이터는 여러 번의 이벤트나 작업을 통해 계속해서 쌓이거나 늘어납니다.
   - 예를 들어, 게임에서 승리한 횟수를 누적 데이터로 저장할 수 있습니다. 각 게임의 결과를 저장하고 새로운 게임 결과가 있을 때마다 누적된 승리 횟수를 증가시키는 방식으로 사용될 수 있습니다.

2. **데이터프레임 (DataFrame)**:
   - 데이터프레임은 테이블 형식의 데이터 구조를 나타내는 개념입니다.
   - 보통 데이터프레임은 열과 행으로 구성되며, 각 열은 데이터의 특정 유형을 나타내고 각 행은 데이터 레코드를 나타냅니다.
   - 데이터프레임은 주로 데이터를 구조화하고 분석하는 데 사용됩니다. 예를 들어, 판다스 라이브러리에서 제공하는 데이터프레임은 데이터 조작과 분석을 위한 강력한 도구입니다. 데이터프레임을 사용하면 데이터를 쉽게 필터링하고 정렬하고 시각화할 수 있습니다.

따라서 "누적 데이터"는 데이터의 총계를 나타내는 개념이고, "데이터프레임"은 테이블 형식의 데이터 구조를 나타내는 개념입니다. 누적 데이터는 주로 일련의 작업에서 데이터를 쌓거나 늘리는 데 사용되고, 데이터프레임은 주로 데이터를 구조화하고 분석하는 데 사용됩니다.

Database - (1) RDBMS란?

디지털랫드 — Tue, 9 Apr 2024 19:41:12 +0900

(1) RDBMS란?

:relational data base management system

으로 기존 DBMS의 고급화버전이라고 생각하시면 됩니다.

원래는 우리가 폴더에 파일을 하나하나 정리하듯, 파일로 데이터를 관리하는 식이었습니다. 하지만 1980년대 컴퓨터가 상용화되었죠, 데이터규모가 걷잡을 수 없이 거대해지자 '데이터 창고'라는 뜻의 data base에서 한꺼번에 파일을 관리하게 되었죠. 데이터를 체계적으로 관리하기 위해 물류창고 같은 곳에 데이터를 쏟아부어 통합적으로 관리를 시작하게 된거예요. 그렇다면 물류창고를 관리하는 사람도 있어야 겠죠? 통합된 환경에서 데이터를 체계적으로 관리하는 시스템, 물류창고의 관리자! .. 우린 그걸(데이터베이스를 관리하는 시스템) DBMS라고 불렀습니다. 윈도우의 레지스트리,xml등이 있죠. 보다 쉽게 예로 들면 우리가 무언가 파일을 검색할 때 데이터 검색창(finder)을 통해서 파일을 찾고 관리하게 되었습니다. 그렇다면 RDBMS는 DBMS의 고급화버전이라고 했죠, 무엇이 달라진 걸까요?

컴퓨터의 역할이 커지면 커질수록 온갖 정보들이 데이터화 되어 기업간 거래량도 많아지니, 대규모 데이터를 관리하면서 수많은 사용자가 접근할 수 있는 환경이 필요해졌어요.

우선, 컴퓨터 한대, 즉 사용자 한명을 관리할 수 있었던 기존 dbms와 달리, rdbms는 수많은 사용자들이 데이터에 접근할 수 있도록 만들었습니다. 사람들은 기존

dbms를 사용하면서 이런 불만들이 생기곤 했었죠.

여기에 뭐가 있는지, 파일을 하나하나 열어봐야 했죠.

내가 회의자료를 만들었을떄 (메일 전송없이) 여러명의 사용자의 컴퓨터 속에서 확인가능하면 얼마나 좋을까? (단일사용자만 지원)

'과제_최최최종'이라고 쓰여진 파일에 내 학번을 잘못써서 그거 하나 수정했는데 다른 원본들도 한꺼번에 수정할 수는 없을까?(통일성을 유지하면서 일부 데이터 수정의 어려움)

그밖에,.. 파일을 열기 위해 매번 해당 application 이 필요하다든지... 데이터를 여러형태로 저장했을때 통일되지 못하는 점들 등등에

사용자들의 불편함이 이만저만 아니었어요.

전반적으로 통일성, 통합성, 접근성을 용이하게 하기 위해 RDBMS가 탄생했습니다!

RDBMS의 relation은 table이라는 뜻과 같아요.

즉 데이터를 파일형태로 저장하는 기존방식과 달리, 테이블 형태로 저장하죠.

ted codd라는 사람이 1981년 고안한 개념이에요.

RDBMS라는 테이블식 데이터저장 시스템을 고안한 테드(이름마저)코드

그렇다면, 데이터베이스는 어떻게 구성되어 있는 걸까요?

크게 키값, 열, 컬럼, 테이블

이렇게 4가지 요소로 구성되어 있고

각 요소의 핵심키워드는 다음과 같아요.

key=indentifier

row=tuple

column=attribute

table=relation

보기 쉽게 그림으로 정리하자면,

테이블의 구성요소

이렇게 되겠죠.

그렇다면 우리가 배우는 SQL은 어떤 개념일까요?

앞서 프로그래밍언어는 컴퓨터가 이해하기 좋은 언어라고 했었죠.

컴퓨터에게 일을 시키게 하기 위해선 컴퓨터가 알아들을 수 있는 언어로 말을 해야 한다고요.

비슷한 원리로, DB(데이터베이스)를 다루기 위한 언어 체계가 SQL입니다.

<DB의 장점인, 데이터를 효율적으로 관리하면 무엇이 좋을까? ->>>>데이터 무결성(acid porperty)>

ACID property 이란?
....데이터 무결성

데이터의 무결성을 보장하기 위해서 데이터베이스 시스템은 다음의 트랜잭션 성질들을 지원해야 한다.

* Atomiciy (원자성)

- 트랜잭션의 모든 연산들이 정상적으로 수행 완료 되거나 아니면 전혀 어떠한 연산도 수행되지 않은 원래 상태가 되도록 해야 한다. (All or Nothing)

* Consistency (일관성)

- 동시에 수행되는 트랜잭션이 없는 상태에서의 트랜잭션 수행이 데이터베이스의 일관성을 보존해야 한다.

* Isolation (격리성)

- 여러 트랜잭션을 동시에 수행되더라도 모든 트랜잭션 T1과 T2의 쌍에 대하여 데이터베이스 시스템은 T1에게 T1이 시작되기 전에 T2가 수행을 끝마쳤거나 아니면 T1이 수행을 끝마친 후에 T2가 수행을 시작하는 것과 같이 되도록 보장해야 한다. 따라서 각 트랜잭션은 시스템에서 다른 트랜잭션이 동시에 수행하고 있는지를 알지 못한다. 간단히 말하면 연산의 중간결과에 다른 트랜잭션이나 작업이 접근 할 수 없다는 성질이다.

* Durablility (지속성)

- 트랜잭션이 성공적으로 수행 완료되고 나면 트랜잭션에 의해 데이터베이스에 변경된 내용은 시스템에 오류가 발생한다 하더라도 지속되어야 한다.

이러한 성질들의 첫 글자를 따서 ACID property 라고 부릅니다.

[출처] [Tip] ACID property 란?|작성자 열정발군

데이터 베이스는 기본적으로 다른 프로그래밍 언어를 사용해

"절차적"으로 명령을 수행할 수 있는데요,

(원래 사용하던, 혹은 목적에 맞게 프로그래밍 언어를 사용하면 정말 편리하겠죠?)

DB가 가진 이 기능을 Cursor(커서)라고 합니다.

우리가 이 커서를 사용하기 위해선 기본 문법을 지켜야 하는데요,

커서 사용 방법은 다음과 같아요.

<커서를 만들고 사용하는 순서!>

DECALRE : 선언
OPEN : 커서 열기
FETCH : 하나의 행을 가져옴
CLOSE : 열었던 커서를 닫기
DELLOCATE : 커서와 커서 이름 또는 커서 변수 간의 관계를 제거

/* 커서 선언 */
DECLARE 커서이름 CURSOR FOR
    -- SQL Query
    
/* 커서 열기 */
OPEN 커서이름

/* 커서 한 행씩 불러오기 */
FETCH NEXT FROM -- 커서이름
	INTO -- 행의 값 저장 변수
WHILE @@FETCH_STATUS = 0 -- 행을 성공적으로 가져오면 해당 값 출력
BEGIN
	-- 수행할 쿼리 작성
    -- 예시) print(@변수명) : 각 불러온 행의 값 출력
    FETCH NEXT FROM 커서이름
    	INTO -- 행의 값 저장 변수
END

/* 커서 닫기 */
CLOSE 커서이름

/* 커서 자원 할당 해제 */
DEALLOCATE 커서이름

명시적커서 (정해진?

묵시적커서 (직접만듥?

핵심정리모음

디지털랫드 — Fri, 5 Apr 2024 21:10:44 +0900

회계감사의 개요(1)

1. 경영진의 역할

-재무제표를 작성할 책임

-재무제표를 회계기준(accounting standards)에 따라 작성하여 공시하여야 할 책임

2. 감사인의 역할

-재무제표가 중대한 왜곡표시(materail misstatements)에 대한 의견 (audit opinion)을 표명

-감사인은 일정한 기준에 따라 감사를 수행 : 회계감사기준(auditiong standards)

-감사인은 충분하고 적합한 감사증거에 의해 의견을 표명

3.법정감사(Statutory audit)

:관련 법률에서 회계감사를 강제함으로써 실시하는 회계감사

4. 외감법에 따른 회계감사

(1)주권상장법인

(2)해당 사업연도 또는 다음 사업연도 주엥 주권상장법인이 되려는 회사

(3)그 밖에 직전 사업연도 말의 자산, 부채, 종업원수 또는 매출액 등 대통령령으로 정하는 기준에 해당하는 주식회사와 유한회사

5. 감사기준

: 한국공인회계사회(KICPA)가 정하되, 금융위원회의 승인을 얻어야 한다. 한국감사기준은 국제감사기준을 번역하여 사용.

회계감사의 개요(4)국제회계감사기준(ISA, GAAS, IAASB, IASB, IFRS, GAAP이란?)

디지털랫드 — Thu, 4 Apr 2024 21:04:40 +0900

1.GAAS(Generally Accepted Auditiong Standards)

-감사인이 회계감사를 수행할 때 준수하여야 할 행위기준(감사정보수집, 절차 따를때)

-감사인의 책임한계를 정하는 기준

-회계감사기준에 따라 감사를 수행하였다면 전문가로서 정당한 주의를 다한 것으로 봄

(GAAS, 즉 회계감사기준 규정대로 감사인이 회계감사했을시, 그럼에도 불구하고 재무제표에 중대한 오류가 있는 것을 발견하지 못했다면 감사인의 잘못이라고 할 수 없다.)

=> 즉 감사인의 회계감사가 잘못되었는지를 판단하는 어떤 기준 중에 하나가 GAAS이다.

2.국제감사기준(ISA) : 대표적인 GAAS (반드시 모든 나라가 따라야 하는 건 아니며 국가마다 채택권리가 있다)

-국제감사기준(ISA)는 강제성은 없으며 국제감사인증기준위원화(IAASB)에서 제정

ISA: International Standard on Auditing (회계감사와 관련된 규칙)

IAASB:International Auditing and Assurance Standards Board (ISA 규칙 만드는 곳)

2.국제감사기준 (ISA)

--한국감사기준은 국제감사기준을 번역하여 사용(ex: K-IFRS)

-국제감사기준은 수시로 개정

-한국감사기준은 주기적으로 대대적 개정

->국제감사와 한국감사기준 사이에 텀이 있기 때문에 불일치하는 기간이 존재.(회계기준은 ㅂ로바로 반영해서 그러지 않지만...)

원칙적으로는 한국감사기준은 국제감사기준과 동일해야한다.

IASB 에서 -> IFRS 만듦

IAASB에서 ->ISA 만듦

3. 미국의 감사기준

-상장기업 감사 - 회계법인이 PCAOB에 근거하여 감사

: 회계감독위원회(PCAOB)가 제정한 PCAOB Standards

-비상장기업 감사 - AICPA가 SAS에 근거하여 감사

:미국공인회계사 (AICPA)가 제정한 SAS (Statement on Auditing Standards)

4.한국의 감사기준 :국제회계감사기준을 그대로 모방하고 있다

: 한국공인회계사회(KICPA)가 정하되, 금융위원회의 승인을 얻어야 한다.

5. 회계감사기준의 적용(230조)

: 감사기준의 요구사항들은 감사인이 감사기준에 명시된 목적들을 달성하도록 그리고 이에 따라 감사인의 전반적인 목적을 달성하도록 설계되었다.

따라서 감사기준은 예외적인 상황을 제외하고는 해당 감사의 상황에 관련성이 있는 각 요구사항을 모두 준수하도록 요구한다. (ISA230)

=> 감사인이 감사에 있어서 회계감사 기준에 있는 모든 절차들은 요구사항을 모두 이행하여야 한다.

:감사인이 예외적인 상황에서 특정 감사기준서의 관련 요구사항으로부터 이탈할 필요가 잇ㅆ다고 판단한 경우, 해당 요구사항이 의도하는 목적을 달성하기 위해 수행한 대체적 감사절차가 그 목적을 어떻게 달성하였는지 그리고 그러한 이탈의 이유를 문서화하도록 한다.(ISA230)

=> 회계감사기준은 절대적인 기준이다

전문가적의구심(Professional Skepticism)

1.전문가적 의구심(isa200)

:감사인은 fs를 중요하게 왜곡 표시되게 하는 상황이 존재할 수 있음을 인식하고, 전문가적 의구심을 가지고 감사를 계획하고 수행하여야 한다.

..어떤 법규, 규칙에 의해 뭔가를 규정하다 보면 법이 모든 경우의 수를 대변할 수는 없다. 그러므로 그 규정대로 하되, 전문가적의구심을 가지고 감사, 수행 즉 전문가 개인의 판단도 불가피한 상황역시 존재한다. (법에 모든 것을 의존하여서는 안된다.)

2. 전문가적 의구심 정의

: 오류나 부정으로 인한 왜곡표시 가능성을 나타내는 것일 수 있는 상황에 유의하면서, 의문을 갖는 마음과 감사증거에 대한 비판적인 평가를 포함하는 태도.

..감사증거에 대해서도 비판적인 평가를 해봐야 한다. 가상의 세금계산서는 아닌지.

...답변의 성실성이 의심이 된다면 왜곡가능성이 높으니 이런 부분들을 모두 평가하면서 감사절차를 밟아야 한다.

3.전문가적 의구심의 적용

:전문가적 의구심은 예를 들어 다음과 같은 사항에 대해 주의를 유지하는 것을 포함한다.

-이미 입수한 다른 감사증거와 상반되는 감사증거(오류)

-감사증거로 사용될 문서 및 질의에 대한 답변의 신뢰성에 의문을 갖게 하는 정보

-부정의 존재가능성을 나타내는 것일 수 있는 상황

-감사기준에서 요구하는 절차 외에 추가적인 감사절차의 필요성을 시사하는 상황

-> 전문가의 의구심을 위와같은 상황에서 적용

회계감사의개요(3) 회계감사대상: 어떤 규모의 법인이 회계감사를 받는가?(feat. 연결재무제표)

디지털랫드 — Wed, 3 Apr 2024 12:02:20 +0900

1.법정감사(statutory audit) by법률

...반드시, 필수

(1)관련 법률에서 회계감사를 강제함으로써 실시하는 회계감사

-주식회사 등의 외부감사에 관한 법률(외부감사법)

...주식회사 말고도 유한회사도 포함됨.

-독점규제 및 공정거래에 관한 법률(공정거래위원회)

-자본시장과 금융투자업에 관한 법률..(금융감독원, 금융위원회)

-지방공기업법 등

2.임의감사(voluntary) by 회사의 자유

..해도되고 안해도 됨, 경영자, 주주가 의지에 따라 실행하는 감사.. 들쑥날쑥

-회사의 자유의사에 따라 실시하는 회계감사

-관련법률은 없음

3.외부감사법에 따른 회계감사

-주권상장법인: 유가증권시장(코스피시장), 코스닥시장, 코넥스시장 => 무조건 외감법에 의해 감사 받아야

-해당 사업연도 또는 다음 사업연도 중에 주권상장법인이 되려는 회사

(상장하는 것=IPO) ...이런 IPO를 오래 하거나 또는 차기에 하거나,

주권상장법인 예정 기업도 회계감사를 받는데 그 기간이 단기이거나 차기까지 내년도에 예정이 되어있어도 회계감사는 반드시 받도록 되어있다.)...=> IF NOT=> 주권상장 등록절차에 따라서 상장이 안 되거나, 패널티 있음.

3. 외감법에 따른 회계감사

그밖에 직전 사업연도 말의 자산, 부채, 종업원수 또는 매출액 등 대통령령으로 정하는 기준에 해당하는 주식회사와 유한회사

대규모인가

(1)직전 사업연도 말의 자산총액이 500억원 이상인 회사

또는

(2) ---------매출액이-----------------------

(3) 다음 각 사하 중 3개 이상에 해당하지 아니하는 회사(소규모가 아닌가)

-직전 사업연도 말의 자산총액이 120억원 미만

----------부채총액이 70억원 미만

-----------매출액이 100억원 미만

---------종업원이 100명미안

---------사원수가 50인 미만인 경우(유한)..주식회사의 경우에는 이 규정이 없음(즉 위4가지 중에 3개), 유한회사는(위 5가지 중 3개이상)

=> 주권상장법인이 아니라는 가정하에, (주권상장법인이면 규모와 상관없이 회계감사를 받음)

=>4개 중 3개 미만이면 규모가 작다고 판단해서 감사X

주식회사-상장-무조건 감사

주식회사-비상장-(1),(2)로 규모가 비교적 큰 경우 감사// (3) 규모가 작지 않은 경우 감사

=>이 모든 내용들은 BY외부감사법(회계감사기준X)

EX) 공공기관의 운영에 관한 법률에 따라 공기업 또는 준정부기관으로 지정받은 회사 중 주권상장법인이 아닌 회사는 외부의 감사인에 의한 회계감사를 받지 아니할 수 있다.

3. 외부감사법에 따른 회계감사

-재무제표 및 연결재무제표의 감사인은 동일하여야 한다. (BY외감법)

연결재무제표란?

:A회사가 B회사의 지분 90퍼센트 이상 가지고 있을 때, 회계상 ''지배력을 가지고 있다'', 라고 표현하고 지배회사(A)D의 재무제표를 작성할 때 종속회사(B)랑 합쳐서 재무제표를 작성해야 한다. 이것을 연결 재무제표라고 부른다.

=>즉 A회사 재무제표 감사인, B회사 재무제표 감사인, 그리고 A-B연결 재무제표의 감사인

이 셋이 모두 동일해야 한다.

->적시성이 떨어지기 떄문에 (각 감사받은 재무제표를 또 다른 감사인이 감사하게 되면 주주총회에 적시에 제출할 수 없게 된다.그래서 지배회사의 감사인이 종속회사의 FS, 그리고 연결FS를 함께 작성한다.)

-모든 주식회사가 외감법에 의한 회계감사 대상은 아니다.

(상장-ALL

(비상장-대규모(매출액, 자산규모) OR 소규모가 아닌(4가지중 3개이상)

(유한-소규모가 아닌(5가지중 3개이상)

=> 외감법에 의한 법정검사 대상

즉, 임의감사는 어떤 기업이든 할 수 있음. 강제 법정감사는 기준이 정해져있음

소규모 비상장 주식회사는 임의감사를 받을 수 있다.(0) (외부감사법에 의한 감사를 받을 수 있다X)

회계감사의 개요(2)회계감사의 정의,설명(감사와 검토의차이)

디지털랫드 — Tue, 2 Apr 2024 18:41:36 +0900

9.검토(Review)

-감사보다 낮은 보통수준의 확신(assurance)을 제공 -> 절차 간소화: 질문이라든가 분석적절차 통해

-질문, 분석적 절차 위주의 제한적인 절차

....실사, 조회서(X) 경영자에게 질문, 비율분석(o)

-검토기준(review standards)에 따라 재무제표를 검토

-연간 재무제표는 감사, 분기와 반기 재무제표는 검토

...분기, 반기는 감사가 아닌 검토수준에 있는 이유: 3개월마다 분기 재무제포를 만드는데 그때마다 감사하면 비용이 과다하게 발생해서.

..즉 제한적인 절차만 가지고 확신을 제공해주는 걸 검토라고 한다.(검토기준:review standards)

1.회계감사의 정의

-미국회계학회ASOBAC의 정의(밑줄친 부분 두개 모두 충족되어야)

:auditing is a systematic process of objectively (3)obtaining and evaluating evidence regarding assertions about economic anctions and events to (4)ascertain the degree of correspondence between those assertions and established criteria and (5)communicationg the results to interested users.

**회계감사기준, 회계기준 차이점

회계감사 증거를 수집하는 절차를 다루는 것: 회계감사기준

사전에 결정된 어떤 기준과 경영자 주장이 일치하는 지를 설명할 때 그때 사전에 결정된 기준: 회계기준

2.경영진의 주장

-경영진이 작성하여 이용자에게 제시한 재무제표에 포함된 기업의 경제적 행위와 사건

..ex)유형자산의 실재성(실제 존재하느냐), 권리와 의무(과대평가x누락x.남의 자산이 아니고 이 기업의 자산이냐)무, 완전성(이 기업이 갖고 있는 자산을 모두 보고하고 있느냐), 평가 및 배분(손상차손, 감가상각을 회계기준대로 잘 하고 있느냐)

3.관련된 증거를 객관적으로 수집하고 평가

-회계감사기준(auditiong standards)

-감사인이 회계감사를 수행할 때 준수하여야 할 행위기준( 가장 일반적인걸 GAAS라고 해서 게스라고 함.)

-GAAS(Generally Accepted Auditiong Standards)

비교..회계기준은 GAAP(accounting principle)

4.사전에 설정된 기준과의 일치정도 확인

-사전에 설정된 기준

=회계기준(accounting standards)= 재무보고체계 (회계기준을 회계감사기준서에서는 이렇게 부름)

-GAAP(Generally Accounted Accounting Principles)

-한국:상장기업-한국채택국제회계기준(K-IFRS), 비상장기업-일반회계기준

-미국: FASB(미국의 회계기준을 만드는 곳)회계기준

5.결과를 이해관계자에게 전달하는 체계적인 과정

...전달하기까지 감사라고 부름

-회계감사의 결과는 감사보고서로 작성

-감사보고서에는 감사의견(audit opinion)이 포함되어야 함

(1)적정의견(unqualified opinion)-회계감사기준에 맞게 fs작성이 되었다면.

(2)한정의견(qualified opinion)

(3)부적정의견(adverse opinion)

(4)의견거절(disclaimer opinion)

경영진의 주장(assertions)

1.보고기간 말(재무상태표-자산,부채보고) 계정잔액

-실재성(Existence)..실제로 있는지

-권리와 의무(Rights & Obligations).. 소유권있는지, 담보x

-완전성 (Completeness)...누락해서 보고하지 않았는지

-평가 및 배분 (Valuation & allocation) ...감가상각, 손상평가 기준에 맞게 했는지

2. 감사대상기간의 거래 및 사건...경영진의 주장요소

-발생사실(Occurrence)...매출액이 실제로 발생했다

-완전성(Completeness)..매출액 누락하지 않고 손익계산서에 보고했다

-정확성(Accuracy)...정확하게 보고했다

-기간귀속(Cut-off)...당기 매출액이다(전기, 차기x)

-분류(Classification)...영업외 수익, 영업수익 분류했다

3.표시와 공시(Presentations & disclosure)

-발생사실(Occurrence)

-권리와 의무(Right & obligations)

-완전성(Completeness)

-분류와 이해가능성(Classification &understandability)....주석 글 등 공시이해자들이 이해할 수 있게끔 작성되었는지.

-정확성과 평가(Accuracy & valuation)