QAQC 데이터 분석 부트캠프 5회차 박승환 LIT 블로그

20260602 TIL

kodayi — Tue, 2 Jun 2026 20:00:18 +0900

오늘의 목표

실전 프로젝트를 진행하면서 데이터 분석 역량을 기른다.

TIL

❇️데이터 인사이트 도출

오늘은 반도체 웨이퍼 공정 데이터(EV, OES, RFM)를 이용한 비지도 학습 기반 이상 탐지 파이프라인 전체를 처음부터 끝까지 구축했습니다.

시작은 데이터 전처리였습니다. 세 가지 센서 데이터는 각기 다른 특성을 가지고 있었는데, EV는 웨이퍼당 100행, OES는 38행, RFM은 28행으로 행 수가 달랐습니다. MPCA에 3D 텐서를 입력하려면 웨이퍼 간 행 수가 동일해야 하기 때문에, 초과 시에는 균등 다운샘플링, 부족 시에는 선형 보간으로 통일했습니다. 이상치는 제거가 아닌 IQR k=3 기준 Winsorizing으로 처리했는데, 시계열 연속성을 깨지 않기 위해서입니다. 데이터 구조상 calibration이 84%, fault가 16%의 심한 불균형이 있었고, fault 유형별로 웨이퍼가 단 1개씩이라는 점이 이후 모든 분석 설계에 영향을 미쳤습니다.

EDA와 통계 검정 단계에서는 예상치 못한 발견이 많았습니다. 가장 인상적이었던 것은 Cancellation Effect였습니다. Vat Valve라는 변수 하나를 두고, 어떤 fault는 올리고 어떤 fault는 내리는 방향으로 작용하다 보니 전체를 풀링하면 평균 차이가 0에 수렴해 p값이 0.05를 넘어버렸습니다. p가 안 나온다는 것이 신호가 없다는 뜻이 아니라 방향이 섞여 있다는 뜻일 수 있다는 교훈이었습니다. 또한 행 단위 시계열 데이터는 자기상관(lag-1 ρ=0.96)으로 인해 독립 표본이 아니어서, 행 수(12,800)를 표본 수로 쓰면 검정력이 과도하게 높아지는 문제도 확인했습니다. 그룹 간 분포 차이는 Kruskal-Wallis로 검증했는데, W29·W31·W33의 calibration 분포가 Cohen's d 기준으로 2에서 최대 37까지 벌어져 있다는 결과가 나왔습니다. 이것이 단순한 통계적 사실로 끝나지 않고, 이후 로컬 모델이 전역 모델보다 성능이 좋아야 하는 근거가 되었습니다.

MPCA를 직접 구현하면서 두 가지 핵심 버그를 맞닥뜨렸습니다. 첫 번째는 SVD에서 Vt 대신 U를 써야 한다는 것이었습니다. mode-n unfolding 후 SVD를 하면 M = U·S·Vt가 나오는데, 시간 축의 투영 기저는 right singular vectors(Vt)가 아니라 left singular vectors(U)입니다. 두 번째는 역투영 방향의 실수였는데, 순방향 투영에서 moved @ U.T를 쓴다면 재구성을 위한 역투영은 moved @ U여야 합니다. 이 두 가지 차이를 직접 shape 오류로 마주하고 수학적으로 추적해서 수정한 과정이 MPCA 알고리즘 자체를 깊게 이해하는 계기가 되었습니다.

모델 비교에서는 PCA, MPCA, TLD(Tucker 분해), PARAFAC 네 가지를 DS1~DS3 데이터셋 위에서 전역 모델 1개와 로컬 모델 3개(W29/W31/W33) 구조로 학습했습니다. 결과는 예측대로 로컬이 전역을 크게 앞섰습니다. PCA 기준 전역 F1이 0.710이었는데 로컬 평균은 0.963으로 약 19%p 향상이었습니다. 알고리즘 간 특성도 뚜렷하게 갈렸는데, PCA는 소표본에서 가장 안정적이었고, MPCA는 Precision이 1.0으로 오탐이 없었지만 Recall이 낮았으며, TLD는 전역 모델에서 FP가 63~69개로 폭증했고, PARAFAC은 W31에서 F1=0으로 완전히 실패했습니다. 임계값 선택이 단순한 하이퍼파라미터 조정이 아니라 "오탐 비용 대 미탐 비용"의 비율이라는 도메인 판단임도 명확해졌습니다.

마지막으로 미탐지 fault 원인 분석이 오늘의 가장 실무적인 내용이었습니다. BCl3 -5, He Chuck, TCP +10이 대부분의 모델에서 탐지되지 않았는데, 세 가지 원인이 모두 달랐습니다. BCl3 -5는 RF 매칭 회로의 비대칭 반응 때문이었습니다. 같은 BCl3 계열인 +5는 z=14.2σ로 탐지되는데 -5는 z=1.3σ에 그쳤는데, 유량 감소가 증가보다 임피던스 변화를 훨씬 작게 일으키는 비대칭 특성 때문이었습니다. He Chuck은 물리적 경로가 너무 길었습니다. "He 압력 이상 → 냉각 불량 → 온도 상승 → 플라즈마 화학 변화 → RF 임피던스 변화"라는 4단계를 거치면서 신호가 감쇠했습니다. TCP +10은 비선형 임계 효과였는데, TCP +30이 z=66.6σ인데 +10은 z=1.5σ로 파워 3배 차이에 신호가 45배 차이가 났습니다. RF 매칭 회로가 ±10W 범위에서 능동 보정을 하다가 임계값 이상에서 비선형적으로 급변하는 구조였습니다. 그런데 세 가지 모두 OES 센서에서는 10~25% 수준의 명확한 신호가 확인됐습니다. RFM 단독 모델의 구조적 한계이고, OES를 통합한 DS5나 DS6 모델이 필요한 이유가 데이터로 증명된 셈입니다.

오늘 전체를 관통하는 한 가지 교훈을 꼽으면, 모델 성능 숫자만 보는 것으로는 부족하다는 점입니다. 왜 이 센서가 이 fault에 둔감한지를 물리적으로 이해해야, 어떤 센서를 추가해야 하는지 어떤 모델 구조가 맞는지까지 답이 나옵니다. 분석 → 통계 검정 → 모델 설계 → 구현 → 성능 측정 → 원인 진단이 하나의 논리적 흐름으로 연결된 하루였습니다.

20260601 TIL

kodayi — Mon, 1 Jun 2026 20:18:35 +0900

오늘의 목표

실전 프로젝트를 진행하면서 데이터 분석 역량을 기른다.

TIL

❇️데이터 인사이트 도출

반도체 제조 공정에서 발생하는 이상(Fault)을 식별하고 이해하기 위해 EV(Etch Chamber Vision), RFM(Radio Frequency Match), OES(Optical Emission Spectroscopy) 세 가지 센서 데이터를 활용하여 분석을 수행하였다. 주요 분석 과정과 결과는 다음과 같다.

1. 데이터 로드 및 기초 탐색

EV, RFM, OES 데이터셋을 불러온 후 데이터 구조와 특성을 확인하였다.
각 데이터셋의 변수 구성과 기본 통계 정보를 검토하여 분석 방향을 설정하였다.

2. EV 데이터 분석 (웨이퍼별 및 정상/이상 비교)

웨이퍼별 정상(Calibration) 데이터 분석

정상 상태(calibration)의 EV 센서 데이터를 웨이퍼 29, 31, 33으로 구분하여 분석하였다.
히스토그램과 시계열 그래프를 통해 주요 센서 변수들의 분포와 안정성을 확인하였다.

웨이퍼 간 통계적 차이 검정

Kruskal-Wallis H 검정을 수행한 결과, EV 변수 16개가 웨이퍼 29, 31, 33 사이에서 통계적으로 유의한 차이를 보였다.
박스플롯(Box Plot)을 통해 각 웨이퍼가 서로 다른 공정 특성을 가진다는 점을 시각적으로 확인하였다.

정상(Calibration)과 이상(Fault) 상태 비교

기술통계량과 히스토그램을 비교한 결과, 이상 상태에서는 여러 EV 변수들이 정상 상태와 다른 분포를 보였다.
예를 들어 RF Btm Power, Cl₂ Flow, TCP Load 등의 평균값, 표준편차, 값의 범위가 변화하였다.
시계열 분석을 통해 이상 발생 시 특정 변수들이 비정상적인 패턴을 보이는 것을 확인하였다.

3. Isolation Forest를 활용한 EV 데이터 이상 탐지

웨이퍼 간 유의미한 차이를 보인 EV 변수들을 선택하고 정규화한 후 Isolation Forest 모델을 학습하였다.
이상 점수(Anomaly Score) 분포를 확인한 결과 정상(calibration) 데이터와 이상(fault) 데이터가 비교적 잘 구분되었다.
이는 EV 데이터만으로도 일정 수준의 이상 탐지가 가능함을 의미한다.

4. OES 데이터 분석

히트맵 시각화

정상 상태의 OES 데이터를 시간에 따른 파장별 강도로 표현한 히트맵을 생성하였다.
이를 통해 플라즈마 상태 변화에 따른 스펙트럼 패턴을 확인할 수 있었다.

평균 스펙트럼 비교

정상 상태와 이상 상태의 평균 OES 스펙트럼을 비교하였다.
특정 파장에서 강도 변화가 나타났으며, 이는 공정 이상 시 플라즈마 내 화학종(Chemical Species)의 변화 가능성을 시사한다.

웨이퍼별 스펙트럼 비교

각 웨이퍼별 평균 스펙트럼을 비교한 결과, 웨이퍼마다 고유한 스펙트럼 특성과 이상 패턴이 존재하는 것으로 나타났다.

5. 다중 센서 상관관계 분석

EV, RFM, OES 변수들을 통합하여 상관관계 히트맵을 생성하였다.
센서 간 상호작용을 분석함으로써 한 센서의 변화가 다른 센서와 어떤 관계를 가지는지 확인하였다.
이를 통해 공정 내 복합적인 원인-결과 관계를 이해할 수 있었다.

6. PCA를 이용한 차원 축소 및 이상 심층 분석

통합 PCA 수행

EV, RFM, OES의 주요 수치형 변수들을 통합하여 PCA(주성분분석) 를 수행하였다.
첫 번째와 두 번째 주성분(PC1, PC2)을 이용한 2차원 시각화 결과 정상 데이터와 이상 데이터 간 일부 분리가 관찰되었다.

이상 데이터 심층 분석

PCA 공간에서 정상 데이터 중심(Centroid)으로부터 가장 멀리 떨어진 상위 5개의 이상 데이터를 선정하였다.
이들의 원본 변수값을 정상 데이터 평균과 비교하여 어떤 변수들이 이상 발생에 가장 크게 기여했는지 분석하였다.

7. 지도학습 기반 이상 분류 (MPCA Score 활용)

데이터 준비

EV, RFM, OES 데이터를 통합한 MPCA 점수를 입력 변수로 사용하였다.
정상(calibration)은 0, 이상(fault)은 1로 인코딩하여 타깃 변수로 설정하였다.

모델 학습 및 평가

Random Forest Classifier를 학습하였다.
정확도(Accuracy)는 약 0.91로 높게 나타났지만,
이상(Fault) 클래스의 재현율(Recall)은 0.48에 불과하였다.

이는 실제 이상을 놓치는 경우(False Negative)가 많다는 의미이며, 모델 개선이 필요함을 보여준다.

개선 방안

SMOTE를 활용한 클래스 불균형 해소
특징 공학(Feature Engineering)
특징 선택(Feature Selection)

등의 방법이 제안되었다.

8. 이상치 처리 (RFM, EV, OES)

RFM, EV, OES 데이터의 이상치를 IQR 방식(5%~95% 구간 기준) 으로 탐지하고 상한·하한값으로 제한(Capping)하였다.
이를 통해 극단값이 분석 결과와 모델 성능에 과도한 영향을 주는 문제를 완화하였다.
처리 전후의 통계량을 비교하여 데이터 정제 효과를 확인하였다.

9. 웨이퍼별 데이터 분리

정제된 EV, RFM, OES 데이터를 웨이퍼 29, 31, 33 기준으로 분리하였다.
이후 각 웨이퍼에 대해 독립적인 분석을 수행할 수 있도록 준비하였다.

10. 다중 블록 MPCA(Multi-block PCA)

데이터 정렬

EV, RFM, OES 데이터의 행 수를 일치시켜 센서별 블록(Block) 형태로 구성하였다.

블록별 PCA 수행

각 센서 블록에 대해 개별 PCA를 수행하였다.

EV: 14개 주성분
RFM: 5개 주성분
OES: 9개 주성분

을 선택하면 전체 분산의 약 95%를 설명할 수 있었다.

또한 로딩(Loading) 분석을 통해 각 주성분에 크게 기여하는 원본 변수를 파악하였다.

MPCA 점수 생성

각 블록의 주성분 점수를 결합하여 통합 MPCA Score를 생성하였다.
이는 공정 상태를 종합적으로 나타내는 저차원 특징 벡터 역할을 한다.

11. MPCA 기반 이상 탐지

비지도학습 (Isolation Forest)

MPCA Score를 입력으로 Isolation Forest를 학습하였다.
그러나 정상 데이터와 이상 데이터의 이상 점수 분포가 상당 부분 겹쳤다.

결과:

F1-Score: 0.0520
Recall: 0.0537

으로 매우 낮은 성능을 보였다.

즉, MPCA Score만으로는 비지도 방식의 이상 탐지가 효과적이지 않았다.

웨이퍼별 Isolation Forest

웨이퍼별로 모델을 개별 학습한 결과:

Wafer F1-Score Recall

29	0.1578	0.1490
31	0.1934	0.1963
33	0.1604	0.1875

전체 모델보다는 개선되었지만 여전히 실무 적용 수준에는 미치지 못하는 성능을 보였다.

최종 결론

본 연구는 EV, RFM, OES 센서 데이터를 활용하여 반도체 식각 공정의 정상 상태와 이상 상태를 다각도로 분석하였다.

분석 결과,

웨이퍼별 공정 특성이 명확하게 존재함을 확인하였고,
EV 및 OES 데이터에서 이상 상태를 구분할 수 있는 주요 변수와 패턴을 발견하였다.
PCA와 MPCA를 통해 고차원 데이터를 효과적으로 축소하고 이상 원인을 해석할 수 있었다.
비지도학습 기반 Isolation Forest는 이상 탐지 성능이 낮게 나타났다.
반면, 특징 공학이 적용된 Random Forest 지도학습 모델이 가장 우수한 성능(F1-Score 0.2959, Recall 0.2994) 을 보였다.

따라서 향후에는 웨이퍼별 맞춤형 모델 구축, 클래스 불균형 개선(SMOTE), 추가적인 특징 공학 및 센서 융합 기법 적용을 통해 이상 탐지 성능을 향상시킬 필요가 있다.

20260529 TIL

kodayi — Fri, 29 May 2026 20:04:44 +0900

TIL

❇️인사이트 도출

반도체 공정 데이터를 활용하여 공정 이상(Fault)을 탐지하고 분석하는 과정을 다각도로 수행했다. 주요 분석 단계와 결과는 다음과 같다.

데이터 로딩 및 초기 탐색: EV, RFM, OES 세 가지 유형의 공정 데이터를 불러와 head() 함수를 통해 각 데이터셋의 기본 구조를 확인했다.

EV 데이터셋 정상 데이터 분석 (Wafer별):
fault_name이 'calibration'인 정상 데이터를 웨이퍼별(29, 31, 33)로 분류하고, 각 웨이퍼의 데이터 분포를 히스토그램으로 시각화하여 주요 센서 변수들의 특성을 파악했다.

Kruskal-Wallis H-검정: 각 웨이퍼 간 수치형 변수의 분포 차이를 통계적으로 검정하여 16개의 변수에서 유의미한 차이가 있음을 확인했다. 이는 웨이퍼별로 공정 특성이 다를 수 있음을 시사한다.

Box Plot 시각화: 통계적으로 유의미한 차이를 보인 변수들에 대해 박스 플롯을 그려 웨이퍼별 분포 차이를 시각적으로 확인했다.
시계열 라인 플롯: 정상 상태의 EV 센서 변수들이 시간에 따라 어떻게 유지되는지 시각적으로 확인하여 안정적인 공정 조건을 파악했다.

EV 데이터셋 정상 vs 이상 데이터 비교:
calibration 데이터와 fault 데이터의 통계량을 비교하여 이상 상태에서 각 변수들의 평균, 표준편차, 범위 등에 어떤 변화가 발생하는지 분석했다.

특정 EV 변수(RF Btm Pwr, Cl2 Flow, TCP Load)에 대해 정상 및 이상 데이터의 히스토그램을 비교하여 시각적인 분포 차이를 확인했다.

시계열 라인 플롯: calibration 데이터와 fault 데이터의 주요 EV 센서 변수들을 웨이퍼별로 시계열 비교하여, 이상 발생 시 각 변수들의 변화 패턴을 관찰했다. 이를 통해 이상 상황에서 비정상적인 추세나 변동성이 나타남을 확인했다.

이상치 탐지 (Isolation Forest):
크루스칼-월리스 검정에서 유의미한 차이를 보인 변수들을 사용하여 RobustScaler로 스케일링한 후 Isolation Forest 모델을 훈련했다.

전체 ev 데이터셋에 대한 이상치 스코어 분포를 시각화하여, 'calibration' 데이터와 'fault' 데이터의 스코어가 뚜렷하게 분리되는 경향을 확인했다. 이는 모델이 이상치를 잘 탐지하고 있음을 시사한다.

OES 데이터 분석:

히트맵 시각화: calibration OES 데이터의 파장별 강도 변화를 시간 축에 따라 히트맵으로 시각화하여 특정 파장의 시간적 변화 패턴을 파악했다.

평균 스펙트럼 비교: calibration과 fault 상태의 평균 OES 스펙트럼을 비교하여, 이상 상태에서 특정 파장의 강도가 변화하는 것을 확인했다. 이는 Fault 유형과 관련된 화학종 변화를 시사한다.

웨이퍼별 평균 스펙트럼 비교: 각 웨이퍼에 대해 calibration과 fault 상태의 평균 OES 스펙트럼을 비교하여 웨이퍼 고유의 특성 및 Fault 패턴의 일관성을 분석했다.

다중 센서 데이터 간 상관관계 분석:
EV, RFM, OES 데이터셋의 주요 수치형 변수들을 통합하여 데이터셋 간의 교차 상관관계를 계산했다.

히트맵 시각화: EV-RFM, EV-OES, RFM-OES 변수 간의 상관관계 히트맵을 통해 다양한 센서 유형 간의 복합적인 관계를 파악하고, 잠재적인 공정 이상 감지를 위한 유의미한 변수 조합을 탐색했다.

PCA를 이용한 데이터 축소 및 심층 분석:
EV, RFM, OES 데이터셋의 통합 수치형 변수들에 대해 PCA를 적용하여 2개의 주성분으로 데이터를 축소하고 2D 산점도로 시각화했다.
PCA 산점도에서 'calibration' 데이터와 'fault' 데이터가 어느 정도 분리되는 경향을 확인했다.
PCA 공간에서 'calibration' 중심으로부터 가장 멀리 떨어진 상위 5개 'fault' 데이터 포인트를 식별하고, 이들의 원본 특징 값을 'calibration' 평균과 비교하여 이상을 유발하는 핵심 변수를 심층 분석했다.

지도 학습 모델 (RandomForestClassifier) 구현 및 평가:
fault_name을 타겟 변수(0: calibration, 1: fault)로 인코딩하고, RobustScaler와 SimpleImputer를 사용하여 데이터를 전처리한 후 훈련 세트와 테스트 세트로 분리했다.
class_weight='balanced'를 설정한 RandomForestClassifier를 훈련하고 평가했다.

모델 평가 결과: 정확도는 0.91로 높게 나타났으나, 'Fault (1)' 클래스의 재현율이 0.48로 낮아 실제 이상 상황 중 약 절반만을 감지하는 한계를 보였다. 이는 False Negative가 높음을 의미하며, 공정 이상 탐지의 중요한 개선점으로 식별되었다.

F1-Score 개선 전략: 클래스 불균형 해소를 위한 SMOTE, ADASYN 등의 고급 리샘플링 기법, 도메인 지식을 활용한 특징 엔지니어링, 그리고 특징 선택을 통한 모델 성능 개선 방안을 제시했다.

결론: 이 분석은 다양한 센서 데이터를 통합하여 공정 이상을 탐지하고 그 특성을 이해하기 위한 포괄적인 접근 방식을 보여주었다. 특히 통계적 검정, 시각화, 비지도 및 지도 학습 모델을 통해 이상 징후를 식별하고 핵심 변수를 파악하는 데 성공했다. 향후 'Fault' 클래스의 재현율을 높이기 위한 추가적인 전처리 및 모델 튜닝 전략을 적용하여 공정 이상 탐지 시스템의 성능을 더욱 개선할 수 있을 것이다.

20260527 TIL

kodayi — Wed, 27 May 2026 19:58:49 +0900

오늘의 목표

실전 프로젝트를 진행하면서 데이터 분석 역량을 기른다.

TIL

❇️과제 기획서 작성

프로젝트 제목

금속 에칭 데이터를 이용한 반도체 공정 데이터셋 이상탐지 AI 분석 프로젝트

팀 구성

팀명*:* First Class
박승환, 김한이, 유지수, 이승재, 박정운 </aside>

프로젝트 목표

대시보드의 주요 기능 및 목표를 설정하세요.
ev_data, oes_data, rfm_data 3종 데이터셋을 통합 분석하여 플라즈마 에칭 공정의 정상/이상 패턴을 머신러닝으로 분류하고, Tableau 기반 인터랙티브 FDC 대시보드로 실시간 모니터링 체계를 구축한다.
- 반도체 결함 분석 대시보드
  - 주요 기능
    - 3개 데이터셋(ev_data / oes_data / rfm_data) 통합 이상탐지 모니터링
    - 공정 변수별 실시간 이상 패턴 시각화 및 fault 유형 분석
    - PCA 기반 차원 축소를 통한 정상/이상 군집 분리 시각화
    - Isolation Forest, XGBoost, Random Forest 모델 성능 비교
    - fault 유형별 민감 변수 및 탐지 난이도 분석
    - Tableau 기반 인터랙티브 FDC(Fault Detection & Classification) 대시보드 구현
    - 주요 RF·Pressure·TCP 파라미터 시계열 추세 분석 및 이상 알람 제공
  - 목표
    - 3개 데이터셋(장비 센서 / OES 스펙트럼 / RF 매칭) 통합 EDA 및 이상 패턴 시각화
    - PCA 기반 차원 축소 및 정상/이상 분리도 분석
    - Isolation Forest, XGBoost 기반 이상탐지 모델 구현 및 성능 비교
    - 20종 fault 유형별 탐지 난이도 분류 및 핵심 민감 변수 도출
    - Tableau 대시보드로 공정 이상 현황 실시간 모니터링 체계 제시

SMART 목표 작성 가이드
- 구체적(Specific): 목표는 명확하고 구체적이어야 합니다.
  - 예: "지역별 매출 데이터를 분석하여 가장 낮은 매출 지역을 식별."
- 측정 가능(Measurable): 목표 달성 여부를 측정할 수 있어야 합니다.
  - 예: "5개 이상의 인사이트를 도출하여 보고서에 포함."
- 달성 가능(Achievable): 현실적으로 달성 가능한 목표이어야 합니다.
  - 예: "제공된 데이터셋을 활용하여 태블로에서 시각화 작업을 수행."
- 관련성(Related): 프로젝트의 전반적인 목표와 관련이 있어야 합니다.
  - 예: "마케팅 우선 지역 설정과 매출 증대 전략에 활용 가능."
- 시간 기반(Time-bound): 명확한 마감 기한을 설정해야 합니다.
  - 예: "7일 이내에 대시보드를 완성하고 최종 발표." </aside>

문제 정의

분석 및 시각화의 중점
- 프로젝트에서 해결하려는 핵심 질문을 1~2문장으로 작성하세요:
  - 플라즈마 에칭 공정에서 발생하는 복합 공정 이상(fault)을 다변량 데이터 기반으로 조기에 탐지하고, 정상 상태와 이상 상태를 효과적으로 구분할 수 있는 핵심 변수와 패턴을 도출하고자 한다.
  - 장비 센서(ev_data), OES 스펙트럼(oes_data), RF 매칭(rfm_data) 데이터를 통합 분석하여 기존 단변량 SPC 방식으로 탐지하기 어려운 공정 이상을 머신러닝 기반으로 식별하고 시각화한다.
문제의 필요성 및 중요성
- 플라즈마 에칭은 선폭·잔류막·식각 균일도를 결정하는 핵심 공정으로, 조건의 미세한 변화가 웨이퍼 전체 수율에 즉각 영향을 미침
- 3종 데이터에 걸쳐 총 220개 이상의 다변량 변수가 동시 변화하므로 사람의 실시간 모니터링은 불가능하며, 머신러닝 자동화가 필수
- 기존 단변량 SPC 관리도는 변수 간 복합 이상을 탐지하지 못하는 한계 존재 — 다변량 FDC 체계 구축 필요
- 이상 탐지 1건당 불량 웨이퍼 로트 손실(장당 수백만 원 이상)을 사전 방지할 수 있어 경제적 파급 효과가 큼 </aside>

데이터 활용 계획

- *데이터 출처*
    - 스파르타코딩클럽 반도체 공정 이상탐지 프로젝트 제공 데이터셋
    - 플라즈마 에칭 공정 기반 FDC(Fault Detection & Classification) 학습용 데이터
    - 데이터 구성:

        #### 1. ev_data (Equipment Variable Data)

        데이터 크기: 약 12,829 rows × 23 columns

        특징:

        - 실제 장비 센서 및 공정 파라미터 데이터
        - 시간 흐름 기반 시계열 특성 보유
        - RF/TCP/Pressure 계열 변수 중심

        주요 컬럼

        `Time` : 공정 시간

        `Step Number` : 공정 단계 번호

        `BCl3 Flow` : BCl3 가스 유량

        `Cl2 Flow` : Cl2 가스 유량

        `Pressure` : Chamber 압력

        `RF Pwr` : RF Power

        `RF Tuner` : RF Matching 조정값

        `RF Load` : RF Load 값

        `RF Impedance` : RF 임피던스

        `TCP Top Pwr` : TCP 상부 전력

        `TCP Impedance` : TCP 임피던스

        `He Press` : Helium Pressure

        `Endpt A` : Endpoint Detection 신호

        #### 2. oes_data (Optical Emission Spectroscopy Data)

        데이터 크기: 약 4,786 rows × 131 columns

        특징:

        - 플라즈마 방출광 스펙트럼 데이터
        - 파장(Wavelength) 기반 강도값 구성
        - Plasma 상태 변화를 민감하게 반영

        주요 컬럼

        `250.0`, `261.8`, `272.2` 등:

        - 특정 파장(nm)에서 측정된 광 방출 세기(Intensity)

        고차원 스펙트럼 데이터 특성상 PCA 차원 축소 필수

        TCP Power 변화 및 Plasma 상태 이상 탐지에 활용

        3. rfm_data (RF Matching Data)

        데이터 크기: 약 3,519 rows × 73 columns

        특징:

        - RF Matching 회로 전압·전류·전력 데이터
        - RF 안정성과 impedance matching 상태 반영

        주요 컬럼

        `TIME` : 측정 시간

        `S1V1 ~ S1V5` : Sensor Group 1 Voltage

        `S1I1 ~ S1I5` : Sensor Group 1 Current

        `S1P1 ~ S1P5` : Sensor Group 1 Power

        `S2V1 ~ S2V5` : Sensor Group 2 Voltage

        `S2I 계열` : Current 센서값

        `S2P 계열` : Power 센서값

        #### 3. rfm_data (RF Matching Data)

        데이터 크기: 약 3,519 rows × 73 columns

        특징:

        - RF Matching 회로 전압·전류·전력 데이터
        - RF 안정성과 impedance matching 상태 반영
        - Plasma 에너지 전달 효율 및 RF 부하 상태 분석 가능
        - 정상/이상 상태 분리도가 높아 이상탐지 성능 우수 예상

        주요 컬럼

        `TIME`

        - 측정 시간

        `STEP`

        - 공정 단계 번호

        `S1V1 ~ S1V5`

        - Sensor Group 1 Voltage

        `S2V1 ~ S2V5`

        - Sensor Group 2 Voltage

        `S1I1 ~ S1I5`

        - Sensor Group 1 Current

        `S2I1 ~ S2I5`

        - Sensor Group 2 Current

        `S1P1 ~ S1P5`

        - Sensor Group 1 Power

        `S2P1 ~ S2P5`

        - Sensor Group 2 Power

        RF Matching 관련 변수

        - RF 임피던스 및 Matching 상태 반영 변수

        활용 방향

        RF Matching 기반 이상탐지 모델 구축

        Voltage·Current·Power 패턴 기반 fault 탐지

        PCA 기반 정상/이상 클러스터 분리 분석

        RF 계열 핵심 민감 변수 도출

        Arc·Power Drift·Impedance Mismatch 조기 탐지 가능


*데이터 전처리 계획*

- 결측치 및 이상치 확인 후 제거 또는 보간 처리
- StandardScaler 기반 데이터 표준화 수행
- 불필요 변수 및 상수형 변수 제거
- fault 유형 라벨 정리 및 정상/이상 클래스 이진화
- PCA 적용을 위한 차원 축소 및 주요 성분 추출
- 학습/평가 데이터셋 분리 및 클래스 불균형 여부 확인
- 상관관계 분석을 통한 중복 변수 제거 및 민감 변수 선별

*대시보드 구성 계획*
    - *대시보드에 포함될 시각화 유형*
        - PCA 산점도 — 정상/이상 클러스터 분포 (PC1 vs PC2)
        - 히트맵 — fault 유형 × 주요 변수의 이상 강도
        - 막대 차트 — 데이터셋별 이상 탐지 성능 비교 (F1-score)
        - 라인 차트 — 시간(Step) 흐름에 따른 주요 센서 트렌드
        - 도넛 차트 — fault 유형별 비율 분포
    - *주요 KPI 정의*
        - 이상탐지 F1-score: 모델별 이상 클래스 F1
        - fault별 PCA 분리도: calibration 중심과의 Euclidean 거리
        - 변수 민감도 지수: (이상 평균 - 정상 평균) / 전체 표준편차
        - 데이터셋별 이상률: 각 CSV 내 fault 샘플 비중

예상 결과물 및 기대 효과

대시보드 주요 구성
- 최종적으로 제작할 대시보드의 구성을 간략히 설명하세요.
  - 상단: 3개 데이터셋 이상 현황 요약 KPI 카드 (총 샘플, 이상률, 탐지 F1)
  - 중단 좌: PCA 2D 산점도 — 정상(회색)/이상(빨강) 클러스터, fault 유형별 색상 구분
  - 중단 우: fault 유형별 PCA 분리도 막대 차트 — TCP/Pr/RF 계열 탐지 용이성 비교
  - 하단 좌: ev_data 주요 센서(RF Tuner, RF Pwr, Pressure) 시계열 트렌드
  - 하단 우: 모델 성능 비교 테이블 (Isolation Forest vs XGBoost vs Random Forest)
기대 효과
- 프로젝트 완료 후 얻게 될 데이터 인사이트와 활용 가능성을 제시하세요.
  - rfm_data가 PC1 기준 정상/이상 분리도 최대(0.22 vs -1.18)로 단독 모델 성능 가장 우수 예상 — RF 매칭 센서 중점 모니터링 권고
  - oes_data는 TCP 파워 계열(+30, +50) 이상에 특히 민감, OES 스펙트럼 기반 TCP 이상 조기 탐지 가능
  - ev_data는 RF Tuner·Vat Valve 변수가 민감 변수로 확인 — 장비 파라미터 기반 1차 알람 기준 설정에 활용
  - 3종 데이터 통합 모델은 개별 모델 대비 탐지 커버리지 확대 및 오탐률 감소 기대
  - 본 프로젝트 결과를 토대로 스파르타반도체 FDC 룰셋 업데이트 및 지능형 알람 임계값 설정에 직접 적용 가능 </aside>

프로젝트 일정 계획

실전 프로젝트

일정 단계 주요 작업 담당

Day 1	데이터 이해 및 문제 정의	3개 CSV 구조 파악 / fault 분포 분석 / 핵심 질문 설정 / 참고자료 조사	유지수, 이승재
Day 2	EDA 및 기초 시각화	기술통계 확인 / 변수 분포 히스토그램 / 이상률 시각화 / 상관관계 히트맵	박승환, 김한이
Day 3~Day5	데이터 전처리	StandardScaler 표준화 / 결측·이상치 처리 / 이진 레이블 생성 / 상수 변수 제거	박승환, 박정운, 김한이
Day 6	PCA 및 차원 축소	PCA 적용 / 누적 설명 분산 분석 / PC1~3 기반 정상·이상 분리도 도출 / 시각화	박승환, 유지수
Day 7	변수 민감도 분석	fault 유형별 민감 변수 선별 / 분리도 랭킹 / ev·oes·rfm 비교 분석	유지수, 이승재
Day 8	Isolation Forest 모델링	비지도 이상탐지 모델 구현 / contamination 파라미터 튜닝 / 성능 평가	박승환, 유지수, 이승재
Day 9	XGBoost / RF 모델링	지도학습 분류 모델 학습 / F1·Precision·Recall 평가 / Feature Importance 도출	박승환, 유지수, 이승재
Day 10	모델 성능 비교 및 해석	3개 모델 성능 비교 테이블 / 오분류 분석 / 탐지 난이도별 분석	전원
Day 11	Tableau 대시보드 구성	KPI 카드 / PCA 산점도 / 센서 트렌드 / fault 분포 / 모델 성능 시각화	김한이, 박정운
Day 12	대시보드 최적화	인터랙션 필터 설정 / 시각화 정제 / FDC 알람 임계값 시각화	김한이, 박정운
Day 13	최종 인사이트 정리 및 발표 자료 제작	핵심 발견사항 정리 / 공정 개선 제안 / 발표 슬라이드 작성	전원 참여
Day 14	최종 발표 및 피드백	최종 결과물 발표 / 질의응답 / 피드백 반영 및 문서 마무리	전원 참여

역할 분담

데이터 전처리 및 EDA: 박승환, 김한이, 박정운
탐색적 데이터 분석 및 문제 정의: 유지수, 이승재
머신러닝 모델링 (이상탐지): 박승환, 유지수, 이승재
대시보드 제작 및 디자인 (Tableau): 김한이, 박정운
발표 자료 준비 및 문서 작성: 김한이 (전원 참여)

회의 내용

우리가 해야할게 의도적으로 값을 바꿨을 때 떨림이나 변동이 있는지 확인

데이터 별로 웨이퍼 수가 다르다.(129/126/126)

개별로 보면 제거x, 시계열 분석하면 데이터 갯수 통일

CL> 가스 유량을 바꾼거

우리가 해야할 것

Fault name > 실제 결함이 아니라 레시피를 어떻게 바꿨나에 대한 데이터

TCP를 바꿨을 떄 어떻게 바뀌나 RFM을 바꿨을 떄 어떻게 바뀌나

Fault name 기준에서 두드러지는 바뀌는 값

도메인 지식을 바탕으로

OES 칼럼 131개 > 129개 행 이름이 파장 3세트

RFM 데이터에 대한 이해

칼럼 명에 대한 이해

S 센서 위치

ev 데이터에서 확인해야하는 것

CL_2 flow가 비례해서 증가

시계열 데이터를 통해 결함의 추이를 보는 게 좋을 것 같다.

우리 방향성 레시피 데이터를 기반해서 연동 되는 값들을 찾아내고 > 3가지 엑셀 시트에서 각각 수행하고 어떤 관측 데이터를 기반으로 했을 때 효과적으로 변동을 잡아 내는 것이 효과적인가. 레시피를 바꿨을 때 유의미하게 바뀌는 것을 보기 위해서

Fault name > 5~6개 변수를 바꿨을 때 뭐가 가장 많이 변하고 어떤 관측 장비를 썼을 때 효과적으로 변하는지

20260526 TIL

kodayi — Tue, 26 May 2026 21:02:32 +0900

오늘은 공부를 못했다... 내일부터 심기 일전해서 다시 시작!

20260522 TIL

kodayi — Fri, 22 May 2026 20:45:30 +0900

오늘의 목표

품질 경영 기사를 공부하면서 품질 역량을 키운다.

시계열 데이터를 공부하면서 시계열 데이터 분석 역량을 키운다.

태블로 강의를 수강하면서 데이터 시각화 역량을 기른다.

대시보드 강의를 수강하면서 데이터 시각화 역량을 기른다.

TIL

❇️ 시계열 강의 복습

⚡시계열 데이터란?

일정한 시간 간격으로 순차적으로 기록된 데이터

기존 데이터 분석이 현상을 분석했다면 시계열 데이터는 맥락을 분

⚡시계열 데이터의 조건

20260519 TIL

kodayi — Tue, 19 May 2026 20:39:24 +0900

오늘의 목표

품질 경영 기사를 공부하면서 품질 역량을 키운다.

시계열 데이터를 공부하면서 시계열 데이터 분석 역량을 키운다.

태블로 강의를 수강하면서 데이터 시각화 역량을 기른다.

대시보드 강의를 수강하면서 데이터 시각화 역량을 기른다.

TIL

❇️ Tableau 강의

❇️ Streamlit 강의

import streamlit as st
import pandas as pd

# 문자열 → 텍스트
st.write("외경 측정값을 표시합니다.")

# 숫자 → 그대로
st.write(50.012)

# 마크다운 → 자동 렌더링
st.write("**굵게** 와 *기울임* 도 됩니다.")

# 딕셔너리 → JSON 형태
st.write({"line": "A", "lot": "L-2026-001", "cpk": 1.42})

# 데이터프레임 → 인터랙티브 테이블
df = pd.DataFrame({
    "측정번호": [1, 2, 3],
    "외경(mm)": [50.01, 49.97, 50.18],
})
st.write(df)

# 여러 개를 한 번에 — 매개변수 여러 개 넘기기
st.write("라인:", "A", "/ 로트:", "L-2026-001")

함수마크다운 해석LaTeX데이터프레임 자동 표 추천 용도

st.write	✅	✅	✅	"고민하기 싫을 때" > 가장 일반적으로 사용
st.markdown	✅	✅ ($...$)	❌	의도적으로 마크다운만
st.text	❌ (그대로)	❌	❌	고정폭 평문 (코드 출력 같은 것)

20260518 TIL

kodayi — Mon, 18 May 2026 12:09:56 +0900

오늘의 목표

품질 경영 기사를 공부하면서 품질 역량을 키운다.

시계열 데이터를 공부하면서 시계열 데이터 분석 역량을 키운다.

태블로 강의를 수강하면서 데이터 시각화 역량을 기른다.

대시보드 강의를 수강하면서 데이터 시각화 역량을 기른다.

TIL

❇️ Tableau 강의

Tabpy는 Tableau 환경에서 python 코드를 사용할 수 있도록 해주는 것

Python 스크립트(머신러닝·통계·데이터 전처리 등) 를 직접 실행할 수 있게 해주는 외부 서비스 게이트웨이

Tableau 계산식(SCRIPT_REAL, SCRIPT_INT, SCRIPT_STR, SCRIPT_BOOL) 안에서 Python 코드를 직접 호출

ex)

SCRIPT_REAL(
"import numpy as np
return np.mean(_arg1)"
, SUM([Sales])
)

→ Tableau의 [Sales] 데이터를 Python으로 보내서 numpy.mean()으로 평균

2. Send Code to TabPy and Run it

Tableau는 사용자가 작성한 Python 코드를 TabPy 서버로 전송
TabPy는 Python이 설치된 환경에서 코드를 실행
이때 Python의 다양한 라이브러리(numpy, pandas, scikit-learn 등)를 활용할 수 있음
→ 즉, 머신러닝 모델 훈련, 예측, 통계 분석 등을 Tableau 안에서 수행

3. Return a List back to Tableau

Python이 실행 결과를 리스트 형태로 Tableau에 반환
예를 들어 Python이 계산한 예측값이나 통계 결과를 Tableau로 다시 보내면,
Tableau는 그 값을 시트 또는 차트에 시각화

4. Tableau Table Calc

반환된 값은 Tableau에서 일반 계산식처럼 사용할 수 있음
→ 즉, Tableau의 다른 필드들과 조합해서 그래프, KPI, 예측 차트 등을 만들 수 있음

SCRIPT_REAL(" ... ") →

의미 : Tableau가 TabPy 서버를 통해 Python 코드를 실행하도록 하는 Script 함수
REAL은 숫자형(float) 결과를 반환할 때 사용
- SCRIPT_REAL() → 숫자형 결과
- SCRIPT_INT() → 정수형 결과
- SCRIPT_STR() → 문자열 결과
- SCRIPT_BOOL() → True/False 결과

② text = _arg1 →

의미 : Tableau에서 넘겨준 첫 번째 인수(_arg1)를 Python 변수 text에 저장하는 부분
_arg1, _arg2, _arg3 … 은 Tableau가 전달하는 입력값으로, SCRIPT 함수 뒤에 쉼표(,)로 구분해 전달
이 예시에서는 _arg1이 ATTR([Comment])로부터 넘어온 텍스트 목록(댓글 데이터)이 됨

③, ATTR([Comment]) →

의미 : Tableau 필드 [Comment]를 Python 코드의 _arg1로 전달하는 부분
즉, Tableau 시트의 댓글(Comment) 데이터 열이 Python 코드의 입력값으로 사용

실습

Tabpy 설치

1. CMD창을 통해 명령 프롬프트 열기

2. 설치 전 pip 업데이트

python -m pip install --upgrade pip
# python3 -m pip install --upgrade pip

3.Tabpy 패키지 설치

pip install tabpy

4. 설치된 Tabpy를 실행

tabpy

# Do you wish to proceed without authentication? (y/N): 뜨면 y 엔터

이때 Do you wish to proceed without authentication는 권한 없이 실행할 것인지 물어보는 것으로 우리는 로컬 서버에서 사용하므로 사용할 필요 x

➡️브라우저에서 http://localhost:9004 접속 → TabPy REST API 페이지가 뜨면 OK

성공적으로 실행

호스트 이름 : localhost ( Tabpy가 설치된 IP)
포트 : 9004 (Default

Tabpy를 활용한 클러스터링

3-1. K-Means

K-Means는 가장 대표적인 비지도 학습(unsupervised learning) 알고리즘 중 하나로, 데이터를 K개의 그룹(클러스터)으로 나누는 방법
즉, 비슷한 데이터끼리 묶어 패턴이나 구조를 찾는 데 쓰임

**K 선택 :**사용자가 만들고 싶은 클러스터 개수 K를 정함
초기 중심점(centroid) 설정 : 임의로 K개의 점을 데이터 공간 안에 초기 중심으로 둠 (랜덤 선택)
할당 단계 (Assignment Step) : 각 데이터를 가장 가까운 중심점에 할당합니다. → 클러스터 형성
업데이트 단계 (Update Step) : 각 클러스터의 데이터를 평균 내서 새로운 중심점으로 갱신합니다.
반복 : 중심점이 더 이상 크게 변하지 않거나, 수렴 조건에 도달할 때까지 3~4단계를 반복합니다.

3-2. Mini-Batch KMeans

Mini-Batch KMeans는 일반적인 K-Means 알고리즘을 대규모 데이터셋에 더 효율적으로 적용할 수 있도록 개선한 방식
기존 K-Means는 모든 데이터를 반복(iteration)마다 클러스터 중심(centroid)에 대해 계산해야 하기 때문에 대용량 데이터에서는 연산량과 메모리 사용량이 매우 커짐
Mini-Batch KMeans는 이를 해결하기 위해 전체 데이터를 한 번에 쓰지 않고, 작은 배치(mini-batch) 단위로 무작위 샘플링하여 클러스터링을 진행

초기화: 일반 K-Means처럼 k개의 클러스터 중심(centroid)을 무작위로 설정
미니배치 샘플링: 전체 데이터에서 일부(예: 100~1000개 정도)를 랜덤하게 뽑아 사용
할당(Assignment): 샘플 데이터 각각을 가장 가까운 중심점(centroid)에 할당
업데이트(Update): 선택된 샘플을 기준으로 중심점을 조금씩 업데이트 (확률적 경사하강법과 유사)
반복: 여러 배치를 반복하면서 전체 데이터 분포에 맞는 중심점으로 수렴

실습

SCRIPT_INT("
import numpy as np
from sklearn.cluster import KMeans, MiniBatchKMeans

x1 = np.asarray(_arg1, dtype=np.float32)
x2 = np.asarray(_arg2, dtype=np.float32)
algo = _arg3[0]; k = int(_arg4[0])

X = np.column_stack((x1, x2))
n = X.shape[0]; k = max(1, min(k, n))

if algo == 'KMeans':
    labels = KMeans(n_clusters=k, n_init=5, random_state=59).fit_predict(X)
else:
    labels = MiniBatchKMeans(n_clusters=k, batch_size=20, random_state=59).fit_predict(X)

return labels.tolist()
",
SUM([매출]),   
SUM([수익]),   
[P_Cluster Algorithm],
[P_Cluster Numbers]
)

> 색깔이 안나오는 문제 발생 했는데 매개변수 표시하고 CLuster를 7개로 맞춰줬더니 해결

행 : 합계(매출)
열 : 합계(수익)
색상 : C_Cluster (계산 대상 : 제품명)
세부정보 : 제품명

4-1. Prophet

Prophet은 페이스북이 2017년에 공개한 시계열 데이터 예측용 오픈소스 라이브러리

Python과 R에서 사용 가능
일별, 주별, 월별 시계열 데이터에 특히 강함
계절성(Seasonality), 추세(Trend), 휴일 효과(Holiday effects) 등을 자동으로 고려

즉, “비전문가도 쉽게 시계열 예측을 할 수 있도록 만든 라이브러리”라고 볼 수 있음

Prophet의 모델 구조

Prophet은 시계열을 다음과 같이 분해함:

SCRIPT_REAL("
import pandas as pd
import numpy as np
from prophet import Prophet

# 1) 스캐폴드(뷰의 전체 날짜)
scaf = pd.DataFrame({'ds': _arg1})
scaf['ds'] = pd.to_datetime(scaf['ds'], errors='coerce')
scaf = scaf.dropna().sort_values('ds')

# 2) 히스토리(실데이터) 구성
hist = pd.DataFrame({'ds': _arg1, 'y': _arg2})
hist['ds'] = pd.to_datetime(hist['ds'], errors='coerce')
hist = hist.dropna(subset=['ds','y']).sort_values('ds')
hist = hist.groupby('ds', as_index=False)['y'].sum()

if len(hist) < 2:
    return [float('nan')] * len(scaf)

# 3) 예측 기간 = 파라미터만 사용
try:
    periods = int(_arg3[0])
except:
    periods = 0
periods = max(0, periods)

# 4) 모델 학습 & 예측
m = Prophet(yearly_seasonality=True,
            weekly_seasonality=True,
            daily_seasonality=False,
            seasonality_mode='multiplicative')
m.fit(hist)

future = m.make_future_dataframe(periods=periods, freq='D')
fcst = m.predict(future)[['ds','yhat']]

# 5) 스캐폴드와 정합 → 뷰 길이에 맞춰 반환
out = scaf.merge(fcst, on='ds', how='left')['yhat'].tolist()
return out
",
ATTR([Date]),   // 스캐폴드 날짜
SUM([매출]),                               // 히스토리 값
[P_Periods to Forecast]                    // 슬라이더: 예측 일수
)

C_Time Series Forecasting 실행할 떄

위와 같은 오류가 나타남

그래서 CMD를 확인한 결과 Prophet가 설치가 안되어 있어서

pip install prophet

을 통해 prophet을 설치하니

정상적으로 작동됨!

20260511 TIL

kodayi — Mon, 11 May 2026 21:00:24 +0900

오늘의 목표

코드카타를 하면서 기본적인 코딩 역량을 키운다.

품질 경영 기사를 공부하면서 품질 역량을 키운다.

TIL

❇️코드 카타

20260504 TIL

kodayi — Mon, 4 May 2026 10:02:40 +0900

오늘의 목표

코드카타를 하면서 기본적인 코딩 역량을 키운다.

심화 프로젝트를 진행하면서 실무 역량을 키운다.

TIL

❇️코드 카타

❇️심화 프로젝트