3. 데이터 입출력 구현 (데이터모델, 논리 데이터, 물리 데이터, 데이터베이스)

🔢

01. 데이터모델

02. 논리 데이터

03. 물리 데이터

04. 데이터베이스

---

01. 데이터모델 

데이터 모델(Data Model)

- 현실 세계의 정보를 인간과 컴퓨터가 이해할 수 있도록 추상화하여 표현한 모델

 

데이터 모델 표시 요소

연구제

연산 (Operation)	데이터베이스에 저장된 실제 데이터를 처리하는 작업에대한 명세 릴레이션 조작위한 관계 연산 (셀/프/조/디)
구조 (Structure)	데이터베이스에 논리적으로 표현될 대상. 개체 타입과 개체 타입간의 관계. 데이터 구조 및 정적 성질을 표현하는 요소
제약조건 (Contraint)	데이터베이스에 저장될 수 있는 실제 데이터의 논리적인 제약 조건 무결성 유지를 위한 DB의 보편적 방법. 특정 칼럼 제약을 의미(개체 무결성/참조 무결성 등)

 

 

데이터 모델 절차

개논물

1. 요구조건 분석	-	도출된 요구사항 간 상충 해결 / 범위 파악 / 외부 환경과 상호작용 분석 / 요구 분석
2. 개념적 설계	개념적 데이터 모델	사용자 요구의 트랜잭션을 모델링 현실 세계 인식을 추상적, 개념적으로 표현. 개념적 구조를 도출함 산출물 : 개체관계 다이어그램(ERD)
3. 논리적 설계	논리적 데이터 모델	트랜잭션의 인터페이스를 설계 형상화하여 사람이 이해하기 쉽게 표현한 데이터 모델 DBMS에 맞는 논리적 스키마를 설계. 정규화 수행 스키마의 평가 및 정제, 테이블을 설계
4. 물리적 설계	물리적 데이터 모델	특정된 DBMS의 특성 및 성능을 고려하여 물리적인 스키마를 만드는 단계 테이블, 인덱스, 뷰, 파티션 등 객체를 생성 응답시간, 저장공간 등 성능화. 반정규화 수행

---

02. 논리 데이터

논리 데이터 모델링

- 업무의 모습을 모델링 표기법으로 형상화하여 사람이 이해하기 쉽게 표현하는 프로세스

- 개념모델로부터 업무영역의 업무 데이터 및 규칙을 구체적으로 표현한 모델

 

논리적 데이터 모델링 종류

관계 데이터 모델	2차원 테이블 형태 / 기본키와 외래키로 관계 표현 / 1:1, 1:N, N:M 관계를 자유롭게 표현
계층 데이터 모델	트리형태 / 상화관계만 존재(부모-자식) / 1:N 관계만 허용
네트워크 데이터 모델	그래프 형태 / 상위 하위 사이에서 N:M(다대다) 관계를 만족하는 구조

 

논리적 데이터 모델링 속성

개속관

개체 (Entity)	피터챈 : 사각형 □ / 까마귀발 : 표 형식	관리할 대상이 되는 실체
속성 (Attribute)	피터챈 : 타원형○ / 까마귀발 : 표 내부에 표시	관리할 정보의 구체적 항목
관계 (Relationship)	피터챈 : 마름모◇ / 까마귀발 : 선 ─<	개체 간의 대응 관계

 

관계 데이터 모델 구성

튜카행열차속

릴레이션(Relation) = 테이블
튜플(Tuple) = 행	카디널리티(Cardinality) = 행의 수
속성(Attribute) = 열	차수(Degree) = 열의 수

 

 

관계 대수

- 관계형 데이터베이스에서 원하는 정보와 그 정보를 어떻게 유도하는가를 기술하는 절차적 정형 언어

 

관계 대수 연산자 종류

1. 일반 집합 연산자 (합교차카)

합집합 (Union)	R ∪ S	각각 릴레이션의 모든 튜플조회 결과의 릴레이션
교집합 (Intersection)	R ∩ S	R과 S에 모두 속하는 모든 튜플조회 결과의 릴레이션
차집합 (Difference)	R － S	R에 존재하고 S에 존재하지 않는 튜플 결과의 릴레이션
카티션 프로덕트 (CARTESIAN Product)	R  X S	R과 S에 속한 모든 튜플을 연결해 만들어진 새로운 튜플로 만든 릴레이션

 

2. 순수 관계 연산자 (셀프조디)

셀렉트 (Select)	σ조건(R)	R에 조건을 만복하는 튜플 반환
프로젝트 (Project)	π속성리스트 (R)	R에 주어진 속성들의 값으로만 구성된 튜플 반환
조인 (Join)	R ⋈ S	R과 S의 튜플들을 연결해 만들어진 튜플 반환
디비전 (Division)	R ÷ S	S의 모든 튜플과 관련있는 R의 투플 반환

 

 

---

정규화 (Normalization)

- 관계형 데이터 모델에서 데이터의 중복성을 제거하여 이상 현실을 방지, 데이터의 일관성과 정확성을 유지하기 위해 무손실 분해하는 과정

 

이상현상(Anomaly)

- 데이터 중복성으로 인해 릴레이션 조작 시 발생하는 비합리적 현상

삽삭갱

삽입 이상	저장 시 해당 정보의 불필요한 세부정보를 입력해야 하는 경우
삭제 이상	삭제 시 원치 않는 다른 정보가 같이 삭제되는 경우
갱신 이상	중복 데이터 중에서 특정 부분만 수정되어 중복된 값이 모순을 일으키는 경우

 

정규화 단계

도부이결다조

1정규형 (1NF)	도메인이 원자값. 속성 하나만 가지도록 저장
2정규형 (2NF)	부분함수 종속 제거. 주식별자가 아닌 속성을 분리. 완전 함수적 종속 관계
3정규형 (3NF)	이행함수(A→B이고, B→C이면 A→C관계가 같이 있는 경우) 종속 제거
보이스-코드 정규형 (BCNF)	결정자 후보키가 아닌 함수 종속 제거
4정규형 (4NF)	다치 종속 제거. 개발자-언어 / 개발자-자격증 이렇게 분리
5정규형 (5NF)	조인 종속 제거.

 

 

반정규화 (De-Normalization)

- 정규화된 엔티티, 속성, 관계에대해 성능 향상과 개발 운영의 단순화를 위해 중복, 통합, 분리를 수행하는 데이터 모델링 기법

 

반정규화 기법

테이블 병합		릴레이션 관계를 통합해 조인 횟수를 줄여 성능 향상
테이블 분할	수평분할	테이블 분할에 레코드를 기준으로 파티셔닝
	수직분할	테이블이 가지는 컬럼 개수가 많을경우 활용
중복 테이블 추가	집계 테이블 추가	GROUP BY 집계 데이터를 위한 테이블 생성. 원본 테이블에 트리거 생성
	진행 테이블 추가	이력 관리 목적으로 추가하는 테이블
	특정 부분만 포함 테이블 추가	데이터가 많은 테이블의 특정 부분만 사용
컬럼 중복화		조인 성능 향상을 위한 중복 허용
중복관계 추가		여러 경로를 거쳐 조인이 가능한데 그 사이에 추가적 관계를 맺어 성능저하예방

 

---

03. 물리 데이터

물리데이터 모델링

- 논리모델을 적용하고자 하는 기술에 맞도록 상세화해가는 과정

 

물리데이터 모델링 변환 절차

• 개체 → 테이블
• 속성 → 컬럼
• UID →  기본키
• 관계 → 외래키
• 컬럼유형과 길이 정의
• 반 정규화 수행

테이블 제약 조건

참조무결성 제약조건

- 두 릴레이션 사이에 대해 참조의 일관성을 보장하기 위한 조건

① 제한(Restricted) : 참조 무결성 원칙을 위배하는 연산을 거절하는 옵션

② 연쇄(Cascade) : 참조되는 릴레이션에서 튜플을 삭제. 참조하는 다른 릴레이션의 튜플도 함께 삭제하는 옵션

③ 널값(Nullify) : 참조되는 릴레이션에서 튜플 삭제. 참조하는 릴레이션에서 튜플에 NULL값을 넣는 옵션. NOT NULL설정 시 삭제 연산을 거절

 

인덱스(Index)

- 검색연산의 최적화를 위해 데이터베이스 내 열에 대한 정보를 구성한 데이터구조

 

인덱스 적용 기준

- 인덱스 분포도가 10~15% 인 경우

- 분포도 = (1 / (컬럼 값의 종류)) x 100

- 분포도 = (컬럼 값의 평균 Row 수) / (테이블의 총 Row 수) x 100

 

인덱스컬럼 선정

- 분포도가 좋은 컬럼은 단독적으로 생성

- 자주 조합되어 사용되는 컬럼은 결합 인덱스로 생성

- 결합 인덱스는 구성되는 컬럼 순서 선정에 유의 (사용빈도, 유일성, 정렬)

- 가능한 한 수정이 빈번하지 않은 컬럼을 선정

 

클러스터(Cluster)  적용기준

- 인덱스의 단점을 해결한 기법. 분포도가 넓은수록 오히려 유리

- 대량의 범위를 자주 액세스 하는 경우 적용

- 여러개의 테이블이 빈번하게 조인을 일으킬 때 활용

 

클러스터 설계 시 고려사항

- 검색 효율은 높여주나 입력, 수정, 삭제 시 부하 증가

- 집합합수 빈번한 컬럼이라면 검토필요

 

파티션(Partition)

① 레인지 파티셔닝 (Range Partitioning)	- 연속적인 숫자나 날짜를 기준으로 하는 파티셔닝 - 손쉬운 관리 기법을 제공하여 관리 시간의 단축이 가능 - 예 ) 우편번호, 일별, 월별, 분기별
② 해시 파티셔닝 (Hash Partitioning)	- 파티션 키의 해시 함수 값에 의한 파티셔닝 - 균등한 데이터 분할이 가능하고 질의 성능이 향상 가능 - 예 ) 파티션을 위한 범위가 없는 데이터에 적합
③ 리스트 파티셔닝 (List Partitioning)	- 특정 파티션에 저장 될 데이터에 대한 명시적 제어가 가능한 파티셔닝 - 분푸도가 비슷하고 데이터가 많은 sql에서 컬럼의 조건이 많이 들어오는 경우 유용 - 예 ) 한국,일본,중국은 아시아. 노르웨이,스웨덴,핀란드는 북유럽
④ 컴포지트 파티셔닝 (Composite Partitioning)	- 위 두개 파티셔닝을 결합하는 파티셔닝 - 큰 파티션에 대한 I/O요청을 여러 파티션으로 분산
⑤ 라운드로빈 파티셔닝 (Round-Robin Partitioning)	- 라운드로빈 분할로 회전하면서 새로운 행이 파티션에 할당하는 방식 - 파티션에 행의 고른 분포를 원할 때 사용

 

 

 

파티션의 장점

성능 향상	데이터 액세스 범위를 줄임
가용성 향상	전체 데이터 훼손 가능성 감소. 데이터 가용성 향상
백업 가능	분할 영역을 독립적으로 백접하고 복구가능
경합 감소	디스크 컨트롤러에 대한 경합의 감소 디스크 스트라이핑* 입출력 성능을 향상 * 성능 향상을 위해 데이터를 1개 이상의 디스크 드라이브에 저장하여 드라이브를 병렬로 사용할 수 있는 기술

 

 

---

04. 데이터베이스

데이터베이스(Database) 개념

- 다수의 인원, 시스템 또는 프로그램이 사용할 목적으로 통합하여 관리되는 데이터의 집합

 

데이터베이스의 정의

통저운공

통합된 데이터 (Integrated Data)	자료 중복을 배제한 데이터의 모임
저장된 데이터 (Stored Data)	저장 매체에 저장된 데이터
운영 데이터 (Operational Data)	조직의 업무를 수행하는 데 필요한 데이터
공용 데이터 (Shared Data)	여러 애플리케이션, 시스템들이 공동으로 사용하는 데이터

 

데이터베이스 특성

실접계변 동내

실시간 접근성 (Real-Time Accessibility)	쿼리에 대하여 실시간 응답이 가능해야 함
계속적인 변화 (Continuous Evolution)	새로운 데이터의 삽입, 삭제, 갱신으로 항상 최신 데이터를 유지함
동시 공용 (Concurrent Sharing)	다수의 사용자가 동시에 같은 내용의 데이터를 이용할 수 있어야 함
내용 참조 (Content Refernce)	데이터베이스에 있는 데이터를 참조할 때 데이터 레코드의 주소나 위치에 의해서가 아니라, 사용자가 요구하는 데이터 내용으로 찾는다.

 

관계형 데이터베이스 관리시스템 (RDBMS, Relational Database Management System)

- 관계형 모델을 기반으로 하는 가장 보편화된 데이터베이스 관리 시스템

- 테이블을 상하 관계로 표시하며 상관관계를 정리

 

계층형 데이터베이스 관리시스템 (HDBMS, Hierarchical Database Management System)

- 데이터를 상하 종속적인 관계로 계층화 하여 관리하는 데이터베이스

- 데이터 접근 속도가 빠르지만 종속적인 구조로 변화하는 데이터의 구조에 유연대응 어려움

 

네트워크 데이터베이스 관리시스템 (NDBMS, Network Database Management System)

- 데이터 구조를 네트워크상의 망상 형태로 표현한 데이터 모델

- 트리구조나 계층형 데이터베이스보다는 유연하지만 설계가 복잡한 단점

 

데이터베이스 관리 툴 기능

• 데이터베이스 생성, 삭제
• SQL명령어 작성 및 실행
• 상태 모니터링
• 사용자 계정 관리
• 데이터베이스 내보내기/가져오기
• 환경설정

 

DBMS(Database Management System)

- 데이터 관리의 복잡성을 해결하는 동시에 데이터 추가, 변경, 검색, 삭제, 복구, 보안 등 기능을 지원하는 SW

 

DBMS 특징

무일회보효

• 무결정
• 일관성
• 회복성
• 보안성
• 효율성

 

DBMS 유형

키컬도그

키 값 DBMS (Key-Value DBMS)	- 키 기반 GET/PUT/DELETE 제공. 메모리 기반에서 성능 우선 시스템 및 빅데이터 처리 가능 - Redis, DynamicDB
컬럼 기반 데이터 저장 DBMS (Column Family Data Store DBMS)	- Key안에 (Column Value) 조합으로 된 여러개의 필드를 갖는 DBMS - 테이블 기반, 조인 미지원, 컬럼 기반. - 구글의 Bigtable 기반으로 구현 - HBase, Cassandra
문서 저장 DBMS (Document Store DBMS)	- 값의 데이터 타입이 문서라는 타입을 사용 - XML, JSON과 같이 구조화된 데이터 타입으로 복잡한 계층 구조 표현 가능 - MongoDB, Couchbase
그래프 DBMS (Graph DBMS)	- 시멘틱 웹과 온톨로지 분야에서 활용되는 그래프로 데이터를 표현 - 노드와 엣지로 특징되는 요소 특화. 노드 간 관계를 구조화하여 저장 - Neo4j, AllegroGraph

 

---

 

빅데이터

- 시스템, 서비스, 조직, 회사등에서 주어진 비용, 시간 내에 처리가능한 데이터 범위를 넘어서 수십 페타바이트 크기의 비정형 데이터이다.

 

빅데이터의 특성

V3

데이터의 양(Volume)	페타바이트 수준의 대규모 데이터
데이터의 다양성(Variety)	정형, 비정형, 반정형 다양한 데이터 로그, 소셜, 위치 등 데이터 유형이 다양해지는 것을 의미
데이터의 속도(Velocity)	빠르게 증가하고 수집되며 처리되는 데이터

 

 

NoSQL(Not Only SQL)

- 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어

- 데이터 저장에 고정된 테이블 스키마가 필요하지 않음

- 조인 연산을 사용할 수 없음

- 수평적으로 확장이 가능

 

NoSQL의 BASE 특성

Basically Available	언제든지 데이터에 접근할 수 있어야함 분산 시스템이기 때문에 항상 가용성 중시
Soft-State	노드의 상태는 외부에서 전송된 정보를 통해 결정되는 속성 특정 시점에서는 데이터 일관성이 보장되지 않음
Eventually Consistency	일정 시간 지나면 데이터의 일관성이 유지되는 속성 일관성을 중시하고 지향

 

데이터 마이닝(Data Minnig)

- 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기술

- 의미있는 패턴을 파악, 예측하여 의사결정이 활용하는 기법

 

데이터마이닝 절차

목적 설정 > 데이터 준비 > 가공 > 마이닝 기법 적용 > 정보 검증

 

데이터마이닝 주요기법

분연연데

분류 규칙 (Classification)	과거 데이터로부터 특성을 찾아 이를 토대로 새로운 결과 값을 예측 - 마케팅, 고객 신용평가 모형에 활용
연관 규칙 (Association)	데이터 안에 존재하는 항목들 간 종속관계를 찾아내는 기법 - 서비스 교차판매, 매장 진열 등 (넥타이 사면 셔츠를 구매)
연속 규칙 (Sequence)	연관 규칙 + 시간 관련 정보 포함된 형태의 기법 - 트랜잭션 이력 데이터를 시계열적으로 분석하여 트랜잭션 향후 발생 가능성 예측
데이터 군집화 (Clustering)	대상 레코드들을 유사한 특성을 지닌 소그룹으로 분할하는 작업 정보가 없는 상태에서 데이터 분류하는 기법

 

텍스트 마이닝

-대량의 텍스트 데이터로부터 패턴, 관계를 추출해 의미있는 정보를 찾아내는 기법

 

웹 마이닝

- 웹으로 얻어지는 방대한 정보로부터 유용한 정보를 찾아내기 위해 분석하는 기법