SQL2000 강좌

15. 전문검색(Full Text Search) - 3. 전문검색 서비스의 문제점

코난 — Fri, 20 Nov 2009 23:07:56 +0900

현재 2002년 12월 입니다. 제가 이하 언급해 드리려 하는 전문검색의 보완점들은 이미

1년전부터 한국 마이크로소프트사에서 인지하고 발전시키는 내용이며

언급해 드리는 내용들중 많은 내용들이 현재 완전히 해결되거나 부분적으로 해결되어

훨씬 수월한 한글 전문검색을 운영 할 수 있는 상태 입니다.

또한 나머지 문제들 역시 계속적으로 해결되고 있으며 곧 완전한 한글 인덱싱이

가능하리라 생각 합니다.

부디 오해 없으시길.. 어중간한 부정확성에 대한 이야기가 아닙니다.

이걸로 밥먹고 사는 저희 개발자들은 정확히 문제를 인지 해야만 해결책이건 "왜 안되냐?"

라는 질문에 답할 수 있어야만 밥먹을 수 있기 때문에 정확히 안되는게 뭐인지를

알아야 합니다.

어중간하게 "뭐.. 부정확하다고들 하더군요..." 식으로는 밥 굶기 딱 좋겠지요.

제가 언급 드리는 부정확성에 대해서 오해 없으시길 바라며..

부디 전문검색에 대한 오해가 없길 바라면서 이하 내용을 진행 하겠습니다.

SQL2000 전문검색 - 한글 검색의 부정확성.

영어로 전문검색을 구현한 사람들의 이야기나 여러 자료들을 확인해 보면 이제 영문 전문 검색은

정점에 도달했다고 감히 말하고 싶습니다. 실제로 여러 사이트에서 다양한 방법의 전문검색을

구현 사용하고 있으며 최근의 추세로 볼때 전문검색 엔진을 기반으로한 영문 자연어 질의

(English Query) 어플리케이션 구축과 구현에 그 초점이 이동해 있을 정도로 안정적이고

무척이나 정확한 검색을 자랑합니다.

하지만 개인적인 소견으로 중요한 비지니스 한글 데이터 처리에 대해서는

SQL2000의 전문검색 에 대해 "아직은..." 이라고 답을 드릴 수 밖에 없을 듯 하네요.

실제로 차기 전문검색 엔진의 워드 브레이커(단어 추출기) - (.NET 서버와 XP에 포함

버젼 정보 확인은 MS의 DLL 버젼 정보 DB를 참고하길 바람)를 사용시 많은 문제가 해결 되지만

SQL2000에 포함된 전문 검색으로는(버젼 5.XXXXX) 여러가지 문제점이 존재 합니다.

워드 브레이커 화일 : korwbrkr.dll

File Name	Version	Description
korwbrkr.dll	6.0.1529.1	Korean WordBreaker
korwbrkr.dll	6.0.1303.1	Korean WordBreaker for MSSearch
korwbrkr.dll	5.0.2134.1	Korean Word Breaker
korwbrkr.dll	2.0.1.1629	KorWBrkr

2002년 12월 현재 DLL정보 사이트 검색 결과.

6.0.1529.1 : Windows XP버젼에 포함되어 있는 워드 브레이커 화일

6.0.1303.1 : Microsoft SharePoint Portal 서버에 포함되어 있는 워드 브레이커 화일.

1. 가중어, 유사단어(생성어)

가중어나 유사단어 등을 처리 할 수 있다고 온라인 도움말이나 MS의 KB사이트에서

볼 수 있지만...

실제 근접어나 가중어는 한글에서 비교적 정확히 동작하지 않으며 유사단어(생성어) 처리를

위해서는 먼저 시소러스 화일을 구성해야 하며 시소러스 화일은

TSKOR.XML 화일이며 XML의 구조로 생성되어 있습니다.

해당하는 화일은

C:\Program Files\Common Files\System\MSSearch\Data\Config\tskor.xml

에서 보실 수 있으며 이 XML 화일의 구조는 아래와 같습니다.

<XML ID="Tahoe Thesaurus">

</XML>

expansion 부분의 항목에 가중치 값과 값들을 지정하면 Internet Explorer 키워드나 IE, IE5

로 모두 검색이 가능해 집니다. 물론 한글로 역시 사용 가능하며 예를들어

'SQLER.pe.kr' 'SQLER' 'KONAN' '코난' '김대우' 이런 키워드 들을 나열해 같은 범주로 처리할

수 있지요. 단. 해당하는 XML화일은 반드시 UNICODE 형식으로 저장 되어야만 하며 워드패드

같은 툴을 이용하시면 유니코드로 저장이 가능합니다.

- 차기 워드 브레이커에서 완전히 사용 가능.

영어의 경우 예를 들면 위의 샘플중 파생어 처리의

' FORMSOF (INFLECTIONAL, dry) ' 구문부분처럼 dry라는 항목이 쿼리될 경우

dried, drying과 같은 키워드 역시 함께 쿼리 됩니다.(정확히는 인덱싱 타임에 기본형을

워드 브레이커가 추출해 카탈로그에 저장한후 쿼리시에 쿼리 키워드 역시 기본형으로 변형

된후 카탈로그에서 해당하는 키워드를 불러오는 방식으로 처리 됩니다.)

한글을 예로 들어 본다면

먹다 - 먹는다 - 먹었다 - 먹을거다 - 먹은 - 먹고

이런 유형 단어들의 기본형은 '먹다' 입니다.

'나는 새를 보았다.' 이런 문장을 인덱싱 하게 되면 인덱싱시 모든 단어들의 기본형을

추출해 처리하게 되지요. 이때 모든 단어의 기본형 추출을 담당하는 것이

워드 브레이커(Word Breaker)이며 이 워드 브레이커가 인덱싱 성능 향상에 가장 중요한

추출기가 되는 것입니다.

워드 브레이커는 전문검색에서 두번 사용 됩니다.

인덱싱 타임 : 이미 존재하는 문장들을 인덱싱 할 경우 사용.

쿼리 타임 : 전문검색 카탈로그에 질의 할 경우에 사용.

같은 문장이라 할지라도 두군데에서 틀리게 결과가 나올 수 있으며 당연히 인덱싱 타임에

좀더 많은 데이터를 추출하게 될 것입니다.

'나는 새를 보았다.' 라는 문장에 대해서 인덱싱과 쿼리가 될 경우....

인덱싱 타임

나는 : 나, 나다, 날다

새를 : 새

보았다 : 보다, 보

위처럼 개별 키워드에 대해서 인덱싱이 정의되며 해당하는 인덱싱된 키워드중 아무

단어라도 매칭되면 이 문장이 리턴 될 것이지요.

쿼리 타임

나는 : 나

새를 : 새

보았다. : 보다, 보

이렇게 처리 됩니다. 쿼리 타임의 경우와 인덱싱 타임의 경우가 조금씩 틀리지요.

워드 브레이커건 뭐건 잘 분리도 하고 해 주는것 같은데 뭐가 문제냐?

2. korwbrkr.lex 한글 단어 사전에 등록되지 않은 단어(고유명사)는 고유명사 뒤의

조사가 분리 되지 않는다.

"김대우는 잘생겼다." 라는 문장을 분리해 보면 쿼리타임과 인덱싱 타임 모두

김대우는 : 김대우는

잘생겼다 : 잘생기

이렇게 분리 됩니다. 물론 거짓말이기 때문에 틀렸다고 지적하고 싶은 SQLER님도

계시겠지만. -_-+

"김대우는" 단어의 추출은 저희의 생각에 "김대우" + "는" 이나 "김대우" 또는 "김대우는"

이렇게 인덱싱이 되어야 정상일 겁니다. 하지만 "김대우" 라는 단어가

korwbrkr.lex 화일에 등록되지 않은 단어(고유명사) 이기 때문에 조사가 분리되지 않습니다.

"나는 잘생겼다"의 경우는 정확히 "나는" 문자열이 "나"라는 키워드로 추출 되지요.

- 이 문제는 차기 워드 브레이커에서 완전히 해결 되었습니다.

3. 복합명사 검색시의 원하지 않는 결과

삼성전자 : 삼성, 전자

현대전자 : 현대, 전자

이렇게 두개의 삼성전자, 현대전자는 나뉘어서 저장 됩니다. 복합어로 인식하기 때문이지요.

따라서 그냥 생각없이 "삼성전자" 라고 검색을 하게 되면 쿼리 타임에서 역시

"삼성" 으로 검색하고 "전자"로도 검색해서 결과를 리턴하게 되며 전혀 틀린

"현대전자"까지 떨거지로 결과가 나오게 됩니다.

- 차기 워드 브레이커에서 어느정도 해결 되었습니다.

3. 인덱싱도 쿼리도 되지 않는 단어가 존재 합니다.

공포의 "있" 시리즈로..

"열어주고있다", "보여주고있다", "호평받고있는"

이런 유형의 키워드는 쿼리도, 인덱싱도 되지 않습니다.

- 차기 워드 브레이커에서 어느정도 해결 되었습니다.

자.. 이정도면 어느정도 드릴 수 있는 문제와 그 해결에 대해서는 언급을 해 드렸습니다.

한글 XP나 한글 .Net Server들.... 또는 쉐어포인트 포털 서버에 포함된 한글 워드 브레이커

사용시 해결 가능한 것들이니.. 이곳의 워드 브레이커를 이용하시거나...

좀더 안정적인 사용을 위해 역시 차기 버젼을 기다려 보심도 좋을듯 합니다.

개인적으로 SQLER에서는 지속적으로 전문검색을 SQL7 서비스팩1 시절부터

사용해 왔습니다. 저의 경우엔 이렇습니다. 정확도? 빠른 성능?

질문 답변 게시판에서 어느정도의 정확도가 필요 할까요? 그보다 저는 빠른 성능을

택했으며 약간의 부정확성은 빠른 속도로 커버하고 있습니다.

만약 SQLER의 질문 답변 게시판이 중요한 비지니스 데이터를 포함하고 있는 곳이라면?

저역시 선뜻 사용하지 못했을 겁니다. 한건의 데이터라도 놓치면 안되기 때문이지요.

개인적으로는 80% 정도 그 성능과 정확도에 만족하고 있으며 SQLER만의 특징이라고

아직도 생각하고 있습니다. 하지만 그 20%가 비지니스 솔루션으로 선정하는가

아닌가의 판단 기준이 되는 것이지요. 부디 어서 빨리 100% 까지 올라가길 바랍니다.

SQLER의 전문검색 서비스는 물론 계속될 겁니다. ^_^

코난이도 항상 주시하고 있습니다. 다른 SQLER님들도 함께 주시 하실라우? ㅎㅎㅎ

좋은 하루 되시길 바랍니다. - 오래간만에 강좌 하나 완료!!! 열심히 해서 마무리

하도록 하겠습니다.

▶ 15. 전문검색(Full Text Search) - 2. 전문검색 서비스의 문제점 문서의 끝입니다.

15. 전문검색(Full Text Search) - 2. 전문검색 서비스의 구축

코난 — Fri, 20 Nov 2009 23:07:34 +0900

전문검색 서비스의 구현입니다.

늘 그랬듯이. -_-;; 엔터프라이즈 관리자로 구현하는 부분을 먼저 설명 드린후

쿼리로 구성해 스크립트로 돌릴 수 있도록 하는 방법 역시 설명해 드리도록 하겠습니다.

전문검색을 구현하기 위한 단계는 크게 아래처럼 나뉘어 집니다.

1. 전문검색 서비스 설치

2. 전문검색 카탈로그 구성

3. 풀 파퓰레이션 수행

4. 필요할 경우 스케쥴을 이용한 풀 파퓰레이션 또는 증분 파퓰레이션 수행

이렇게 나뉘어 집니다. 구현부는 역시나 그다지 어렵지 않으니 빠르게 보실 수 있으실

겁니다.

엔터프라이즈 관리자를 이용한 전문 검색 구현.

먼저 엔터프라이즈 관리자의

지원 서비스 항목의 전체 텍스트 검색 항목이 시작 되어 있는지 확인 하셔야 합니다.

만약 항목이 없다면 설치를 안하신 것이며(디폴트로 설치시 자동 설치 됩니다.)

다시 설치 디스크를 넣고 엔진 항목의 전체 텍스트 검색 항목을 설치 하시면 됩니다.

혹시 실제로 테스트를 하고 싶으신 분들은?

테스트 데이터 다운로드(EXE화일입니다. 마우스 우측버튼 클릭 -> 다른 이름으로 저장)

SFX압축을 해제 하시면 tMSSQLQnA.mdb 항목이 나오며 이 mdb를 SQL서버로

DTS하신후 테스트 하시면 됩니다. (SQL2000강좌의 DTS강좌 참조)

코난이의 경우 이렇게 tMSSQLQnA라는 테이블로 SQL서버측에 구성 했습니다.

그후 DB에서 PK를 추가 했으며 이어서 Timestamp 컬럼 역시 추가 했습니다.

(증분 채우기 테스트용)

--PK확인.- 없으면 생성 합니다.
ALTER TABLE tMSSQLQnA WITH NOCHECK ADD
CONSTRAINT PKtMSSQLQnA PRIMARY KEY CLUSTERED
(
idx
)
GO

--Timestamp 컬럼을 테이블에 추가.
ALTER TABLE tMSSQLQnA ADD TStamp timestamp NOT NULL
GO

물론 이메일 비슷한 것이 들어가는 @ 마크만 들어가도 샘플에 넣지 않았으며 가급적 사적인

데이터는 나름대로 제거한 샘플입니다. 참고 하시길 바랍니다.

자~~ 이제 전문검색을 구성해 보지요.

이렇게 전체텍스트 인덱스를 구성하려 하는 테이블에서 마우스 우버튼 -> 전체 텍스트

인덱스 테이블 -> 테이블에서 전체 텍스트 인덱싱 정의 를 선택하고 구성을 시작합니다.

이렇게 고유 인덱스를 선택 합니다. 반드시 PK 컬럼이나 Unique인덱스 컬럼이 필요하며

특이할 부분으로 두개의 컬럼의 값의 조합으로 고유값을 가지는 구성인 Composite 인덱스는

사용이 불가 합니다. - 만약 Composite 인덱스 사용중일 경우엔 하나의 컬럼을 고유값을

가지도록 identity로 컬럼을 추가해 구성하는 방법을 사용하면 됩니다.

전문검색을 수행할 열을 결정합니다. 테스트 테이블의 경우 title컬럼과 content 컬럼을

전문검색으로 사용 합니다. 아울러 단어 분리기(Word Breaker)는 한국어를 지정 해야만

한글 처리를 수행 할 수 있습니다. 자세한 이야기는 다음 장에서 풀도록 하지요.

전문검색의 인덱스가 저장되는 곳은? - Windows NT의 화일 시스템상에 독립적인 카탈로그로

저장 됩니다. 이 위치를 지정하는 것이며 추후 백업과 전문검색 카탈로그 이동을 고려해

적절한 위치에 잡으시면 됩니다. 전문검색의 인덱싱 데이터는 대부분의 분들이 별로 신경을

안쓰시는듯 합니다. SQL7부터 자동으로 인덱스의 데이터를 구성하고 활성화 시키고 자동으로

갱신해 주기 때문에 인덱스 데이터에 대한 많은 고려가 없고 신경쓸 일이 별로 없기 때문에

많은 분들이 크게 고려하지 않으시지만 인덱싱 데이터도 중요한 데이터이며 최적의 상태로

유지시켜 줘야 하는 녀석입니다. 전문검색 인덱스 데이터인 카탈로그 역시 무척이나 중요하고

꽤 큰 용량이니 잘 관리 하시길...

필요할 경우 이렇게 채우기 일정(스케쥴)을 구성합니다.

저의 경우는 간단히 테스트로 증분(Incremental) 채우기를 구성했습니다.

증분 채우기를 위해서는 반드시 전체 채우기가 필요하며 해당하는 테이블에 하나의

timestamp 컬럼이 필요 합니다.

자. 구성이 완료 되었군요. 마침을 누르면 전문검색 "구성만" 완료 됩니다.

꽤나 중요한 화면으로 인덱싱 정의는 완료 되었으나 인덱스는 채워지지 않았다고 나옵니다.

반드시 채우기를 수행 해야만 원하시는 검색을 수행 할 수 있지요.

이렇게 전체 텍스트 카탈로그 항목을 보면 구성한 전체 텍스트 구성이 있으며 해당 항목에서

전체 채우기 시작을 선택 합니다. 그후 다시 전체 텍스트 카탈로그 항목에소 새로고침을

수행하면 상태 항목이

이렇게 채우기 진행 중으로 변화하는 것을 볼 수 있습니다.

어느정도 시간이 지난후 다시 리프레시해 채우기가 완료되면 이제 테스트를 해 보실 수 있지요.

어렵지 않게 구성 항목을 보셨습니다. 얼마 안되는 구성이지만 실제 전문검색을 운영하실

경우엔 이렇게 EM으로 구성할 일은 거의 없으며 하지도 않습니다. 실수나 시간이 오래

걸리기 때문이지요. 실제로는 아래와 같은 구성 쿼리를 보통 사용하게 되며 아래 항목을

역시나 템플릿으로 구성해 여러 항목에 대한 정의를 스크립트로 처리할 수 있습니다.

그럼 SQL구문으로 전문검색을 구현해 보도록 하지요.

SQL구문을 이용한 전문검색 구현

--TEST 조회
select top 10 idx, title, writeday, content from tMSSQLQnA

--전체 건수
select count(idx) from tMSSQLQnA

--title 컬럼의 용량
select sum(datalength(title)) from tMSSQLQnA
대략 1M

--content 컬럼의 용량
select sum(datalength(content)) from tMSSQLQnA
대략 27M

--전문검색을 활성화 시킵니다.
if (select DATABASEPROPERTY(DB_NAME(), N'IsFullTextEnabled')) <> 1
exec sp_fulltext_database N'enable'
GO

--전문검색 카탈로그가 만약 존재 한다면 삭제 합니다.
if exists (select * from dbo.sysfulltextcatalogs where name = N'ftMSSQLQnA')
exec sp_fulltext_catalog N'ftMSSQLQnA', N'drop'
GO

--전문검색 카탈로그를 생성합니다.
if not exists (select * from dbo.sysfulltextcatalogs where name = N'ftMSSQLQnA')
exec sp_fulltext_catalog N'ftMSSQLQnA', N'create'
GO

--PK확인.- 없으면 생성 합니다.
ALTER TABLE tMSSQLQnA WITH NOCHECK ADD
CONSTRAINT PKtMSSQLQnA PRIMARY KEY CLUSTERED
(
idx
)
GO

--전문검색에 키값을 지정합니다.
exec sp_fulltext_table N'tMSSQLQnA', N'create', N'ftMSSQLQnA', N'PK_tMSSQLQnA'

--전문검색에 컬럼추가 - content 0x0412 : 한글 0x0409 : 영어(미국)
exec sp_fulltext_column N'tMSSQLQnA', N'content', N'add', 0x0412

--전문검색에 컬럼추가 - title
exec sp_fulltext_column N'tMSSQLQnA', N'title', N'add', 0x0412

--전문검색 활성화를 시작합니다.
exec sp_fulltext_table N'tMSSQLQnA', N'activate'

--풀파퓰레이션 시작
EXEC sp_fulltext_catalog 'ftMSSQLQnA', 'start_full'

--증분 파퓰레이션 시작 - Timestamp 컬럼이 없을 경우
EXEC sp_fulltext_catalog 'ftMSSQLQnA', 'start_incremental'

--Timestamp 컬럼을 테이블에 추가.
ALTER TABLE tMSSQLQnA ADD TStamp timestamp NOT NULL
GO

--증분 파퓰레이션 시작
EXEC sp_fulltext_catalog 'ftMSSQLQnA', 'start_incremental'

--필요에 의해 스케줄 구성.

쿼리쪽을 정확히 알아 두시고 필요시마다 사용하시면 되겠지요. 당연히 코난이도 위의 스크립만

쓰고 EM으로는 거의 하지 않는답니다. ^_^;;

노이즈 단어 제거

이 전문검색 인덱싱시 노이즈 단어로 정의된 녀석들이 있으며 이 노이즈 단어들은

인덱싱에서 제거 되며 쿼리시에서도 수행되지 않습니다.

노이즈 화일은 보통

SQL서버설치폴더\MSSQL\FTDATA\SQLServer\Config

경로에 포함되어 있습니다. 한국어 처리시 사용되는 노이즈 화일이 noise.kor 화일 입니다.

다음으로 전문검색을 구축했으니 어플리케이션에서 이용을 해야 겠지요. 간략히

몇몇 샘플을 알아 보도록 하지요.

전문검색과 관련해 주의하셔야 하는 키워드는 다음과 같습니다.

CONTAINS

CONTAINSTABLE

FREETEXT

FREETEXTTABLE

이렇게 네가지 입니다. 그중에서 CONTAINS 항목을 제외하면 한글 처리에서는

거의 쓰일일이 없기 때문에 CONTAINS 하나정도가 유력해지며 CONTAINS 항목의

여러 검색 방식 중에서도 한글 처리를 어느정도 지원하기 위해 사용 가능한 모듈 역시

몇가지를 제외하면 불가하니 실제 업무에 적용 하실 경우 사용 가능한 펑션은 많지 않습니다.

중요한 부분은 정확히 말씀 드리고 그외적인 부분은 언급 정도만 하도록 하지요.

CONTAINS

특정 키워드를 이용해 전문검색 카탈로그를 검색 합니다. 한글 처리에 적절한 부분은 역시나

키워드 검색 뿐이며 그외 근접어, 가중어, 유사단어에 대한 내용은 다음 장에서 조금

이야기해 보도록 하지요.

대략적인 예시 구문은 다음과 같습니다.

--백업 키워드로 제목 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(title, '"백업"')

--백업 키워드로 글내용 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(content, '"백업"')

--백* 키워드로 제목 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(title, '"백*"')

--백업 or 리스토어 키워드로 글내용 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(content, '"백업" or "리스토어"')

--백* or 리스토어 키워드로 글내용 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(content, '"백*" or "리스토어"')

--백업 near 에러 키워드로 글내용 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(content, '백업 near 에러')

　

보시는 바와 같이 contains 항목중 위의 항목들은 비교적 동작하는 편입니다.

WHERE 구문의 LIKE 검색과 어느정도 비슷해 보이시는지요? 작은 따옴표와 큰 따옴표를

적절히 잘 확인 하셔야만 하며 가급적 메모장이나 쿼리 분석기에 복사하신후

구문정보를 잘 봐 두시는 것도 도움 되실 겁니다.

이하 항목은 그외의 contains 항목의 처리들로 참고 하시길 바랍니다.

--파생어 처리
USE Northwind
GO
SELECT ProductName
FROM Products
WHERE CONTAINS(ProductName, ' FORMSOF (INFLECTIONAL, dry) ')
GO

--가중치 처리
USE Northwind
GO
SELECT CategoryName, Description
FROM Categories
WHERE CONTAINS(Description, 'ISABOUT (spread weight (.8),
sauces weight (.4), relishes weight (.2) )' )
GO

CONTAINSTABLE

정확도 검색(Ranking Search)를 수행 가능하게 합니다.

SQLER에서 예전에 게시판 검색 결과로 사용하던 방식으로 자동으로 Rank 컬럼이

구성되며 CONTAINSTABLE에서 weight 값을 이용해 단어별로 처리 할 수 있습니다.

실제로 하나의 검색어가 넘어올 경우(보통 게시판...) 이라면 별 의미가 없지만

좀더 상세한 전문검색의 세분화된 결과를 원하신다면 유용하실겁니다.

USE Northwind GO SELECT FT_TBL.CategoryName, FT_TBL.Description, KEY_TBL.RANK FROM Categories AS FT_TBL INNER JOIN CONTAINSTABLE(Categories, Description, 'ISABOUT (breads weight (.8), fish weight (.4), beers weight (.2) )' ) AS KEY_TBL ON FT_TBL.CategoryID = KEY_TBL.[KEY] ORDER BY KEY_TBL.RANK DESC GO 　

FREETEXT, FREETEXTTABLE

이름도 멋진 의미기반 검색입니다만. SQL2000의 한글 전문검색에서는 사용이 불가 합니다.

정확히 유의어 검색에 사용되며 전혀 틀린 단어라 할지라도 내부 사전의 유의 수준에 따라

결과를 보여주게 됩니다. FREETEXTTABLE의 경우 RANK 값을 또한 리턴 합니다.

사실상 한글 처리에서는 전혀 쓰이지 않습니다.

USE Northwind GO SELECT CategoryName FROM Categories WHERE FREETEXT (Description, 'sweetest candy bread and dry meat' ) GO 　

USE Northwind SELECT FT_TBL.CategoryName, FT_TBL.Description, KEY_TBL.RANK FROM Categories AS FT_TBL INNER JOIN FREETEXTTABLE(Categories, Description, 'sweetest candy bread and dry meat') AS KEY_TBL ON FT_TBL.CategoryID = KEY_TBL.[KEY] GO 　

약간의 샘플을 보셨습니다. 실제 사용되는 CONTAINS 정도만 주의하셔서 잘 봐두시면

전문검색은 다 보셨다고 해도 무방합니다.

이렇게 전문검색에 대해서 어느정도 알아 보셨습니다. 대부분의 책에서 소개되는 이 정도의

내용은 이제 어느정도 감이 잡히셨으리라 생각하고 있으며 이하 코난이가 생각하는

전문검색입니다.

자. 그럼 구현에 대한 이야기는 이정도로 마치기로 하지요.

▶ 15. 전문검색(Full Text Search) - 2. 전문검색 서비스의 구축 문서의 끝입니다.

15. 전문검색(Full Text Search) - 1. 전문검색 이해

코난 — Fri, 20 Nov 2009 23:07:13 +0900

안녕하세요. 코난 입니다. 정말 오래간만에 강좌를 적는군요.

그간 이런저런 코난이의 신상에 변화가 많이 있었습니다. 자세한 이야기는 차차 풀기로 하고

강좌 이야기를 진행 하도록 하지요. ^_^

이번에 소개해 드릴 내용은 전문검색 - Full Text Search 입니다.

SQL7 강좌의 전문 검색을 보신 분들과 다른 책이나 미디어를 통해 전문검색을 이미

접하신 분들도 계실 겁니다. 또한 SQLER 바로 이곳의 게시판에서 검색을

한번이라도 해 보신분은 이 전문검색을 이미 사용해 보신 것이기도 하지요. ^_^

개인적으로는 이렇게 전문 검색을 사용하고 있습니다.(제목검색, 내용검색)

대략적으로 전문 검색이 등장한 배경은 이렇습니다.

문자열 컬럼인 Varchar나 Char컬럼 또는 Text형 컬럼에서

SELECT 컬럼 FROM 테이블 WHERE TEXT컬럼 LIKE '%찾으려는문자열%'

이런 식으로 쿼리를 수행할 경우 전체 테이블을 Full Scan해서 하나하나 찾으려는 문자열을

비교해서 가져와야 하는 무척이나 부하가 많이 걸리고 속도도 느린 방식을

사용해야만 했지요. 정확히는 찾으려는 문자열의 앞쪽 % 때문에 이런 문제가

발생하게 된 것이기도 하구요.

간단히 구축이나 그 기반 기술을 보기 전에 전문검색과 %찾으려는 문자열% 검색을

비교해 얼마나 시간이 걸리는지 확인해 보도록 할까요?

SET STATISTICS IO ON
SET STATISTICS TIME ON

--백업 키워드로 내용 전문 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE contains(content, '"백업"')

SQL Server 구문 분석 및 컴파일 시간:
CPU 시간 = 15ms, 경과 시간 = 36ms.

'tMSSQLQnA' 테이블. 스캔 수 934, 논리적 읽기 수 2967, 물리적 읽기 수 0, 미리 읽기 수 0.

SQL Server 실행 시간:
CPU 시간 = 78ms, 경과 시간 = 691ms.

--백업 키워드로 내용 검색
SELECT idx, title, writeday, content FROM tMSSQLQnA
WHERE content like '%백업%'

SQL Server 구문 분석 및 컴파일 시간:
CPU 시간 = 0ms, 경과 시간 = 3ms.

'tMSSQLQnA' 테이블. 스캔 수 1, 논리적 읽기 수 974, 물리적 읽기 수 133, 미리 읽기 수 501.

SQL Server 실행 시간:
CPU 시간 = 37141ms, 경과 시간 = 49853ms.

이렇게 시간 차이가 나게 됩니다. 현재는 저 혼자만의 테스트 시스템에서 사용하기

때문에 비교적 나은 시간을 보여주지만 만약 실제 운영될 프러덕션 시스템에서

운영되고 데이터가 많이 진다면 더 큰 시간차이가 벌어지겠지요.

전문검색에 대해서 조금은 흥미가 생기시는지요? 현재는 구별되는 가장 큰 특징만을

언급했으니 이제 상세히 전문검색에 대해서 공부해 보도록 하지요.

아직까지는 구현을 하는 것 보다는 이해를 먼저 하심이 좋습니다.

전문검색은 Windows 시스템의 Search 서비스를 사용한다.

정확히 전문검색은 SQL서버의 엔진이라기 보다는 NT서버의 엔진을 사용합니다.

SQL서버의 전문검색 서비스를 이용한 여러 T-SQL의 확장이나 구성등은 이 Windows NT에

포함된 전문검색 엔진을 확장한 것일 뿐이지요.

최초 전문 검색은 Windows NT4의 옵션팩에서 제공 되었습니다. 인덱스 서버라는 이름으로

제공 되었지요. 웹페이지들을 인덱싱 서버에 등록해 둔후 데이터를 조회하는 처리를

해본분들도 계실듯 하네요. SQL7에서 이 인덱싱 서비스가 이름이 Microsoft Search로

바뀌고 SQL2000에 전문검색 서비스가 포함됩니다.

화일시스템에 전문검색 인덱스 데이터 저장.

SQL서버의 인덱스는 SQL서버의 저장소에 페이지 형식으로 저장 됩니다.

전문검색은 그 태생부터가 틀리며 전문검색의 데이터인 카탈로그는 Windows시스템의

화일 시스템에 저장됩니다.

이 전문검색 서비스의 백업과 복구는 거북엄마님의 명쾌한 글이 있으니

참고해 보시길 바랍니다.

거북엄마님의 전문검색 백업과 복구 강좌

전문검색은 자동으로 인덱스를 구성하지 않는다.

SQL서버의 인덱스는 자동으로 DB를 구성하면 설정되는 옵션인

auto create statistics
auto update statistics

이 두 옵션으로 인해 인덱스가 자동으로 채워지고 데이터에 대한 변경이 있을 경우 자동으로

인덱스 데이터를 재구성 하지만 전문검색은 자동으로 인덱스를 재구성 하지 않으며

최초 인덱스를 채우기 위해서는 풀 파퓰레이션(Full Population)작업을 수행해야 하며

변경사항을 재 인덱싱을 하기 위해선 증분 파퓰레이션(Incremental Population)을 수행해야

합니다. - SQL2000부터 추적옵션으로 start_change_tracking 옵션으로 변경사항 추적 가능.

반드시 키값 컬럼이 있어야만 하며 Composite Index 사용 불가.

기본키나 Unique Index와 같은 컬럼이 하나 있어야만 하며 두개의 컬럼의 값을 하나의

인덱스 키로 잡는 Composite Index로는 사용이 불가 합니다.

증분 파퓰레이션(Incremental Population)을 수행하기 위해선 반드시 Timestamp형

컬럼이 필요.

풀 파퓰레이션(Full Population) 이후 증분 파퓰레이션(Incremental Population)을 수행하게

됩니다. 변경된 데이터에 대해서만 재 인덱싱을 구성하는 것이지요.

어떤 데이터가 변경 되었는지 어떻게 알 수 있을까요? Timestamp 컬럼은 일종의

SQL서버 내부 시계값입니다. 순차적인 시퀀스 정보를 가지고 있으며 순서 정보 역시

가지고 있지요. 어떤 로우의 데이터가 변경되면 자동으로 이 Timestamp 값이

변경되게 되며 사용자는 이 컬럼을 신경쓸 필요가 없습니다. 그냥 단순히 테이블에

Timestamp 컬럼만을 추가해 두시면 되지요. - SQL서버가 내부적으로 알아서 사용함.

파퓰레이션(Population)에 따른 부하가 있다.

대부분의 분들이 SQL7버젼부터 사용해 오셨을 겁니다. SQL6.5까지는 자동으로 인덱싱을

재구성을 해주지 않았습니다.

auto create statistics
auto update statistics

이런 옵션 자체가 없었지요.(sp_dboption 명령을 수행해 보시면 나옵니다.)

SQL서버의 인덱스 역시 새로운 데이터가 들어오거나 update가 일어나면 자동으로

인덱스를 재구성하며 인덱싱간 부하가 있습니다만.. 대부분의 분들은 인지하지 못하고

그냥 당연하다고 생각하고 계시지요. 전문검색 역시 마찬가지로 부하가 있습니다만..

SQL서버의 인덱싱보다 전문검색의 인덱싱이 그 부하가 훨씬 높습니다.

또한 인덱싱자체가 굉장히 많은 디스크의 IO를 사용하므로 체감 속도는 더 느리게 느껴지지요.

자동으로 추적 옵션을 주셔서 전문검색 인덱스를 재구성하는 것도 좋은 방법이고

스케쥴을 걸어서 전문검색 인덱스를 재구성 하는 것도 한 방법이며 전적으로 어떤 목적으로

사용될지에 따라 결정을 해야 겠지요.

하나의 테이블당 하나의 전문검색 인덱스 구성.

약간 특이적인 부분이지요? 화일 시스템상에 구현하기 때문에 그 구분을 이렇게

특이하지만 하나의 테이블로 둔듯 합니다. 구현부에서 한번더 소개 드리지요.

SQL 확장 구문을 이용한 검색(Contains(), FreeText() 와 같은 구문을 사용 가능.)

위의 샘플에서 Contains() 라는 구문을 이용하는것 보셨을듯. 바로 뒤의 구현 부분에서

여러 전문검색의 T-SQL의 확장 기능들을 소개해 드릴 것입니다.

MS Office 화일들(*.doc *.xsl *.ppt 등)을 image 컬럼에 저장후 인덱싱 가능

기본적으로 인식 필터가 포함되어 있으며 즉각적인 인덱싱 가능.

엔터프라이즈 관리자를 이용해 관리 / 설정 가능.

당연한가요.. EM을 이용해 관리 / 설정이 가능하며 역시나 코난이가 늘 그랬던 것처럼...

쿼리로 이 전문검색을 구현하는 부분에 대해서도 바로 다음 강좌인 구현에서

보여 드리도록 하지요.

이러한 여러 특징들을 가지고 있었으며 SQL2000으로 넘어오면서 다음과 같은 기능이

향상됩니다.

Failover Clustering 지원

Change Tracking 지원

Image type에 저장된 문서에 대한 Filtering가능

다국어 지원

Top-N-By-Rank

English Query에 의한 조회 가능

성능 / 설치 향상

클러스터링 하에서 수행이 가능한 부분과 데이터의 변화를 자동 추적하는 기능이

추가 된것이 특이점이라고 보시면 되며 그 안정성과 한글처리 역시 SQL7 시절에 비해

큰 향상이 있었습니다.

간단하게 전문검색을 알아 보았습니다.

전문검색은 깊이 들어 갈수록 굉장히 어렵습니다.

SQLER에서는 역시나 구현부를 다루고.. 세번째 이야기인 전문검색의 문제점에서는

조금 깊은 이야기와 함께 문제점과 그 해결을 이야기해 드릴 예정입니다.

가장 큰 문제는 역시나 영어를 사용하는 사람들이 만들었다는 것이지요. - 삘이 오시나요?

자 수고 하셨습니다. 그럼 다음 이야기인 전문검색의 구현 이야기를 풀어 보도록 하지요.

▶ 15. 전문검색(Full Text Search) - 1. 전문검색 이해 문서의 끝입니다.

13. XML과 SQLServer2000의 통합 - 5. SQLXML을 위한 참고자료

코난 — Fri, 20 Nov 2009 23:06:43 +0900

제가 드리고 싶었던.. 스킬과 관련된 이야기는 대부분 드렸습니다.

하지만 제가 보여드린 부분은 말그대로 맛뵈기중의 맛뵈기이며.. 프로젝트에서

이 SQLXML기능을 적용하기 위해서는 대단히 많은 시간과 노력이 필요할 것입니다.

자 먼저 참고자료 입니다. ^_^

참고자료

SQL서버 온라인 도움말.

- 마찬가지로 설명이 잘 되어 있습니다. 많이 참고 하시길 바랍니다.

SQLXML도움말

- SQLXML을 설치하시면 함께 등록되는 도움말 입니다. 이번에 제 강좌의

샘플 코드들이 있는 곳이기도 하지요. ^_^ 찬찬히 봐 보시구요. XSD에 대한

상세한 소개가 잘되어 있으므로 도움 되시길 바랍니다.

SQL2000 프로그래밍 With XML

- 정보문화사의 번역서로 허접 번역을 제가 수행했답니다. -_-;;

많은 도움 받으실 수 있을 것이며.. 완전하게 수행 가능한 풀소스가 포함되어 있으니

빠르게 소스 적용이 가능하실 겁니다. ^_^;; 참고 하세요.

또한 XML에 대한 기본설명이 약간 부록으로 포함 되어 있으니 도움 되시길 바랍니다.

XML기초책 - Step by step XML - MS Press - 정보문화사

- 스탭바이스탭XML책으로.. 대단히 좋은 구성, 깔끔한 설명이 돋보입니다.

XML을 처음 공부하는 분에게 바이블격으로 좋은 책이라 생각합니다만.. -_-;;

워낙 옛날책이라.. 많은 표준안이 변화가 되었지요.. 그래도 개념적인 소개 및

정의가 좋으며 번역 정도 역시 대단히 좋으니 처음 XML을 공부하는 분이라면?

많은 도움 되실 겁니다. ^_^

자.. 이정도면 SQLXML에 대한 소개와 맛보기는 어느정도 된듯 하네요. ^_^

자 수고하셨구요. 다음 강좌인 SQL2000의 프로그래밍이라고 하는..

코난이의 밥벌이에 대해서 좀더 알아 보도록 하겠습니다. ^_^

▶ 13. XML과 SQLServer2000의 통합 -

5. SQLXML을 위한 참고자료

13. XML과 SQLServer2000의 통합 - 4. SQLXML사용을 위한 IIS설정

코난 — Fri, 20 Nov 2009 23:06:16 +0900

많은 SQLXML의 내용을 보셨네요. 이번에는 실제로 SQLXML을 구성해보고..

여러가지 방식의 실제 XML데이터를 불러 보는 테스트를 해 보도록 하겠습니다.

미리 조금더 말씀 드리자면...

이 IIS에 XML지원 구성을 설정한후.. 데이터를 불러 보고.. 자시고 하는 것이..

전부는 아닙니다. 잊지 마시길 바랍니다. ^_^

먼저 자료실 이곳에서.. SQLXML2.0을 받아 설치 하세요. ^_^

자료실의 SQLXML2.0_한글_영문

그리고.. Nwind 샘플코드 를 받으세요. 그리고 c:\nwind에 압축을 풀어 두세요.

자신의 SQL서버가 한글버젼이면.. 한글(KOR)을.. 영문이면 영문(ENG)를 설치 하세요.

그러면? 다음처럼 프로그램에 SQLXML2.0이 추가되어 있을 것입니다.

네..

수행하시고..

IIS에서 SQLXML 지원을 위한 설정을 해 보겠습니다.

이렇게 가상 디렉터리를 선택합니다.

일반 설정 화면입니다. 가상디렉토리 이름은 저처럼 nwind라고 하시고..

로컬 경로를 코난이처럼.. 적절하게.. 하나의 디렉토리를 생성 하시고..

해당하는 디렉토리를 지정해 주세요. - 코난이는 C:\에 nwind라는 폴더를 생성후

이 폴더를 지정했습니다. - 여기에 저희의 샘플 폴더를 둘 것입니다. ^_^

적절한 보안 옵션으로.. 코난이는 저렇게.. 다음으로 로그온 하게 했습니다.

실제 프러덕션 서버에서는 적절한 보안 권한을 줘야 하겠지요. 보시기엔 단순한듯

하지만 여기서 적절히 조합하여.. 트러스트된 모델 / 가장 / 위임 모델을 사용할

수 있으니 적절히 자신의 프러덕션 서버에 맞게 보안을 설정 하시면 됩니다.

데이터 원본을 지정 하셔야 합니다. - 코난이의 경우는 이렇게..

서버명이 KONAN입니다. - 자신에게 맞게 넣으시고.. 사용할 데이터베이스는..

이렇게 Northwind 데이터베이스를 선택 했습니다.

설정탭의 지정 입니다.

먼저.. 첫번째 sql = .. 이녀석은.. URL쿼리를 의미합니다.

간단히 설명 드리면.. 인터넷 익스플로러의 URL주소 넣는 곳에다가..

http://IISServer/VirtualRoot?sql=SELECT FirstName, LastName FROM Employees&root=root

이런식의 ?sql=SELECT ... 구문을 이용하는 것을 말합니다. - 수행안됩니다. ^_^;;

따악~~~ 보시기에도? 사용 안하게 될것 같다는 느낌을 받으실 겁니다.

테이블이름 / 컬럼 이름 등의 DB구조가 그대로 보이게 되기 때문이지요. ^_^

보통 이 가상디렉토리 구성이 절적하게 잘 되었는지 확인할 경우에만 사용하는

테스트용도 입니다. 앞에서도 언급 드렸지만..

주로 사용하게 될 녀석은 template 이라는 녀석이지요.

아래. updategram에 대해서.. 라는 녀석은 비활성화가 되어 있는데요.

데이터 수정작업을 하는 녀석이며 바로 뒤에서 상세히 보실 것입니다.

이때 URL쿼리 허용을 체크하면 자동으로 비활성화 됩니다.

이녀석은.. 데이터 수정에 종종 사용되는 updategram 역시.. URL입력을 통해서

처리할 수 있는데요.. 이녀석을 가능하게 / 불가하게 설정하는 것입니다.

역시나 거의 사용하실 일 없을 것입니다. ^_^

대부분 파라미터를 보내서 템플릿으로 처리하게 될 테니까요. ^_^

템플릿 쿼리 허용인데요.. 이녀석이 재미난 녀석이지요.. 예를들어..

<ROOT xmlns:sql="urn:schemas-microsoft-com:xml-sql">
 <sql:query client-side-xml="1">
 SELECT top 2 FirstName, LastName
 FROM Employees
 FOR XML AUTO
 </sql:query>
</ROOT>

이렇게 하나의 XML 문서를 생성합니다. 여기서는 MyTemplate.xml

이라고 생성했다라고 가정합니다.

분명히 XML문서이며.. 보시는 바와 같이..

내부에는 Query라는 이름공간과 함께 SELECT 구문으로 이루어진 쿼리가 되어 있지요.

이XML을 호출할 경우는?

http://localhost/virtualroot/templatevirtualname/MyTemplate.xml

이렇게 적절히 자신에게 맞게 적어 주면? 해당하는 템플릿 내부에 있는

SQL질의가 수행되어서 그 결과만!!! 사용자에게 리턴 됩니다.

이때 templatevirtualname 이라는 폴더가 바로 위에서 설정한 가상이름이며..

물리적인 폴더는 아니라는 것입니다. - 구별하는 것일 뿐이지요. - 코난이 이것때문에

처음 SQLXML공부할때 마니 해맸답니다. ^_^;;;

URL쿼리는 사용자에게 테이블 / 컬럼 등을 숨길 수 없지만.. 이 템플릿은?

URL은 단지 호출의 용도이므로 해당하는 쿼리를 숨길 수 있는 장점이 있지요.

물론 파라미터를 적절하게 이용 하셔서 이 템플릿에 전달 할 수도 있으며

저장 프로시져로 구성된 템플릿 XML문서를 호출할수도 있습니다.

XPath허용이라고 된 녀석은..

XML데이터를 조회하는 하나의 쿼리이며 계층형 구조로 된 XML문서의 데이터를

추출할 수 있다. 주로 스키마(Schema)와 함께 사용되게 되며 파라미터를

넘겨받은 후 템플릿에서도 해당하는 값의 리턴을 위해 종종 사용하게 될 것이다.

예를들어 본다면.. 다음과 같은 XML데이터가 있다고 가정해 보겠슴당.

<?xml version="1.0"?>
<Order OrderNo="1234">
 <OrderDate>2001-01-01</OrderDate>
 <Customer>Graeme Malcolm</Customer>
 <Item>
 <Product ProductID="1" UnitPrice="18">Chai</Product>
 <Quantity>2</Quantity>
 </Item>
 <Item>
 <Product ProductID="2" UnitPrice="19">Chang</Product>
 <Quantity>1</Quantity>
 </Item>
</Order>

이렇게 된 데이터의 XML 계층 모식도를 그려 본다면?

대충 이런 XML 노드 트리를 볼 수 있습니당... 이렇게 계층화된 구조에서..

만약 Customer 노드를 포인팅(선택) 하고 싶다면?

/child::Order/child::Customer

이렇게 하면? 선택이 가능해지며.. 이는 또한 약식 표현이 가능하고..

/Order/Customer

게 약식으로 표현할 수 있어 집니다. 물론 대부분의 경우 약식 표현을 주로 사용하게 될겁니다.

자.. XPath에대한 상세한 사항은?

http://www.w3c.org/TR/xpath

부분을 조금더 참고해 보시길 바랍니다. - 다른 책을 보시는 것도 도움 되실 겁니다. ^_^

POST는 넘어오는 값에 대한 설정이며 KByte단위로 값을 설정 가능합니다.

클라이언트에서 실행은 SQLXML2.0의 새로운 기능으로

XML문서의 형식화(Formatting)을 클라이언트에서 처리되게 합니다.

런타임 오류를 HTTP오류로 노출 은..

체크가 되었다면 템플릿과 같은 처리 수행시의 오류를 HTTP에러 코드로 리턴하게 됩니다.

만약 체크가 안되었다면.. HTTP 성공 코드가 리턴되며 에러는.. 클라이언트가 XML

문서를 내부적으로 처리하는 도중에 발생하게 됩니다. - 체크 안된게 기본값입니다.

dbobject를 생성합니다. 이름은 dbobject로.. 형식과 같게 잡았습니다.

이 dbobject는 주로 바이너리 데이터를 추출할 경우에 사용되며 XPath와 함께

사용 됩니다... 흠흠.. 잠시후 약간 뒤에서 샘플로 확인해 보도록 하지용. ^_^

Northwind DB의 낸시의 얼굴을 보신적 있으신가요? ^_^ - 곧 보게 되실 겁니다. ^_^

바로 Northwind데이터베이스의 Image형으로 된 Bitmap이미지 형식으로 되어 있지요.

여기의 내용을 XML의 dbobject로 호출해 볼 것입니다.

이스키마와 템플릿이라고 하는 녀석은 해당하는 폴더에 이 화일들을 처리할

수 있도록 설정하는 것입니다. 잠시후에 템플릿과 스키마를 찬찬히 이용해

볼 것입니다. ^_^

이렇게 각각의 형식으로 형식과 같은 이름의 현재 폴더를 참조하는 . 경로로

가상 이름들을 생성했습니다.

으음.. 다음으로 고급 탭입니다. ^_^

주로 개발단계에서 사용될 캐싱을 끄거나.. 만약에 서드파티 업체에서 제공하는

ISAPI 필터를 이용하실 경우에는 해당하는 DLL을 재링크 하도록 할 수 있지요.

자!! 작업을 마치시고!!! 확인을 누르시면?

대충 이런 화면과 함께~~ 하나의 가상 디렉토리가 잘 구성된 것을 보실

수 있을 것입니다. - 가상디렉토리 하나 생성하기 힘들지요?

만약 이 가상디렉토리를 고객사에 세팅해야 하는데.. 고객 사이트가 100군데입니다.

어떻게 하면 될까요? ^_^

이런 고민을 해결하기 위해 제공하는 프로그래밍 개체가 있으며..

IIS Virtual Directory Management for SQL Server Object Model

이라는 이름의 거창한 녀석입니다. 지금 설정한.. 이 가상디렉의 이름 / 경로 /

설정옵션 / 보안.. 이런 것들을.. 마우스로 할 필요 없이.. VB로 다가닥~~ 해서

끝낼 수 있지요.

자 보시는 바와 같은 여러 개체들이 있습니다. ^_^

뭐.. 상세한 부분은 MSDN을 살펴 보시고.. 저는 제공되는 아주 유용한

풀소스 하나를 보여 드리지요. ^_^

Set ObjXML = CreateObject("SQLVDir.SQLVDirControl")
ObjXML.Connect 'Connect to the local computer and Web site "1"

Set ObjVDirs = ObjXML.SQLVDirs
Set ObjVDir = ObjVDirs.AddVirtualDirectory("nwind")

'General tab in UI
ObjVDir.PhysicalPath = "C:\Inetpub\wwwroot\nwind"

'Security tab in UI
ObjVDir.UserName = "UserName" 'SQL Server login
ObjVDir.Password = "UserPassword" 'SQL Server Password
'Data source tab in UI
'(local) is default for the SQL Server
ObjVDir.DatabaseName = "Northwind"

'Settings tab in UI
objVDir.AllowFlags = 73 'afURL_QUERIES OR afTEMPLATES OR afXPath

'Virtual Name Configuration tab in the UI
Set objVNames = objVDir.VirtualNames
objVNames.AddVirtualName "dbobject", 1, ""
objVNames.AddVirtualName "schema", 2, "C:\Inetpub\wwwroot\nwind\schema"
objVNames.AddVirtualName "template", 4 , "C:\Inetpub\wwwroot\nwind\template"

'Disconnect from the server.
objXML.Disconnect

msgbox "Done."

지금까지.. 설정하신 내용의 이름들과.. 값을 주의깊게 봐 오셨다면?

대강 감이 오실 겁니다. ^_^ 이상한 상수값이나 속성은 MSDN을 직접 봐 보세요. ^_^

많은 도움 되시길 바라며.. 계속 이야기를 진행하겠습니다.

자.. 이제 이것저것 다 보셨으니.. 샘플을 돌려 보도록 합지요 ^_^

조금 지루하셨죠? ^_^ 쿠쿠..

먼저 URL쿼리 입니다. ^_^

URL 쿼리

수행하시기 전에.. IIS가 수행중인지 확인해 보시길 바라구요.

http://localhost/nwind?sql=SELECT+*+FROM+products+FOR+XML+AUTO&root=catalog

이렇게 URL쿼리를 한번 던져 보는 것입니당 ^_^

기분좋게 이런 화면이 잘 나오시나요? ^_^

잘 안나온다면.. 에러메시지를 잘 봐 보시공.. 적절한 조치를 취하신후

다시 시도해 보시길 바랍니다. ^_^

자. URL쿼리를 수행해 보셨으며.. 하나만 더 해보겠습니다.

nwind 폴더의 catalog.xsl화일을 확인하시고...

http://localhost/nwind?sql=SELECT+productid,+productname+FROM+products+FOR+XML+AUTO&root=catalog&xsl=catalog.xsl

을 수행해 보시면? 다음처럼 테이블형태로 XSL화일이 적용된 결과를 보실 수 있습니다.

음... 열심히 URL쿼리를 설명 드렸으나. -_-;;; 사실 그리 많이 사용하지 않기 때문에..

이정도로만 하겠습니다. ^_^

Template 쿼리 수행

다음으로 드릴 이야기는 Template라는 부분인데요..

이 템플릿이라는 부분은.. 바로 이어서.!!!!

정보문화사 - SQLXML프로그래밍책 5장 템플릿강좌

부분을 꼭 봐 보시구요.. 사실 이 템플릿이 가장 중요하다고 볼 수 있습니다.

템플릿에 대한 이 강좌로 대신하고 넘어가도록 ~~~ 하겠습니다. ^_^;;

XSD - XML 스키마

이번에는 XML의 스키마라는 부분입니다.

음.. 스키마라는 것은 데이터를 정확히 제약하는 것이라고 설명 드렸습니다.

XML은 그 범용성이 큰 강점입니다. A사에서 B사로 XML문서를 전달해 B사는 이 XML문서를

적절하게 처리하여 DBMS에 넣거나 어플리케이션에서 처리합니다.

이때 만약 A사에서 전달해준 문서에 반드시 B사에서는 필요한 값이 빠져 있거나..

XML요소의 일부 값이 반드시 숫자로 '100' 이라고 와야 하는데.. '100원' 이라는

문자열로 오게 되었습니다. 이럴때 큰 문제가 될 수 있을 것입니다.

이때 만약 XML스키마를 이용해.. 양쪽 회사가 정확하게 XML문서의 여러 요소, 속성을

정의한 스키마를 공유해서 이 스키마를 이용해 XML문서의 유효성을 검사해서

적절하게 각 회사에 맞게 사용가능할 것입니다. 이런 목적으로 사용하는 것이..

XSD - XML스키마 이며 XML공부를 일찍부터 해 오신분은? DTD나.. MS에서 사용했던

XDR이 생각 나실 것입니다. 이제 XSD가 표준이니.. 이 XSD를 보시면 되며..

간단히 몇몇 XSD샘플을 봐 보도록 하겠습니다.

간단히 이번에는 디폴트 스키마라고 하는.. 기본이 되는 스키마를 봐 보실 겁니다.

MySchemaT.XML 템플릿 XML화일

<ROOT xmlns:sql="urn:schemas-microsoft-com:xml-sql">
 <sql:xpath-query mapping-schema="MySchema.xml">
 /Employees
 </sql:xpath-query>
</ROOT>

이렇게 간단한 XPath쿼리를 수행하는 XML화일을 생성했습니다.

이 템플릿으로 생성되는 XML문서에 이렇게 스키마 화일을 연결했으며 아래와 같이

스키마 화일을 생성합니다.

MySchema.XML 화일

<xsd:schema xmlns:xsd="http://www.w3.org/2001/XMLSchema"
 xmlns:sql="urn:schemas-microsoft-com:mapping-schema">
<xsd:element name="Employees" >
 <xsd:complexType>
 <xsd:attribute name="EmployeeID" type="xsd:string" />
 <xsd:attribute name="FirstName" type="xsd:string" />
 <xsd:attribute name="LastName" type="xsd:string" />
 <xsd:attribute name="Title" type="xsd:string" />
 </xsd:complexType>
</xsd:element>
</xsd:schema>

스키마를 포함하는 XML템플릿을 호출 하려면?

아래와 같이 호출합니다.

http://localhost/nwind/template/MySchemaT.xml

현재는 서버측 스키마화일을 적용 하였으나..

만약 클라이언트측에서 IE를 통한 스키마 화일을 다루실 경우에는

반드시 IE6.0이거나. 파서가 적절한 버젼이어야 합니다.

.XSD를 지원하는 파서는 MSXML3.0버젼 이상부터 지원하며..

현재 MSXML4.0버젼 까지 나와 있습니다.

이 스키마는 대단히 난해합니다. ^_^;; 저야 단순히 제약을 강화한다고.. 만 말씀 드렸지만..

모든 일이 그렇듯이.. 쉽지만은 않겠지요? 이곳에 여러 XSD 주석에 대한 설명이 있으며..

기존 XDR스키마와 매칭되는 부분에 대한 간단한 소개 글이 있으니 참고 하시길 바랍니다.

2.0 XSD Annotation	Description	SQL Server 2000 XDR Annotation
sql:relation	Maps an XML item to a database table.	Same
sql:field	Maps an XML item to a database column.	Same
sql:is-constant	Creates an XML element that does not map to any table. The element appears in the query output.	Same
sql:mapped	Allows schema items to be excluded from the result.	map-field
sql:relationship	Specifies relationships between XML elements. The parent, child, parent-key and child-key attributes are used to establish the relationship.	The attribute names are different: key-relation foreign-relation key foreign-key
sql:limit-field sql:limit-value	Allows limiting the values returned based on a limiting value.	Same
sql:key-fields	Allows specification of column(s) that uniquely identify the rows in a table.	Same
sql:prefix	Creates valid XML ID, IDREF, and IDREFS. Prepends the values of ID, IDREF, and IDREFS with a string.	Same
sql:use-cdata	Allows specifying CDATA sections to be used for certain elements in the XML document.	Same
sql:encode	When an XML element/attribute is mapped to a SQL Server BLOB column, allows requesting a reference (URI) to be returned that can be used later to return BLOB data.	url-encode
sql:overflow-field	Identifies the database column that contains the overflow data.	Same
sql:inverse	Instructs the updategram logic to inverse its interpretation of the parent-child relationship specified using <sql:relationship>,	Not supported
sql:hide	Hides the element/attribute specified in the schema in the resulting XML document.	Not supported
sql:identity	Can be specified on any node that maps to an IDENTITY-type database column. The value specified for this annotation defines how the corresponding IDENTITY-type column in the database is updated.	Not supported
sql:guid	Allows you to specify whether to use a GUID value generated by SQL Server or use the value provided in the updategram for that column.	Not supported
sql:max-depth	Allows you to specify depth in recursive relationships specified in the schema.	Not supported

그리고 추가적으로.. XSD의 자료형과.. SQL서버간 자료형 매칭 테이블 정보를 보여 드리니..

참고 하시길 바랍니다. - 종종 참고하게 되실 겁니다. ^_^

SQL Server data type	XSD data type
bigint	integer
binary	base64Binary
bit	boolean
char	string
datetime	dateTime
decimal	decimal
float	double
image	base64Binary
int	integer
money	decimal
nchar	string
ntext	string
nvarchar	string
numeric	decimal
real	float
smalldatetime	dateTime
smallint	short
smallmoney	decimal
sql_variant	string
sysname	string
text	string
timestamp	dateTime
tinyint	byte
varbinary	base64Binary
varchar	string
uniqueidentifier	string

간단히 XSD에 대한 부분을 맛을 보았습니다. 뭐.. 사실 관계정의를 XML로 가져가거나..

반드시 하나 이상의 요소나 속성이 오게하는 제약등도 다뤄 보고 싶었으나..

많이 오버하는 부분이 될테니.. 이정도만 하겠습니다. ^_^

DBObject 쿼리

아.. 깜빡하고 소개를 안드렸군요.. dbobject에 대한 소개로.. Nancy의 얼굴을 보여

드린다고 했었지요.. - DBObject는 이렇게 이진 데이터를 다룰때 유용합니다.

http://localhost/nwind/dbobject/Employees[@EmployeeID='1']/@Photo

이렇게.. 수행하시면? 이 URL의 XPath쿼리는...

SELECT Photo FROM Employees WHERE EmployeeID = '1'

이렇게 해석이 되는 것이지요. ^_^

이렇게 낸시의 얼굴을 봐 보실 수 있답니다. - 만약 다운로드가 된다면? BMP화일로

저장하신후 해당 이미지를 열어보시면 됩니다.

Updategram

다음으로는.. 간단히.. updategram에 대해서 봐 보도록 하지요.

소개에서 말씀 드렸지만.. 데이터의 수정에 종종 사용됩니다.

수행되는 방식을 간략히 소개해드리면..

적절한 스키마와 연결을 시키고 이어서..

Sync라는 이름공간 사이에.. Before와 After를 두어서.. Before는 이전값 / After는 변환후값을

적절히 처리하는 것이지요. 예를들어 insert라면? After에만 값이 있고 Before에는 값이

없겠지요. Delete라면? Before에만 있으며 After에 값이 없을 것입니다.

또한 적절하게 Before를 이용해 XML의 고유한 동시성 처리 역시 가능해지지요.

간단히 Updategram을 위한 스키마를 생성합니다.

SampleSchema.xml

<xsd:schema xmlns:xsd="http://www.w3.org/2001/XMLSchema"
xmlns:sql="urn:schemas-microsoft-com:mapping-schema">
<xsd:element name="Customer" sql:relation="Customers" >
<xsd:complexType>
<xsd:attribute name="CustID"
sql:field="CustomerID"
type="xsd:string" />
<xsd:attribute name="Company"
sql:field="CompanyName"
type="xsd:string" />
</xsd:complexType>
</xsd:element>
</xsd:schema>

또한 데이터를 하나 삽입하는.. SampleUpdategram.xml 화일을 생성합니다.

네... 그리고 이어서 다음처럼 URL을 사용합니다.

http://localhost/nwind/Template/SampleUpdategram.xml

이렇게 수행하면? 이러한 수행화면을 보실 수 있습니다.

이렇게 Updategram의 수행 결과 역시 XML로 리턴되지요.

만약 실패라면?

이렇게 해당하는 에러를 역시나 XML로 리턴 받을 수 있습니다.

만약 이렇게 수행되는 화면이 안나온다면? SQLXML의 구성중에서 세팅 부분의

updategram관련 부분을 살펴 보시면 됩니다.

OpenXML을 이용한 데이터의 수정보다는... 이 updategram이 어느정도의 대세인듯하니..

많은 수행을 쌓아서 자신만의 모듈을 만들어 보시길 바라구요...

Bulk XML

자.. 마지막으로 소개해드릴 내용은? Bulk XML이라고 하는... 많은 XML데이터를

SQL서버로 부어야 할 경우에는 이 updategram이나 OpenXML은 적절하지 않습니다.

이럴 경우 Bulk XML이 유용하지요. ^_^

많은 분들이 잘 모르고 계시는데요.. 이 Bulk XML역시 Minimal Logged Operation을

이용해 최고 속도로 데이터를 부을 수 있으며.. 이는.. http://sqler.pe.kr/sql2k/1205.asp

에서 상세히 보실 수 있습니다. ^_^

Bulk XML은 특정한 명령이 아닌.. 컴퍼넌트로 제공됩니다.

VB등에서 적절하게 바인딩을 한후 객체를 생성후 처리하시면 되지요. ^_^

여기서 간단히 Bulk XML샘플을 하나 알아보도록 하겠습니다.

SampleSchema.xml

<xsd:schema xmlns:xsd="http://www.w3.org/2001/XMLSchema"
xmlns:sql="urn:schemas-microsoft-com:mapping-schema">

<xsd:element name="Customers" sql:relation="Cust" >
<xsd:complexType>
<xsd:sequence>
<xsd:element name="CustomerID" type="xsd:integer" />
<xsd:element name="CompanyName" type="xsd:string" />
<xsd:element name="City" type="xsd:string" />
</xsd:sequence>
</xsd:complexType>
</xsd:element>
</xsd:schema>

SampleXMLData.xml

<ROOT>
<Customers>
<CustomerID>1111</CustomerID>
<CompanyName>Sean Chai</CompanyName>
<City>NY</City>
</Customers>
<Customers>
<CustomerID>1112</CustomerID>
<CompanyName>Tom Johnston</CompanyName>
<City>LA</City>
</Customers>
<Customers>
<CustomerID>1113</CustomerID>
<CompanyName>Institute of Art</CompanyName>
</Customers>
</ROOT>

다음과 같은 VB프로젝트를 생성합니다.(nwind폴더에 있습니다.)

이어서.. 다음과 같은 SQL구문과 함께.. VB프로젝트를 수행합니다.

--데이터를 삽입할 테이블 생성
CREATE TABLE Cust(
CustomerID int PRIMARY KEY
, CompanyName varchar(20)
, City varchar(20)
)

--VB프로젝트 수행

--수행후 데이터 조회
select * from cust

그러면 데이터가 조회된 것이 보일 것입니다. ^_^

대단히 많은 내용이었군요.. ^_^;;

오늘은 열심히 .NET 엔터프라이즈 아키텍트를 설치해 보려 했으나.. 안되어..

시간만 날린 하루였군요.. ^_^

냠.. 그래도 어려운 강좌 하나를 마무리 하니 홀가분 하네요. ^_^

당연히 이 강좌의 모든 소스는 제공되니 차근차근 공부해 보시길 바라구요. ^_^

그럼 마지막 XML에 대한 이야기를 조금 더 적어 보도록 하겠습니다.

▶ 13. XML과 SQLServer2000의 통합 -

4. SQLXML사용을 위한 IIS설정

13. XML과 SQLServer2000의 통합 - 3. SQL서버와 XML문서

코난 — Fri, 20 Nov 2009 23:05:41 +0900

SQL서버와 이 XML이 과연 무슨 관계가 있는지 알아 보도록 하지요..

XML은 보여 드린바와 같이 데이터 입니다. SQL 서버와 비슷한 점이 생각

나시나요? 맞습니다. 둘다 데이터를 다룬다는 것입니다. XML은 데이터로 사용하기

힘들것 같다구요? 아닙니다. SQL서버 이상으로 완벽하게 모든 데이터를 표현할 수 있습니다.

고객ID	고객 이름	전화번호
1001	김대우	123-4567
1002	유병수	119-1234

이렇게 SQL서버에 데이터가 저장 되어 있다고 생각해 보겠습니다.

그렇다면 저런 간단한 데이터는 어떻게 XML로 표현될까요?

이렇게 표현이 가능합니다. - 이런 표현을 속성중심적(Attribute-Centric)표현이라고

하며 또는...

이렇게 역시 표현 가능하며 이는 요소중심적(Element-Centric) 표현이라고 합니다.

허허.. 단순히 표현 방식이 틀려서.. 속성으로 값을 표현하는 것인가?

아니면 요소로 값을 표현하는 것인가의 차이일 뿐이지요.

하지만 분명히 데이터를 저렇게 표현 가능합니다.

2차원 관계형 데이터 -> XML 계층형 데이터로 변환이 가능한 것이며 물론

XML 계층형 데이터 -> 2차원 관계형 데이터로 변환 역시 가능한 것이지요.

"음.. 이렇게 단순히 2차원 데이터를 XML로 표현은 쉬운것 같지만..

SQL에서 대단히 많이 사용하는 JOIN 데이터는 어떻게 XML로 표현 하나요?"

네.. 역시나 불가능하다면 말이 안되며..

Orders 테이블

OrderNo	Date	Customer
1235	01/01/2001	1001
1236	01/01/2001	1002

Items테이블

ItemNo	OrderNo	ProductID	Price	Quantity
1	1235	1432	12.99	2
2	1235	1678	11.49	1
3	1236	1432	12.99	3

이 이렇게 구성되어 있을때.. 양측을 OrderNo로 조인할 수 있겠지요.

이때 XML데이터는?

</Order>

</Order>

</Orders>

이렇게 표현될 수 있습니다. - 속성 중심적 표현이며 다르게 얼마든지 가능합니다.

못할게 없다는 것이지요..

초점을 맞출 그림을 보여드리면? 바로 이것입니다.

이렇게 보시는 바와 같이..

관계형 데이터 -> XML -> 관계형 데이터로 처리한다는 것이지요.

그리고 이 작업을 수월하게 해주는 것이 바로 SQL2000의 XML 통합 기능입니다.

한발자국 정도 핵심에 다가 섰네요.

"에고고.. 저게 다 인가요?? 너무 단순하네요..?!!?!!"

처음에도 말씀드렸지만 XML은 만만한 녀석이 아닙니다.

이러한 단순함이 실제 비지니스 프로세스와 엮여서 다양한 작업이 일어난다는 것이죠.

예를들면..

(출처 - MS의 홍영준님의 PT중 일부 입니다.)

이렇게.. 비지니스 프로세스에서 데이터를 주고 받을 경우 사용이 가능하지요.

조금더 생각해 보면 다양한 비지니스 프로세스로 이용이 가능합니다.

또한 MS의 BizTalk서버는 이를 이용 다양한 데이터 통합을 지원하는

비지니스 프로세스를 구축할 수 있도록 도움을 줍니다.

비즈톡서버 웹사이트

국내M사 비즈톡 통합 솔루션 구축 사례

특히 국내의 적용 사례는.. 일종의 완전한 Web-EDI솔루션으로 비즈톡과 XML을 이용하는

좋은 사례를 보여주니 많은 도움 되시길 바랍니다.

그뿐아니라.. XML은 순수한 텍스트 형태의 데이터이기 때문에 얼마든지 Firewall을 넘어

데이터를 주고 받을 수 있습니다.

모든 데이터의 XML처리를 위해서..

SOAP(Simple Object Access Protocol)

UDDI(Universal Description, Discovery and Integration)

WSDL(Web Services Description Language)

을 이용해 기존의 시스템을 뭉개고 새로 구축할 필요가 없는

완전한 데이터 통합을 얻어낼 수 있지요. 이 데이터 통합이라는 것이 바로

XML의 큰 매력이라는 것입니다. - 위의 세가지는 .NET에서 사용될 녀석들입니다.

여러가지 XML과 관련된 이야기를 들었으며.. 그외 SQL서버의 XML통합기능에서

사용되는 몇몇 키워드를 조금더 알아 보면...

SELECT ... FOR ... XML

간단히 일반 SQL의 SELECT구문 뒤에 FOR XML 이라고 붙이면? XML 형식의

데이터가 리턴 됩니다. - SQL서버 엔진 자체에 XML처리 기능이 붙어 있는

것이지요.

ADO에서 XML데이터 접근

XML역시 데이터입니다. - 누누히 말씀 드렸지요. 어플리케이션에서 생성된..

또는 이미 존재하는 XML데이터에 연결후 이 데이터를 적절히 처리하는 부분도

있습니다. ^_^

IIS에 SQLXML 지원 구성

많은 분들이 알고 계실 것입니다. IIS에 가상 디렉토리를 하나 구성해..

이 가상디렉토리에서 SQL서버의 데이터를 쉽게 XML로 처리하거나.. 등등의

여러 작업을 하는 것이지요.

XML 템플릿(Template)

사실 가장 많이 사용되는 부분으로.. IIS에 SQLXML지원 구성에.. Template을 생성하고

이곳에 XML화일을 두는 것입니다. XML 화일 내부에는 SQL쿼리가 들어가며..

ASP나 PHP처럼 원본 쿼리를 숨길 수 있지요. 아마도.. 개발하시는 분들은 많이

이부분을 사용하게 될 것입니다. ^_^

정보문화사에서 제공해 주신 SQLXML의 템플릿

XSD(XML Schema Definition)

이녀석은 2001년 5월 표준안이 지정된 것으로.. 그전까지는 DTD / XDR으로 사용

되었습니다. 간단히 XML데이터에 제약을 가하여 정확한 데이터를 항상 유지하게

도움을 주는 녀석이라고 보시면 좋습니다. 기존에 사용하던 DTD는 XML과 DTD문법을

모두 알아야 한다는 단점이 있었지요.. XDR은 MS에서 제안한 것으로 XML문법으로

XML데이터를 정의하는 방식이었으며 이 XDR과 XSD는 대단히 유사합니다.-

W3C가 MS의 XDR을 많이 참고해 생성했기 때문입니다...

뭐 이제는 XSD가 확실하니 이녀석을 많이 공부하시길 바랍니다.

아.. 참고로..이미 XDR을 사용하신 분들이 XSD로 변환을 위해서.....

XDR스키마를 XSD스키마로변환문서(MS링크)

또한 XSD는 MSXML4.0버젼부터 완벽하게 지원합니다.

MSXML4.0(MS링크) MSXML은 IE에 포함되는 XML파서로 XML구문 규칙을 판별하게

되는 녀석이며.. 2002년 1월 현재 4.0버젼이 릴리즈 되어 있습니다.

OpenXML

이녀석도.. 주요한 SQL2000의 XML지원 기능의 일부로..

데이터 수정에 가끔 사용됩니다. - XML데이터 수정에 사용되는 것으로..

이는 또한 Updategram이라고 하는 녀석으로 많이 옮겨가는 상황이니..

Updategram을 주로 참고해 보시길 바랍니다.

Updategram

데이터 삽입 / 수정 / 삭제시 사용하게 되며..

Before와 After라는 태그 이미지를 이용해.. 이 변경 작업을 수행합니다.

참고로 이 updategram은.. SQLXML이라고 하며

SQLServer2000 Web Release2 For XML(MS링크) 또는 웹릴리즈 1 이상을

설치해야만 사용이 가능 하며

SQL2000의 버젼에 따라 한글 / 영문 릴리즈를 정확히 설치 하셔야 합니다.

(제가 이전에 영문만 나온걸 보고 영문 설치했다가 SQL서버를 다시 밀었습니다. T.T)

2002년 1월 현재 SQLXML은 릴리즈 버젼2 까지 나와 있으며 3는 베타 중입니다.

간단한 updategram의 샘플을 보여 드리면?

<?xml version="1.0”?>

<updg:sync>

<updg:before>

</updg:before>

<updg:after>

</updg:after>

</updg:sync>

</employeeupdate>

이렇게 사용이 됩니다.

Before이미지에 조건을 주고.. After이미지에 변환할 값을 지정하면 되는 것이지요.

Bulk XML 컴퍼넌트

SQL서버에는 Bulk Insert나 BCP가 있는 것처럼... 대용량의 XML데이터를 다루기 위한

Bulk XML역시 있습니다. - DTS강좌를 참고하시길 바랍니다.

updategram이 대단히 많은 데이터를 처리하기에는 부적적하기 때문입니다. ^_^

이 Bulk XML은 컴퍼넌트로 VB등에서 호출해 사용하셔야만 합니다.

사용되는 예제는

Set objBulkLoad = CreateObject(“SQLXMLBulkLoad.SQLXMLBulkLoad”)

objBulkLoad.ConnectionString = _

“provider=SQLOLEDB;data source=DBServer1;database=Northwind;” & _

“Integrated Security=SSPI;"

objBulkLoad.Execute c:\CatalogSchema.xml, c:\CatalogData.xml

Set objBulkLoad = Nothing

식으로 사용이 되며 자세한 샘플은 다른 책이나 MS사이트를 참고 하시면

도움 되실 겁니다. ^_^

Biztalk Server

으음.. 2002년 1월 현재 Biztalk에 대한 정보는 많지 않습니다만.. 제가 몰라서... -_-;;

제가 알고있는 지식한도 내에서 약간 적어 보겠습니다.

비즈톡의 서비스는 크게 두가지로 나뉘어집니다.

1. 오케스트레이션

2. 메세징

오케스트레이션은 구성요소 / 비즈톡 시스템의 통합을 구성하는 그림을 말하며

비지오라는 툴로 이 구성도를 작성할 수 있습니다.

비즈톡 오케스트레이션 디자이너로 구성된 승인 화면

출처 : Microsoft - MSDN

또한 메세징 서비스로.. 일종의 큐시스템처럼.. 들어오는 데이터 조절 / 들어온 데이터

(EDI문서)를 XML데이터로 변환 / 여러가지 처리 작업 / 적절한 문서로 변환후 / 문서 전송

이러한 작업이 가능합니다.

중요한것은.. 비즈톡은 현존하는 모든 문서를 다룰 수 있으며 내부적으로 이 현존하는 모든

문서들을 XML로 변환후 다양한 매핑 / 전처리 / 후처리를 해서.. 목표 문서(EDI)로 생성후

필요한 장소에 전송할 수 있다는 점이지요.

자세한 사항은 MS의 비즈톡 사이트를 참고해 보시길 바랍니다.

자.. 뭐 이렇게 여러가지 키워드 들에 대해서.. 간단간단하게 알아는 보았습니다.

대충 느낌이 오실 겁니다...

XML.. 쉽지 않습니다. 계속 준비하시고 공부하셔야 합니다.

자.. 이정도로 맛보기를 그치도록 하구요.. 실제 SQL서버에 이를 구축하고 사용하는 여러

예제들을 조금더 살펴 보도록 하겠습니다. ^_^

▶ 13. XML과 SQLServer2000의 통합 - 3. SQL서버와 XML문서

13. XML과 SQLServer2000의 통합 - 2. XML의 생성과 사용

코난 — Fri, 20 Nov 2009 23:05:21 +0900

이번에 소개해 드릴 내용은 XML을 생성하고 한번 사용해 볼 것입니다.

역시나 아직까지는 SQL서버와 관련된 이야기 보다는.. XML을 조금더 소개해

드리는 시간입니다.

간단한 XML문서를 하나 생성해 보겠습니다.

XML문서 샘플들 다운로드

압축을 푸시면..

xml_start.xml 이라는 화일이 있을 것입니다.

이 화일을 인터넷 익스플로러에서 여시면..

이러한 화면을 보실 수 있을 것입니다. 보시는 바와 같이

XML문서는인터넷 익스플로러5.0이상에서 열어 보실 수 있으며

XML문서는 이렇게 계층형데이터 구조로 생성이 되게 됩니다.

물론 메모장 같은 툴로 열어 보셔도 됩니다. 뭐 좋습니다.

조금더 문서를 봐 보도록 할까요?

XML의 여러 태그들은.. 반드시 중첩 구조가 완벽해야 합니다. ^_^

닫는 태그와 여는 태그가 정확해야 하지요.

그리고, 보시는 바와 같이 태그 이름이 특이합니다.

J스크립이나.. VB스크립.. HTML에서 사용되는 각각의 태그명들이 사용 되었으나..

저 태느는 코난이의 것입니다.- HTML이나 그외 스크립트로 해석되지 않으며..

저 태그명은 코난이가 정의하고 생성한 것이라는 겁니다.

이점이 상당히 중요한 부분이 됩니다. 또한 SQL서버와 관련되는 부분이지요.

나머지 이야기들은 자신이 조금더 시간을 XML에 투자해 보시면 될듯하며...

좀더 건너 뛰어서.. 저 XML문서를 우리가 익히 보는 웹페이지처럼 봐 보도록 하지요.

이때는 XSL이라는 화일과 연계시켜 보면 됩니다.

압축을 풀면 나오는 xml_start_1.xml 화일을 인터넷 익스플로러에서 열어 보시면

대충 이런 화면이 보일 것입니다. 으음.. 심플한 HTML화일 처럼 보일지 모르겠으나..

마우스 우버튼 -> 소스보기를 봐 보시면?

분명히 XML문서 입니다. - 그렇습니다.

XML문서는 데이터와 보여지는 부분이 별개로 되어 있습니다.

이는 XML문서에서 보이는.. XSL링크에서 보여집니다.

<?xml:stylesheet type="text/xsl" href="xml_start_1.xsl"?>

게 되어 있는 문자열로 해당하는 XSL화일에 연결되어 XML문서가 우리에게 적절하게

보여 진다는 것이지요. 해당하는 XSL화일을 열어 보시면?

대단히 난해한듯한 방식으로 되어 있습니다. 화면에 보여주는 부분이 어렵지요.

아마 이부분이 어려워서.. XML 웹 저작 도구가 나오기 힘든 건지도...

물론 XSL화일 대신 CSS화일을 연결해서 적절하게 XML문서가 보여지게 할 수도 있지만..

저희는 XML은 바로 데이터!!! 라는 부분에 초점을 맞추므로.. 이정도만 하겠습니다.

그렇다면 여기서 하나만 더...

저 XSL화일을 약간 더 수정해서 조금 더 이쁜 화면으로 만들어 보는 것은 어떨지요?

압축을 풀면 나오는 화일의 xml_start2.xml 화일을 열어 보면?

대략 이렇게 변화해 있습니다. 1번 문서와 2번 문서의 차이는 무엇일까요?

^_^ XML문서에서는? 연결되는 XSL화일이 틀릴 뿐입니다.

XML문서를 메모장으로 각각 열고 확인해 보세요.

XSL화일은 무엇이 틀리냐? 2번 XSL화일에서 추가된 것은 단 두줄입니다.

message 태그에 대해서.. 1em만큼의 여백을 주고 글꼴을 두껍게 / 돋움체로

보이도록 처리했습니다. - 조금만 더 생각해 본다면?

하나의 XML문서를 여러개의 XSL화일과 연결.. 사용자에게 적절하게 보여 줄 수

있다는 것이지요. ^_^

조금더 바꿔서 말씀을 드리자면??? 약간 오버하는 것처럼 보일수도 있지만..

1. XML데이터로 일반 데스크탑 사용자에게 서비스할 XSL화일을 생성하여

아래와 같은 화면을 데스크탑 사용자에게 뿌려준다.

2. 물론 같은 XML문서이지만.. 모바일 사용자들에게 서비스를 하기 위해 좀더

모바일 사용자에게 적절한 처리를 해서.. -빠른 속도, 가독성을 주는 페이지를

생성해야 겠다.. 라고 한다면?

(참고 - 예시화면이며 실제 서비스와는 차이가 있습니다.

SQLER에서 제공하는 모바일 서비스 )

이런 식의 화면을 XSL과 함께 사용해 무선 모바일 사용자에게 뿌려 줄 수도

있을 것입니다. - 하지만 현재까지 저녀석!!! 바로 XSL화일을 가지고

사용자 인터페이스를 생성하는 것이 대단히 어렵습니다. T.T

이렇게 여러가지 방식으로 사용이 가능하지요.

잊지 마세요.

데이터는 하나!!! 보여주는 화면이 틀려질 뿐입니다.!!!

음.. XML은 참 어렵습니다. - 기본적으로 이해하셔야 할 부분만을 언급해 드렸으며..

상세한 이야기는 다른 XML과 관련된 책을 참고해 보시길 바랍니다.

맛보기도 안되는 내용만 설명을 해 드렸네요. ^_^;;;

자.. 이정도로 XML에 대한 소개를 접고.. 다음부터는 본격적으로

SQL 서버와 붙는 부분에 대해서 상세히 봐 보도록 하겠습니다.

수고하셨습니다. ^_^

▶ 13. XML과 SQLServer2000의 통합 - 2. XML의 생성과 사용

13. XML과 SQLServer2000의 통합 - 1. XML이란 무엇인가?

코난 — Fri, 20 Nov 2009 23:05:01 +0900

안녕하세요. 코난입니다. 이번에 소개해드릴 내용은 XML과 SQL서버의 통합이라는

내용입니다.

XML이나.. 웹프로그래밍을 어느정도 알고 계시다는 가정하에..

내용을 진행하게 될 것이구요...

늘 그래왔던 것처럼.. 일반적인 책과는 다른 이야기 형식으로 내용을 진행할 것입니다.

^_^;;

상세한 SQL서버의 XML을 보기 전에.. XML의 전반에 대해서..

맛을 보는 시간을 가지도록 하겠습니다. ^_^

첫번째 XML이야기의 주제는 XML이란 무엇인가? 라는 내용입니다.

XML은 데이터를 표현하는 도구이다.

로 접근을 하세요. 많은 분들이 잘못 알고 계시는 것은 HTML의 차기 버젼..

HTML의 성능 개선 정도로 이해 하시는데.. 전혀 아닙니다. 데이터!!! 차원으로

접근 하셔야 정확한 접근 방식이 될 것입니다. 또한 보통 말하기를 XML은

데이터를 정의하는 메타언어다..

라거나.. 모든 형식의 문서를 저장할 수 있는 언어라거나... 하는.. 수식어가 붙지만..

한마디로 저렇게!! 데이터를 표현하는 녀석이라고 자신있게 말해 드리고 싶습니다.

"내가 들었던 이야기는 저런게 XML이 아닌데.."

XML이란 무엇인지 저의 생각을 말씀 드렸습니다.

그렇다면 이번에는 많은 분들이 잘못알고 있는 XML에 대해서 설명을 드리고

싶습니다.

많은 분들이 잘못 알고 계시는 XML에 대해서..

1. XML은 HTML을 대신하는 차세대 마크업(Mark-Up) 언어이다?

완벽하게 대신할 것이라는 것은 너무 성급하시구요.. HTML은 HTML의 쉬운

인터페이스와 많은 사용자 층을 가지고 있으며 비교적 많은 저작 도구가

이미 나와 있습니다. - 프론트페이지나 나모웹에디터와 같은....

완전하게 HTML을 대신하지는 않을 것이며 양쪽 모두 균형을 이루어 간단한 웹사이트

제작에는 HTML이.. 정확하게 양식화되어 처리되어야 하는 비지니스 사이트에서는

XML로.. 각각의 목적에 맞는 용도로 사용되리라 생각 합니다.

2. ASP나 PHP와 같은 서버측 스크립트 언어는 사라지고 XML이 사용될 것이다?

XML로 분기 / 반복 등의 처리 하시기 무척 힘듭니다.

ASP나 PHP는 HTML을 제네레이션해서 사용자에게 뿌려주는 것이 목적입니다.

이 생성된 HTML이 적절한 파라미터와 값을 서로 넘겨주고 받으면서 데이터를 핸들하게

되는 것이지요.

XML은 기본적으로 데이터를 처리할 수 있게 되어 있지만..

XSL이라고 하는 서버측 스크립트 언어를 이용하는 UI제작이 엄청 힘듭니다. -_-;;

또한 언급한 반복이나 분기 처리가 거의 불가하므로 게시판이나.. 방명록과 같은 서비스를

생성하는 ASP와 같은 스크립트 언어와는 근본적인 차이를 가집니다.

제 생각에는 양쪽 모두 적절한 위치에서 사용될 것이며..

ASP화일이 DB에 접근.. 테이블 데이터를 가져온후 필요한 데이터만 XML형식으로

생성하는 것도 가능합니다. - XML로는 데이터 호환성을 주며 ASP로는 필요한

반복 / 분기를 얻을 수 있지요. - 이렇게 병행되어 양쪽 모두 지속되리라 생각합니다.

3. XML은 배우기 쉽고 간단하다.

이거야말로 엄청난 거짓말입니다. 코난이는.. 1999년부터 XML을 봐 왔습니다.

- 조금 늦동이지요 ^_^;; 그렇게 열심히 봤다고 생각하는데도.. 바닥이 안보입니다.-_-;

또한 XML 스팩역시 아직도 멀었으며 지속적으로 새로운 스팩이 정의되는 중입니다.

절대로 쉽지 않으며 HTML을 배우시던 가다로 접근하시면? 나중에 가슴을 치게 될

것입니다. - 만만하게 볼 녀석이 아닙니다. ^_^;;

4. MS는 XML을 거의 지키지 않는다.

XML은 W3C.org라는 월드 와이드 웹 컨소시움 이라는 곳에서 제정합니다.

MS역시 이 조직의 회원 업체이며.. 대단히 선도적으로 XML을 사용하고 있습니다.

IE5.0에서 최초로 XML파서를 내장했으며 XSD 표준 제정에 XDR을 먼저 생성후

사용하여 XSD표준 제정에 많은 일을 했습니다. - 선도적으로 XML을 사용하며

표준 규약을 대단히 자알~ 지킵니다.

5. XML은 곧 업계에서 사장될 것이다.

허헛.. 그렇지는 않을 것입니다. XML은 대단히 발상이 좋습니다.

모든 데이터를 정의할 수 있으며 대단히 유연하지요. EDI솔루션에서는 이미

XML을 이용한 처리가 기본적으로 자리잡을 예정이며 앞으로 나올(현재2002년 1월)

MS의 개발툴 비주얼스튜디오 .Net에서는 기본적인 데이터 핸들 방식은 모두

XML로 이루어집니다. - 사장 기로이기 보다는... 대부분의 업체가 XML을 잘 이용하기

위해 노력하고 있지요..

심지어는 ER-Win이라고하는 케이스 툴을 생성하는 이 회사에서 ERD를 XML로 저장이

가능하게 처리하고 있을 정도로 많은 업체가 지원하고 있습니다.

업계의 프로세스를 볼때.. 최소한 5년 이상은 써먹을 수 있지 않을까 생각합니다. ^_^

HTML의 한계
1. 구조화된 정보 검색과 전달이 어렵다.
2. 다양한 멀티미디어 데이터 타입을 제공하지 못한다.
3. 정교한 페이지 형태를 제어하기 어렵다.
4. 다양한 타입의 하이퍼링크(Hyperlink)를 제공하지 못한다.

해결방안 -> SGML이 대두 되었으나 많은 단점이 발견되었다.

SGML의 단점
1. 구성과 문법이 매우 복잡하여 사용자가 습득하기 어렵다.
2. HTML처럼 단순하게 웹상에서 문서를 볼 수 있는
웹브라우져를 만들기가 어렵다.
3. SGML 전체를 지원하는 실제 시스템을 구현하기 어렵다.

이런 상황이 되어서.. XML의 필요성으로 인해.. XML이 본격적으로 뜨게 되며.

이렇듯 HTML의 단순성과 SGML의 복잡성의 문제 모두를 해결하면서 HTML처럼 쉽게 SGML의 풍부한 기능을 사용하기 위해 XML이 제안되어 1998년 현재 XML1.0에 표준 규약이 제정되어 있다.

XML의 한계 극복
1. 고정된 요소만을 사용하는 HTML에서 탈피하여 작정자가 자유롭게 문서의 요소, 속성, 개체를 선언 가능하다.
2. 고정된 형태로만 보여지는 HTML과는 달리 스타일시트에 의해 다양한 형태의 문서를 볼 수 있다.
3. SGML중 어렵고 복잡한 부분을 과감히 축소 하였다.

네.. 다음 장에서는 실제로.. 이 XML을 하나 만들고 주물러 보도록 하겠습니다. ^_^

자 그럼 다음 장에서 뵙지요.

12. DTS(Data Transfer Service) - 5. BCP와 BULK INSERT를 사용한 데이터 전송

코난 — Fri, 20 Nov 2009 23:04:34 +0900

네.. 이렇게 다양한 처리가 가능한 DTS 디자인에 대한 부분을 알아 보았습니다.

DTS는 이렇게 다양한 처리가 가능합니다만..

허벌나게 많은 데이터에 대한 처리는 문제가 많을 수 있습니다.

예를들어 수천만건의 데이터를 오늘중으로 옮겨서 처리해야 한다면?

편의성 / 프로그래밍 기능 보다는? 속도와의 싸움이 될 것입니다.

테스트로 한 10만건 정도의 데이터를 가지고.. 이리저리.. DTS로도 해보고..

SELECT INTO나.. OpenRowSet등의 방법으로 데이터도 옮겨보고..

가장 빠른 속도를 얻을 수 있는 방법을 택해야 겠지요.

정답을 말씀 드리자면.. 가장 빠른 방법은? Bulk Insert입니다.

BCP와 Bulk Insert가 같은거 아니냐?

Bulk Insert는 쿼리 분석기에서 수행되며 실행계획이나 작업 수행방식이

스레드 형식으로 처리되고.. BCP는 명령프롬프트에서 수행되며

ODBC인터페이스를 가지고 프로세스로 수행됩니다.

나중에 테스트 결과를 보여 드릴 것이지만... 정답은 Bulk Insert입니다.

또한 이런분 계실 겁니다.. - 저는 Bulk Insert보다.. DTS가 빠르던데요..

이런일은 거의 발생하지 않지만...

Bulk Insert의 몇몇 옵션을 잘못 선택하실 경우 문제가 발생할 수 있지요.

아니 왜 BCP나 Bulk Insert에 대한 이야기는 안하고..

저런 이야기만 하는 것이냐~~~ -_-;;;

사실 BCP와 Bulk Insert의 주요한 이슈에 대한 변화는 아래에 말씀 드리는게

전부이며.. SQL7과 큰 차이가 없습니다. -_-;;

http://sqler.pe.kr/sqllec/main.asp

이부분의 아래쪽을 보시면? 네.. BCP강좌와 Bulk Insert 이야기가 있습니다.

실습적인 부분은 이곳과.. 온라인 도움말을 이용해 주시길 바랍니다.

그럼 이제.. 이슈입니다.

Bulk Insert의 주요한 이슈는 Minimal Logged Operation 입니다.

최소한의 로그만을 사용해 Bulk 작업을 수행해야만 하며..

조건이 대단히 많습니다. - 이 조건을 모두 만족해야만 최고 속도로 데이터를

로드할 수 있다는 것이지요.

1. 복구 모델이 Simple이거나 Bulk-Logged 이어야 합니다.(단순, 대량로그)

Full Model이면 안되며.. 이 정보는? sp_helpdb로 보실 수 있지요.

2. 타겟 테이블이 복제(Replication) 중이면 안됩니다.

3. 타겟 테이블에 트리거가 존재하면 안됩니다.

4. 타겟 테이블에 데이터가 없거나 인덱스가 없어야 합니다.

5. TABLOCK 힌트가 지정되어 있어야만 합니다.

이 옵션들이 지정 되어 있어야만 최고 속도의 Bulk 작업이 가능해 지지요.

대부분의 경우 위의 조건들에 상관 없이 쓰시는 분들 역시 많을 것입니다.

또한 이 Bulk 작업에 대한 SQL2000의 관련 문서로..

High Performance Data Loading for SQL Server: Best Practices

PPT가 있으며.. TechED2001 행사에서..

Gert E.R. Drapers가 발표한 내용이며

DAT286: High Performance Data Loading 라는 주제로 발표 했습니다.

http://sqler.pe.kr/dataroom/pds_show.asp?id=94

에서 TechED발표 PPT들을 보실 수 있으며 그중 DAT286.ppt라는 PPT로 등록

되어 있지요. - 조금더 깊은 공부를 하실 분들은 참고 하시길...

자.. 이정도면.. BCP와 Bulk 작업에 대한 이야기는.. 제가 드릴만한 이야기는

드렸네요..

도움 되셨길 바라며.. 나머지 자신에게 맞는 여러 옵션들은 자신이 직접

해 보셔야 합니다. 참고 하시길 바랍니다.

그럼 수고하셨구요...

차례에는 메타 데이터와 리니지에 대한 이야기가 있었으나..

강좌에서는.. 사실 드리려 해도.. 프로그래밍적인 이야기가 너무 강한 부분이

될듯해서.. 이곳에서는 다루지 않고.. 나중에라도 팁 게시판에서 다뤄 보도록

하겠습니다.

수고하셨습니다. 다음 SQL2000의 XML 프로그래밍 기능 강좌에서 뵙도록 하지요. ^_^

이만.

12. DTS(Data Transfer Service) - 4. DTS 패키지 생성과 실행

코난 — Fri, 20 Nov 2009 23:04:04 +0900

자 수행 계획이 되었으니 이제 작업을 진행하겠습니다.

연결을 생성하겠습니다.

연결은 원격 SQL서버, 데이터를 넣은 로컬 SQL서버 두개가 될 겁니다.

이렇게 연결을 당연히 둘다 SQL서버이니 Microsoft OLE DB Provider For SQL Server

를 선택합니다.

원격지 서버는 위처럼 적절하게...

연결 이름을 Remote SQL Server라고 지정했으며..

원격지의 KONAN이라는 서버에 접근하기 위해.. 저렇게 주었으며..

저의 경우 인증 방식은 NT인증으로.. 또한 DB는 pubs를 로컬 시스템으로 전송하기 위한

녀석으로 잡았습니다. - 자신에게 맞게 적절히 변환 하세요.

데이터를 가져올 로컬 서버 역시 이렇게.. 잡았습니다.

이름은 Local SQL Server로.. 인증 방식 적절하게.. 그리고 DB의 경우는?

매일매일 해당하는 DB가 바뀌는 수행 방식을 하기로 했죠?

그래서 저는 이렇게 Master DB를 잡았습니다.

이렇게 대충 허연 화면에 두개의 연결이 잡힌듯 합니다.

이제 다음 작업인..

로컬 시스템에 SQLER년월일 형식의 DB를 생성하고 여기에 부어야 합니다.

이거 쉬울것 같아도 어렵습니다. -SQL실행 작업을 선택합니다.

로컬 서버에 DB를 생성해야 할 것입니다.

그렇죠?

생성 하겠습니다.

use master

--테스트 조회
select convert(varchar(10), getdate(), 112)

--결과
20011231

--DB를 생성하는 프로시져 생성
--drop proc CrtDayDB
create proc CrtDayDB
as
declare @sql varchar(300)
declare @v_YMD varchar(20)
set @v_YMD = (select convert(varchar(10), getdate(), 112))
set @sql = 'create database pubs' + @v_YMD
exec (@sql)

--테스트 수행
exec CrtDayDB

--결과
CREATE DATABASE 프로세스에서 'pubs20011231' 디스크에 0.75MB를 할당하는 중입니다.
CREATE DATABASE 프로세스에서 'pubs20011231_log' 디스크에 0.49MB를 할당하는 중입니다.

네.. 이런 식의 저장 프로시져를 생성 했으며.. 지 저장프로시져는?

당연히 DTS엔진이 수행되는 로컬 시스템의 masterDB에 생성이 될 것입니다.

그러면?

저 프로시져를 돌리면? 항상 pubs년월일 식의 DB가 생성이 되겠지요.

그리고 이렇게.. 우리의 SQL작업인 데이터베이스 생성은?

간편하게 저러한 식의 SQL실행 작업이 될 것입니다.

보시면.. 연결에 주의!!!! 로컬 시스템에 DB가 생성 되어야 하지요?

또한 제한 시간 300초로.. 5분정도 수행하게 여유를 두었습니다.

SQL구문은.. 간편하게 프로시져를 수행만 하면?

DB가 자동으로 생성 되겠지요.

이제 약간 난해한 이야기가 나옵니다.

저 DB이름을 전역변수에 옮겨 동적 속성 작업과 함께 수행해

SQL서버간 개체 전송 작업에 전달을 해 줘야 한다는 것이지요.

먼저 전역변수에 저 DB이름을 담아 보겠습니다.

역시나 SQL작업을 하나 더 수행하며..

연결은 로컬 SQL서버에서 수행하게..

그리고 SQL구문은? 저렇게 pubs년월일의 결과가 나오게 수행합니다.

이 결과값을 전역변수로 보내는 것이지요.

매개변수 버튼을 누르고..

출력 매개 변수 탭을 선택합니다.

출력 배개 변수 탭에서..

이렇게 행값을 출력 매개 변수 유형으로 택하고...

이어서 전역변수 만들기 버튼을 누릅니다.

코난이의 경우 이렇게 이름을 gDBName으로.. 유형은 String으로..

주었으며.. 새로만들기 버튼을 누릅니다.

그리고나서..

이렇게.. 매개변수 매칭 부분에서.. 출력 전역 변수를 gDBName이라는...

지금 방금 생성한 전역변수에 리턴값 - 당연히 pubs년월일 값이지요.

이녀석을 매칭해 줍니다.

그러면 어떻게 되나요?

리턴값인 pubs20011231 값이? 네 맞습니다. DTS패키지 전체에서 사용 가능한

전역 변수가 된 것입니다. - 물론 매일매일 변화하겠지요.

이 SQL작업이 하는 일은 무었입니까?

하는 일은 오로지 한가지!!!!

DBName을 전역변수에 저장할 뿐이며.. 이 값 역시 매일매일 변화할 것입니다.!!!

이제 해야할 작업은..

SQL서버간 데이터 전송을 매칭해 주는 것입니다.

자 이렇게.. SQL Server 개체 복사 작업을 선택 합니다.

원격지 서버는? 저의 경우 KONAN이며..

인증방식은 저렇게 NT인증.. DB는 원격지 원본인 pubsDB입니다.

여러분의 경우 적절하게 바꿔 주시면 되지요.

다음 대상 탭입니다.

이곳에서.. 우리의 전송 목적은 어디입니까??????????

서버는 로컬.. 그리고 데이터베이스는?????

안타깝게도.. 우리의 데이터베이스는???

여기에 당연히 등록 안되고.. 특수한 무엇인가를 해줘야 합니다.

이곳 대상의 DB에 적절히 뭔가를 해 줘야 한다는 겁니다!!!!

그게 뭔가요????

네. DB명을 바로 gDBName이라는 전역변수에 담긴 이름으로 해 줘야 한다는 것이지요.

우선은!!! 신경 끄도록 하고. 이 전송작업을 완료 하셔야 하며..

이 로컬의 DB는 동적속성 작업으로 잠시후에 지정할 것입니다.

저는 우선적으로 이렇게 master로 잡았으며..

그리고 복사 탭에서는?

기본 옵션 사용의 체크만 제거하고..

옵션 버튼을 누른후.. 데이터베이스 사용자 및 데이터베이스 역할 복사 체크 제거

개체 수준 사용 권한 체크 제거를 하고

확인을 눌렀습니다. - 왜 저 두개의 체크를 제거하는지는 앞의 DTS강좌를 다시 봐

보시길...

자!!! 이제 문제의 작업인.!!!!

로컬 시스템의 타겟 DB를 전역변수로 바꿔치는 작업을 해 보겠습니다.

이렇게 동적 속성 작업을 추가합니다.

이어서.. 추가 버튼을 누른후..

이렇게 DTSTask_DTSTransferObjectsTask_1 작업의 DestinationDatabse가???

네.. 바로 타겟 데이터베이스이며.. 이곳의 DB는 조금전 위에서 설정한 masterDB로

되어 있지요!!! 이녀석을 우리의 전역변수로 바꿔 쳐 주는 것입니다.

해당하는 그리드 셀인 DestinationDatabase의 Master셀을 선택하고..

설정 버튼을 누릅니다.

그리고 이렇게..

원본은 전역변수!!! 또한 변수는??? 우리가 앞에서 생성한 gDBName을 선택해 주면

만사 OK가 되는 것이지요!!!

자. 이렇게. 확인을 누르면 확인 정보가 뜨며.. 마무리가 되었으니?

확인을 누르시면 됩니다.

자이제 무엇이 남았습니까?

네 맞습니다. 오류시 메일 발송, 성공시 메일 발송이 남았습니다.

말씀 드린대로.. 프로시져를 생성합니다.

메일 보내는 프로시져 생성 구문 - SQLER 팁게시판

에서 저장 프로시져를 생성하세요. 물론 프로시져는 DTS가 수행되는 로컬 시스템의

MasterDB에 생성하도록 하겠습니다.

그리고.. 테스트를 해 보세요.

use master

--실행하기
exec pSendMail '보내는 사람 멜 주소', '받을사람멜주소', '제목','내용'

이렇게 수행하시면 되며... - 당연히 자신에게 맞는 값으로 바꿔야 합니다.

주의하실 점으로.. 반드시 로컬 서버의 SMTP서비스가 활성화 되어 있어야만 합니다.

관리도구 -> 서비스 에서.. 항목 SMTP가 수행중인지 확인해 보셔야 하며..

설치를 안하셨다면? - Windows2000에서는 기본 설치 됩니다.- Windows2000 시디를 넣고 설치

하시면 잘 될 것입니다.

네.. 테스트가 잘 되었으며.. 이제 DTS패키지에서 SQL작업을 두개더 생성 하겠습니다.

이렇게 실패 작업이며.. DTS작업 실패라는 메시지가 전달되게 해 두었습니다.

이렇게 성공 작업 역시 하나 더 생성을 했습니다. ^_^

필요하다면? 적절하게 작업을 추가해.. DB생성 작업 실패.. 또는 다른 작업 실패..

등등을 하실 수도 있겠지요.

자 이제는 우리의 모든 작업이 완료 되었네요.

이제 워크 플로를 연결해 보겠습니다.

작업 워크 플로 연결은 이렇게 간단하며..

보시는 바와 같이 작업을 선택하고..

성공한 경우 / 실패한 경우를 택해 주시면 됩니다.

이렇게.. 실패시 작업과.. 성공시 작업을 연결 한다면?

1. DBName을 전역 변수에 담는다.

2. 로컬 시스템에 DB를 생성한다.

3. 동적 작업으로 타겟 DB를 전역변수로 설정한다.

4. 데이터를 전송한다.

5. 성공 메일을 보낸다.

이며.. 각 작업에 실패시 전송 실패 메일을 보내게 설정 했습니다.

저장 버튼을 눌러.. 지금 생성한 패키지를 SQL서버에 저장하며.. 저장 위치는?

당연히 로컬 시스템의 SQL서버가 되겠지요.

그리고나서...

이렇게.. 로컬 패키지 부분을 보시면? 지금 생성한 패키지가 있습니다.

또한 데이터베이스를 보시면 조금전 테스트로 생성한 DB가 있을 수 있으니 제거 하시고..

이렇게 패키지를 수행해 보면?

잘 수행되는 모습을 보실 수 있으며 또한 에러가 생긴다면? 에러 메시지가 리턴되니

에러를 보시고 무엇이 문제인지 확인하시면 되겠습니다.

또한 에러시 처리 부분을 적절하게 추가하신다면?

예를들어.. DB생성후 에러라면? 분기를 생성한 DB를 삭제하고 관리자에게 메일 발송 등의

적절한 작업을 추가할 수 있겠지요.

또한 저는 SQL서버에 대한 이야기를 해야 하기 때문에..

SQL작업을 많이 두었으나.. VB스크립에 강하시다면? VB쪽 처리 작업을 두실 수도 있습니다.

DTS작업에서 또한 재미있는.. FTP로 자동 접근후 화일을 가져와 처리하는 작업과..

그외 다양한 처리 작업이 많이 있는데요.. 자신의 목적에 맞게 적절한 처리를

공부하고 쓰신다면 거의 완벽에 가까운 DTS패키지를 생성 가능하실 겁니다.

특히나 OLAP데이터를 생성하기 위해 데이터 정제 과정에서 DTS를 종종 사용하시는

분들은.. 이 DTS하나만 잘 생성해 두시면 데이터 정제과정을 신경쓸 필요가 없게되니

참고 하시길 바랍니다.

끝으로 이 DTS패키지의 스케쥴을 걸어 보도록 하겠습니다.

당연히 SQL서버의 자동화 작업과 관련된 SQLServer Agent 프로세스가 활성화 되어 있어야

하며.. 패키지 예약을 수행합니다.

이렇게.. 하루 한번 매일 수행하게 했으며 오전 5시 5분에 수행하게 설정 했습니다.

그러면 관리자는 이 스케쥴 실행 여부를 조사하면 되겠지요. 또한 실패시 / 성공시

메일을 받게 될 것이구요. SQL Agent의 동작여부를 잘 확인 하셔야 하니 참고 하시길 바라구요.

비교적 간단한 DTS디자인 샘플 하나를 알아 보았습니다.

처음에도 말씀 드렸지만.. 말그대로 맛뵈기 DTS패키지인 것입니다.

더 다양한 처리를 원하신다면.. 온라인 도움말의 DTS부분을 참고해 보시고..

책으로 나온 DTS이야기 역시 많이 있으니 참고해 보시길 바랍니다.

다음으로 BCP와 Bulk Insert에 대해서 알아 보도록 하겠습니다. ^_^

12. DTS(Data Transfer Service) - 3. DTS 디자이너 사용

코난 — Fri, 20 Nov 2009 23:03:37 +0900

DTS를 조금더 확장시켜 프로그래밍 가능한 DTS패키지를 생성하자는 것입니다.

사실 DTS라는 녀석이 종종 수행하는 녀석이고..

잘 안다고 생각하시는 분들 이라도.. 이 프로그래밍 기능이나 특수한 여러 옵션들을

적절하게 수행하는 분들은 많지 않습니다.

이미 wrox출판사에서 책한권 분량으로 나와 있지요.

저는 구입은 못하고 어깨 너머로 맛만 보았습니다만... T.T

http://www.amazon.com/exec/obidos/search-handle-form/107-7024388-4700558

부분에서 여러 DTS 책들을 보실 수 있습니다. - 아마존의 경로이니 변경될 수 있습니다.

그만큼 내용이 많은게 바로 DTS라는 녀석이며 많은 분들은 오로지..

맛만 보시는 것이지요 -_-;; 저역시 상세한 많은 내용은 설명 드리기 힘들겠으며..

주요한 프로세스만 엮어서 생성후 보여 드릴 것입니다.

먼저 생성하기 전에.. DTS 디자이너라는 녀석에 대해서 알아 보도록 하지요.

이렇게 데이터 변환 서비스 하위의 로컬 패키지 부분에서 바우스 우버튼

새패키지를 하시면 되며.. 바로 앞에서 DTS 위져드에서 패키지 저장을 체크하고

패키지를 만드셨다면? 만들어진 패키지도 보일 겁니다.

패키지를 열려면 해당 패키지를 열면 되고... 새 패키지를 만들려면? 저렇게 하면 됩니다.

새 패키지를 여셨으면? 저러한.. 허연 화면에 뭔가 눌러야 할게 대단히 많은 -_-;;

암울한 상황이 벌어집니다. 화이팅을 한번 외치고 설명에 들어가 보겠습니다.

-_-;;

DTS패키지 작업은 크게 네부분 입니다.

패키지에 대한 저장, 주석을 달기 위한 메뉴인 패키지 메뉴

데이터 소스나 데이터 타겟에 연결하는 부분을 정의하는 연결 메뉴

작업 내역이 SQL서버간 개체 전송인지 SQL구문을 이용한 작업인지.. 특수한 변환

작업인지를 정의해주는 작업 메뉴

그리고 A라는 작업이 성공이면 A-Success 로 가라.. 라던가 실패면 A-Fail로

가라고 정의할 수 있는 워크플로 메뉴 가 있습니다.

다닥다닥 붙어있는 아이콘은 각각의 메뉴에 대한 녀석들이니 참고만 하세요.

패키지 메뉴의 내역들인

녀석들은 어떤 녀석들인지 감이 오실 것입니다.

테스트 주석 추가나.. 저장 정도만 이해 하시면 되지요.

중요한 이야기를 시작해 보겠습니다.

데이터 연결에 대한 부분

SQL서버.. 엑세스.. 등등과.. Microsoft Data Link인 UDL화일을 이용한 연결 역시

있습니다. 설명드린대로.. 이녀석을 가지고 데이터 소스나 데이터 타겟에

연결을 지정해 주셔야 합니다. - 당연히 중요한 내역이며..

DTS작업

다음 작업 부분을 봐 보시면?

이러한 내용으로 대단히 많은 작업 내역인.. 예를들면.. 특수한 변환 작업을 위한

ActiceX스크립트 작업 - VB의 모듈과 같습니다.

SQL실행 작업 - SQL쿼리를 이용한 몇몇 작업

SQL Server 개체 복사 작업 - SQL서버간 개체 전송 작업

등등.. 여러가지 작업들이 있습니다.

DTS 워크 플로

끝으로 이렇게 워크 플로는 완료시, 성공시, 실패시의 세가지가 있으며

간단히 어떨때 어떤 작업으로 가라고 정의가 되는 것이지요.

이정도가 저의 설명이며...

이 녀석들을 가지고 우리의 패키지를 생성한다면?

1. 연결을 만들어 데이터 소스 / 데이터 타겟에 연결한다.

2. 작업을 정의해 여러가지 데이터 소스에 대해 변환 / 필요 작업을 적절하게

여러가지 작업 항목을 가지고 처리한후

3. 성공시 어떤 작업을 하며 실패시 어떤 작업을 하게하는 워크 플로를 지정

처리를 진행하게 하고

4. 여기서는 성공시 데이터 타겟에 데이터를 보내는 작업이 되며 성공 완료 메시지를

관리자에게 전달

5. 실패하더라도 실패 메시지를 관리자에게 보내면 된다.

대강 이런 흐름으로 생성하면 된다는게 느껴질 것입니다.

자. 그럼 우리의 목표를 다시한번 알아 볼까요?

목표 : 원격지의 SQL서버에 연결하고 SQL서버간 전송작업으로 데이터베이스의

모든 내용을 로컬 서버로 가져오는데.. 이 작업은 매일 수행되어야 하며

DB이름을 History유지를 위해.. Pubs20011231식의 년월일을 포함한 DB명으로

생성을 해야 하고 이곳에 데이터를 넣어야 한다. 작업이 실패하면 실패라는

메일을 받고 성공이라면 성공 메일을 관리자가 받아야 한다.

조금더 분산시켜 개발자의 시각인 일명 "개눈깔"을 이용해 DTS패키지적으로 생각해 본다면?

1. 연결은 원격서버 / 로컬서버 두군데가 필요하다.

2. DB이름을 적절히 그날의 날짜로 생성해야 하며

3. 어려울듯한 작업으로 바로 위에서 생성한 DB에 데이터를 부어야 하고

4. 작업을 모두 완료하면 워크 플로를 적절히 이용 성공시 / 실패시 분기를 두어

각 작업에 맞도록 메일을 보내면 될듯 하다.

자. 이렇게 생각이 가능할 것입니다. 그렇다면.. - 아직 감이 잘 안오시겠지만..

예상되는 문제점을 나열해 보겠습니다.

2와 3번의 DB생성은 CREATE Database 로 하면 될듯 한데... 어떻게

SQLER20011230과 같은 DB이름을 전송해 줄 수 있을까? 라는 문제입니다.

전혀 다른 항목간에 저 이름을 전송해야 하는데.. 어떻게 하면 될 것인가?

- DTS 디자인에서 동적 속성 작업을 줄 수 있으며 여기서 전역변수를 적절히 이용

할 수 있습니다.

4번의 문제로.. 메일을 보낸다는 것인데.. SQLMail은 여러가지 셋업이 귀찮으며..

정확히 동작하는데 약간의 무리가 있을 수 있고...

도메인에 익스챈지 서버가 있어야만 가능한데.. 이걸 어쩌면 좋을지...

- SQLMail만이 메일을 보낼 수 있는 것은 아니며.. 여기서는 저장 프로시져로 메일을

보내는 녀석을 DTS엔진이 수행되는 로컬 시스템 MasterDB에 등록후 성공시

및 실패시 각각의 메일 전송 작업을 Windows2000이나 WinNT4의 SMTP 서비스를 이용

CDO를 이용한 메일 전송을 수행할 예정이니 이 녀석을 이용하면 된다.

이 내용은.. 이곳 SQLER Tip 게시판을 참고하자.

자.. 이렇게 계획을 세웠다면?

이제 작업을 진행해 보도록 하겠습니다.

다음 DTS패키지 생성과 실행 부분을 해 보도록 하지요.

▶ 12. DTS(Data Transfer Service) -

3. DTS 디자이너 사용

12. DTS(Data Transfer Service) - 2. DTS 위져드 사용

코난 — Fri, 20 Nov 2009 23:03:06 +0900

DTS를 손쉽게 해주는 툴이 있습니다.

정확히는 DTS 위져드로 마법사 기능이지요.

간단히 원본 / 타겟을 설정해서 처리하면 되며 처음 접하시는 분들도 손쉽게

처리가 가능하도록 되어 있습니다.

DTS작업은 크게 3가지로 나뉘어 집니다.

1. 원본 데이터베이스에서 테이블 및 뷰 복사 - 보통 Copy Data 라고 합니다.

말그대로 데이터베이스의 여러 개체들을 포함하는 정보를 SQL서버에 가져가는

것이 아닌.. 테이블의 틀 / 테이블의 데이터만을 복사한다고 보시면 됩니다.

기본키 , 참조키 , 저장 프로시져 등은 넘길 수 없습니다.

2. 쿼리를 사용하여 전송할 데이터 지정

DTS작업에 대한 약간의 유동성을 부여하는 것으로 이 작업은..

OpenRowSet이라고 하는 쿼리로 작동됩니다.

OpenRowSet은 이런 식으로 사용됩니다.

--SQL서버에 연결 샘플
USE pubs
GO
SELECT a.*
FROM OPENROWSET('SQLOLEDB','seattle1';'sa';'MyPass',
'SELECT * FROM pubs.dbo.authors ORDER BY au_lname, au_fname') AS a
GO

--엑세스DB에 연결하는 샘플
USE pubs
GO
SELECT a.*
FROM OPENROWSET('Microsoft.Jet.OLEDB.4.0',
'c:\MSOffice\Access\Samples\northwind.mdb';'admin';'mypwd', Orders)
AS a
GO

--OpenRowSet의 데이터와 DB의 데이터 조인 작업
USE pubs
GO
SELECT c.*, o.*
FROM Northwind.dbo.Customers AS c INNER JOIN
OPENROWSET('Microsoft.Jet.OLEDB.4.0',
'c:\MSOffice\Access\Samples\northwind.mdb';'admin';'mypwd', Orders)
AS o
ON c.CustomerID = o.CustomerID
GO

이런 식으로 작업이 되며 보시는 바와 같이.. From 절의 테이블이 들어갈 자리를

인라인 뷰처럼 대신 합니다. 모 좋습니다.

From 절에는 반드시 테이블이 들어갈 필요 없이 저렇게 2차원 배열형 데이터만 있으면

되지요. 이렇게 연결후..만약 from 절 앞에 into 서버명.DB명.dbo.새로운테이블명

하시면? 네. 바로 SELECT INTO에 의한 테이블 복사가 가능하고..

이 컬럼에 적절한 변환 함수를 적용할 수도 있지요.

이것이 쿼리를 이용한 전송의 기본이며.. 사실 그다지 사용할 일은 많지 않을 것입니다.

사용해 보신 분이라면? 대부분 데이터 복사(첫번째 옵션)에 역시나 "변환" 옵션이

있기 때문에 이부분을 이용 하시거나.. DTS패키지로 생성후 적절한 프로그래밍

로직을 추가 하셨을 겁니다. 다음 트랜스퍼를 이야기 드리지요.

3. SQL서버 데이터베이스간 개체 및 데이터 복사

보시는 바와 같이 SQL서버 끼리만 가능합니다. 옵션 사항은 복잡한듯 하지만..

사실 "전송"이 목적이라면 거의 건드리실 필요는 없으실 거구요.

호스팅을 받거나 IDC의 서버로 전송을 주로 하시는 분들은 종종 이녀석으로 데이터를

전송하거나 전송 받으실 겁니다.

중요한 것은 DB의 모든 개체를 복사한다는 것이구요.

테이블과 관련된 모든 개체인 데이터, 기본키, 참조키, 인덱스, 그리고

저장 프로시져, 뷰, 사용자와 역할, 규칙, 기본값, 사용자 정의 데이터형과

사용자 정의 함수등 을 전송이 가능하며 이 두가지인 데이터베이스 다이어그램 /

풀텍스트인덱스 데이터는 이 데이터베이스 개체만 트랜스퍼의 방법으로는 불가 합니다.

그렇다고 해서 복사 안한다면 재미 없지요. -_-;

방법은 이장이 끝날때 쯤 말씀을 드릴 거구요..

이 전송을 아무래도 주로 사용하게 될테니.. 설명 드릴 겁니다.

그럼 찬찬히 진행해 보도록 하지요.

1. 원본 데이터베이스에서 테이블 및 뷰 복사

간단합니다. 여러 제약등을 복사하는 것이 아니기 때문에 큰 무리없이 잘 수행되구요.

저는 간단히 엑세스에서 데이터를 가져와 보겠습니다. 여기서 중요한건..

엑세스를 가져온다는게 아닙니다. -_-;; 엑셀이건.. SQL서버의 데이터이건

다 처리할 수 있다는 것이지요. - OLEDB나 ODBC가 존재 한다면 말입니다.!!!!

그리고 가끔 올라오는 질문으로.. 엑세스 아이콘의 데이터 소스가 없다..

라는 질문이 올라 오는데요.. 간단합니다. 엑세스를 설치 하셔야만 물론

해당하는 제공자가 시스템에 등록되는 것입니다. 엑세스를 설치 하시면 됩니다.

엑셀이 없다면? -_- 물론 엑셀을 설치 하시면 되지요. DTS엔진이 있는 곳에만

설치 하시면 되며 당연히 소스 서버나 목적 서버에는 없어도 됩니다.

- DTS엔진이 있는 곳이라는게 이해가 안되시면... 바로 앞에서 보신..

꼬옥 1. DBMS간 데이터 전송에 대한 이해에 대한 글을 다시 읽어 보세요.

그럼 DTS를 시작해 보지요.

데이터 확인을 해 보겠습니다. 원본 화일을 열어보니?

FPNWIND.mdb 화일이라는 mdb 화일을 열어보니..

대충 이런식의 테이블로 구성되어 있으며 각 테이블에 여러 데이터와

기본키같은 개체들이 포함되어 있습니다. 전송을 시작해 보도록 하지요.

이러한 FPNWIND라는 데이터베이스를 생성 했으며 모든작업 -> 데이터 가져오기

를 선택 했습니다. - 여기서.. 가져오기를 하면? 데이터 타겟은 선택한 DB가

자동으로 선택되는 것이며 내보내기를 하면? 소스 데이터가 자동으로 선택한 DB가

되는 것일 뿐입니다. DTS 위져드 진행중 바꾸셔도 무관하니 참고 하세요.

추가적으로 DTS위져드를 수행하는 방법은 가지가지 입니다. 저는 필요시마다..

DB에서 데이터 전송을 선택하는 것을 선호하며 하시던 방식이 있다면 편하게 사용하셔도

무관합니다.

계획에 MDB화일을 저의 SQL서버로 가져오기로 했습니다.

이렇게 데이터 원본을 엑세스로 잡았습니다.

- 누차 말씀 드리지만.. 데이터 원본을 적절하게 잡기만 하면 되는 겁니다.

타겟은? 당연히 저의 SQL서버 겠지요.

이렇게 대상 선택 부분은 당연히 SQL서버 대상에 적절한 서버의 이름과..

인증 방식 - 현재 저는 Windows인증이 된 상태(로컬 서버기 때문) 그리고 데이터베이스

를 적절히 생성 했습니다. 당연히 제 시스템이 아닌 다른 시스템에 하실 수 있으며..

인증이 적절히 수행되었는가 안되었는가는 데이터베이스 리스트박스를 눌렀을때

데이터베이스 이름들이 안나오면 인증이 적절하지 않은 것입니다.

또한 여기서 데이터베이스 이름들이 나왔다고 해서 DTS를 완전히 수행할 권한을

받은 것은 아니며 정확한 권한은 소스 / 타겟서버에 어떤 권한으로 접근 하는지를

정확히 파악하고 있어야 합니다. - 특히 호스팅일 경우 더더욱 주의해야 합니다.!!!

다음을 눌러서 테이블 복사 / 쿼리 지정을 보겠습니다.

보시면 이런 화면으로.. 엑세스 -> SQL서버로 작업이 진행되는 것을 보실 수

있으며 복사 옵션과 쿼리 옵션이 활성화 되어 있습니다.

세번째 옵션인 SQL서버간 개체 / 데이터 복사는 당연히 SQL서버 끼리만 되니 활성화

안된 것이지요. 첫번째 복사 옵션으로 진행 하겠습니다.

이렇게 선택하는 부분이 나옵니다. 모두 선택 버튼을 눌러 모든 테이블 / 뷰를

전송할 예정입니다. 여기서 변환 이라는 부분이 있습니다.

고객 테이블에 대한 변환을 눌러 보면?

대강 이런 화면이 나오며 여기서 적절하게 컬럼의 데이터 형을 변환하거나..

NULL허용 여부, 대상(SQL서버)의 테이블 이름변경, 컬럼의 크기 등을 적절히

변환이 가능하며.. Identity Insert 옵션을 지정할 수 도 있습니다.

SQL편집 버튼을 누르면

이런 식의 테이블 생성 스크립트를 볼 수 있으며 변환 탭을 선택하시면?

이렇게 열의 매칭에 대한 변환을 수행할 수 있습니다.

적절한 함수를 아래 보이는 언어 탭에서 VB스크립 / J스크립중 선택해 변환 함수를

사용이 물론 가능합니다.

개인적으로 선호하는 변환 방식을 말씀 드리면..

저는 무조건 SQL서버로 보낸후 변환 시키기를 좋아 합니다. -_-;;

물론 일회성 작업일 경우는 대부분 SQL서버로 보내고 처리하며..

SQL서버에서.. 테이블 디자인을 바꾸거나.. 컬럼을 바꾸거나..

데이터 변환 역시 VB스크립에서 보다는 T-SQL의 함수로 쓰는게 저는 편해서 이렇게

씁니다. VB스크립 / J스크립중 편한게 있다면? 그것을 사용하셔도 물론 좋지요.

지금 저의 목적은 오로지 데이터만을 전송하는 것이니 다음을 눌러 진행하겠습니다.

그리고 이런 화면에서.. 즉시 실행을 할 것인지..

나중에 작업을 걸어 수행하게 할 것인지.. DTS패키지로 저장할 것인지의 옵션이

있지만 여기서는 속편하게 즉시 실행만 해 보겠습니다.

마침을 이렇게 누르면 전송이 완료가 되는 것을 보실 수 있을 것입니다.

작업이 완료 되었으면.. SQL서버에 데이터가 잘 넘어 왔는지 확인해 보도록 하지요.

보시면 이렇게 테이블과 데이터는 잘 넘어 왔으나..

데이터형 / 길이 / NULL여부 등등의 여러 조건들은 수작업으로 매칭해 주시면

됩니다.

간단히 엑세스로 수행해 보았습니다.

만약 소스가 SQL서버이고 타겟이 엑세스 화일이라면?

역시나 소스에서 적절한 SQL서버 연결과 DB를 잡고.. 타겟에서 빈 엑세스 화일을

생성후 해당하는 화일에 DTS하시면 되겠지요.

이번에는 SQL서버 -> SQL서버 작업을 해 보겠습니다.

northwind2라는 빈 데이터베이스를 생성하고 이곳에 nothwind 데이터베이스의

테이블들을 복사해 보겠습니다.

이렇게 Northwind2 데이터베이스를 생생후 northwind2데이터베이스에서 가져오기를

수행하겠습니다.

데이터 원본은 이럴 것입니다.

이렇게 데이터베이스가 Northwind 데이터베이스일 것이고

뒤에서 타겟은? Northwind2 데이터베이스겠지요.

방식을 지정하는 부분에서 세번째 SQL서버간 개체/ 데이터 복사가 활성화

됩니다만.. 저희는 한번더 테스트를 위해 첫번째 테이블 복사를 해 보지요.

다음화면에서 전송할 테이블은? 모두 선택을 눌러 모든 테이블 / 뷰를 선택합니다.

주의 하셔야 합니다. - 아래쪽으로 스크롤해 보시면?

Northwind의 뷰가 어떻게 전송이 되나요?

네. 뷰 -> 테이블로 변환 됩니다. 어거지로 복사한다는 느낌이 강하지요.

여하간 다음을 누르고 즉시 실행을 하시면 데이터는 잘 넘어 갈 것입니다.

그리고 northwind2 데이터베이스의 테이블등을 조사해 보시면?

이렇게 기본키제약이나.. 참조키 등등의 제약들이 전송 안된것을 보실 수 있습니다.

이제는 모든 데이터베이스 개체를 전송하기 위한 SQL서버간 개체 / 데이터 전송을

해 보겠습니다. 두번째 방식인 쿼리를 이용한 복사는 많이 안쓰시게 되기 때문에..

다루지 않을 것입니다.

자 Northwind3라는 빈 데이터베이스를 생성 했습니다.

데이터 원본은 Northwind 데이터베이스이며 타겟은? Northwind3 데이터베이스

입니다.

그리고 작업을 수행 하는데요..

이렇게 세번째 옵션인 SQL서버간 개체 / 데이터 복사를 택합니다.

이렇게 복사할 개체 선택 부분이 나오며

대상개체를 먼저 삭제할 것인지, 종속개체를 포함할 것인지 그리고 약간 의아하실

확장 속성의 의미는.. 컬럼의 주석 같은 것으로..

이렇게 컬럼의 설명 부분의 주석 같은 것 역시 복사하는 것을 의미 합니다.

자세한 정보를 원하시면?

이곳의 팁게시판 정보

를 보시면 확장 속성의 저장소에 대해 좀더 도움 되실 겁니다.

다음으로 데이터를 바꿀 것인지.. 추가할 것인지를 선택 하시면 되며..

이렇게 모든 개체 선택의 체크를 제거후 개체선택 버튼을 보면 모든 개체에 대한

처리가 가능하다는 것을 알 수 있습니다.

취소 하시고 모든개체 복사의 체크박스를 다시 체크 되게 하신후..

기본옵션 사용의 체크를 제거한후 옵션 - 버튼을 누릅니다.

이러한 화면을 보실 수 있으며..

가장 문제가 되는 보안 옵션 부분입니다.

양쪽 서버 모두에 SA계정과 같은 System Admin 그룹에 속한 사용자로 접근을 하더라도

이 두개의 체크되어 있는 옵션인 데이터베이스 사용자 및 역할 복사와

개체 수준 사용 권한 복사 두개의 체크를 제거하심이 완전한 복사에 좋습니다.

이 두 옵션을 제거하라고 말씀 드리는 이유는.. 대부분의 개발 작업은?

자신의 시스템에서 SA계정과 같은 사용자로 작업 합니다.

그리고나서 IDC나 호스팅 하는 곳에 전송을 하는데..

타겟측에서 DB 권한이나 개체 수준 사용권한을 적절하게 처리 못하는 경우가 많습니다.

물론 로컬 시스템에서 테스트 시는 당연히 권한 / 계정에 대한 처리가 필요 없지요.

같으니까요. 하지만 원격지.. 특히나.. 호스팅일 경우는?

예를들어 호스팅 서버는 sa계정을 받지 못하며 대부분 dbo권한 - DB소유자 권한

정도만을 받게 됩니다. 뭐 나쁘다는 것은 아닙니다. 이럴 때 서버측의 데이터를 자신의

시스템으로 전송 받고 싶습니다.

이때.. 서버측에 받은 계정이 자신의 로컬 시스템에 있습니까?

없다면? 계정이 없다는 오류를 만나실 겁니다.

계정이 있더라도 권한등의 충돌이 날 오류가 많습니다.

그럼 어떻게 하는가? 호스팅 받는 원격 서버의 데이터를 가져오기 위해서는

자신의 시스템에 계정을 생성하고.. - 호스팅 업체로부터 받은 계정과 같은 계정

그리고나서 전송을 수행하시면 됩니다. 상세한 계정 생성은 마지막 강좌인

로그인 및 권한 부분에서 생성하고 처리하실 것이니 조금만 기다려 주시고..

이야기가 길어졌습니다만!!!!

그냥 속편하게.. 계정과 관련된 부분을 제거하고 넘기면 된다..

라는 정도만 생각하시고..

나머지는 기본 옵션으로 두시고.. 전송을 하시면 됩니다.

이때.. 이 작업을 저장해 보도록 하겠습니다. 어떻게?

이렇게 즉시 실행에 체크하고 이어서 DTS 패키지 저장을 해 보겠습니다.

이 DTS패키지라는 것은?

지금 선택하신 여러 옵션들에 대해서 - 데이터 원본, 데이터베이스,

전송 방식, 옵션등의 선택한 사항들을 저장하는 것입니다. SQL서버에 저장하지요.

코난이는 이렇게 이름 정도만 주고 작업을 수행했습니다.

작업을 수행하시면? 우선 잘 되는 것을 보실 것이며

작업이 끝난후...

확인해 보시면... 모든 기본키 / 참조키 등등의 데이터베이스 개체가

잘 전송 된것을 아실 겁니다.

또한 패키지 저장을 수행 했으니.. 데이터변환 서비스 - 로컬 패키지 부분을 보시면?

이렇게 지금 수행한 작업의 흐름이 패키지화 되어서 저장되어 있는 것을

보실 수 있습니다.

이 작업을 매일 새벽 6시에 수행하려면?

이렇게 예약 부분에서 자동 수행이 될 시각및 반복 수행을 지정할 수 있습니다.

즉시 패키지를 수행하는 옵션도 있지요.

그럼 정리해 볼까요?

데이터 복사 옵션을 이용하면? 말그대로 테이블 / 뷰의 복사가 이루어 지지만..

기본키, 참조키, 저장 프로시져 등의 개체는 복사가 불가합니다.

세번째 옵션인 SQL서버간 전송은?

SQL서버 끼리만 가능하며 SQL7 <-> SQL2000역시 가능합니다만..

제약조건으로 개체의 사용 수준 권한 등의 보안 관련 옵션들 전송에 문제가 있을

수 있으며 또한 개체의 소유권 및 그 권한까지 그대로 전송하기 때문에

전송 받는 서버에 적절한 계정 / 권한이 설치 되어 있어야만 합니다.

IDC에 서버를 넣고 쓰신다면? SQL서버간 전송시

1. 기본옵션 사용의 체크 제거

2. 데이터베이스 사용자 및 역할 복사 체크 제거

3. 개체 수준 사용 권한 복사 체크 제거를 하고 트랜스퍼

하시면 아주 잘 됩니다.

호스팅을 받는 분이라면?

1. 호스팅해주는 업체에서 주는 계정과 같은 내부 UID를 가지는 계정이 전송 받으려는

시스템에 존재 해야만 합니다.

uid의 확인은. 해당 테이블의 sysusers 테이블을 여시면 uid와 name을 보실 수

있으며 해당 uid를 가지고 sysobjects 테이블을 열면 uid에 대한 DB개체를 볼 수 있습니다.

use 데이터베이스명
go

select
        sysobjects.name
,       sysobjects.uid
,       sysusers.name
from
        sysobjects
        inner join sysusers
            on sysobjects.uid = sysusers.uid
--테이블에 대한 것만 본다.
where
        sysobjects.xtype = 'U'

이정도만 하도록 하구요...

트랜스퍼를 한번에 잘 되길 바란다면 욕심이 크신 겁니다.

저역시 여러번의 시행 착오를 거치고 수행하고.. 다시 만들고.. 합니다.

천천히 안된다고 포기 마시고.. DTS시 에러가 생기면 에러 메시지를 보여주니..

잘 읽어 보시고 문제를 해결후 다시 DTS를 수행하면 되겠지요.

호스팅을 받을 경우 트랜스퍼가 영 맘에 안드신다면?

이럴때는 좀더 속편하게 테이블 복사 DTS를 하시고.. 개체 스크립팅을 받으신후..

이 스크립팅 받은 SQL구문을 서버측에서 실행해 해당하는 개체를 생성하는

것도 나쁘지 않은 방법 입니다.

자.. 여기까지..

이제 언급해 드리기로한.. 데이터베이스 다이어그램 전송과

풀텍스트 데이터 전송에 대해서 말씀 드리지요.

다이어그램 전송은? -_-;; 그냥 트랜스퍼 하고 옴겨진 곳에서 다시 생성하시면

되겠지만.. 명색이 SQLER인데. -_-;;;

말씀 드려야 겠지요. ^_^;;;

약간 까다로울 수 있습니다.

1. 시스템 테이블을 수정할 수 있게 한다.

2. 'dtproperties' 라는 다이어그램 정보를 가지고 있는 시스템 테이블을 사용자 테이블

속성으로 변경한다.

3. dtproperties 테이블에 Identity Insert 속성을 ON 시킨다.

4. INSERT SELECT로 dtproperties 테이블의 데이터를 복사한다.

5. dtproperties 테이블을 다시 시스템 테이블로 변경한다.

6. 시스템 테이블 수정을 불가하게 한다. 입니다.

당연히 모르셔도 되는거니 넘어가셔도 상관 없습니다. -_-;;

자 진행해 보도록 하지요.

--pubs DB에 다이어그램 생성 했습니다.

use pubs
go

--다이어 그램 생성시 생기는 시스템 테이블
select * from dtproperties

--시스템 테이블에 수정을 가능하게 한다.
EXEC sp_configure 'allow updates', 1
RECONFIGURE WITH OVERRIDE
GO

--dtproperties 테이블을 사용자 테이블 속성으로 변경한다.
--당연히 복사할 데이터베이스나 다른 시스템의 데이터베이스에서 수행한다.
--본인의 경우는 pubs DB의 다이어그램을 Northwind에서 수행하려 하는 것이다.

use northwind
go

UPDATE sysobjects
SET xtype = 'U'
WHERE name = 'dtproperties'

--IDENTITY_INSERT 옵션을 ON 시킨다.
SET IDENTITY_INSERT dtproperties ON

--pubs의 id와 겹치면 안되므로.. 이렇게 id + 10000을 준다.
INSERT INTO dtproperties(id, objectid, property, value, lvalue, version)
SELECT id + 10000 as id, objectid, property, value, lvalue, version
FROM pubs.dbo.dtproperties

--다시 테이블의 속성을 시스템 테이블로 변경한다.
UPDATE sysobjects
SET xtype = 'S'
WHERE name = 'dtproperties'

--시스템 테이블에 수정을 불가하게 한다.
EXEC sp_configure 'allow updates', 0
RECONFIGURE WITH OVERRIDE
GO

--이어서 Northwind Database의 다이어 그램에서 리프레시 해보면?

느끼시는 것처럼.. 쓰잘데기 없는데에 목숨건다고 생각하실지도.. -_-;;

이 내용은..

작성자 : Brian Knight

출처 : http://www.sqlservercentral.com

부분의 내용이기도 하답니다. 참고 하시길 바랍니다.

다음으로 풀텍스트 데이터 처리르 하려면?

멀리 가실 필요 없습니다. 거북엄마님이 이미 정리해 주신 내용이 있지요.

http://sqler.pe.kr/FriendLec/TurtleMa/LecM/mq16.asp

을 참고 하시면 도움 되실 겁니다. ^_^

위에서 만든 DTS패키지가 있는데요.. 이녀석을 전송하고 싶을때는?

이녀석은 또한 특이합니다.

출처 : swynk.com

작성자 : Darren Green

SQLER의 팁게시판 참고

역시나 설명을 자세히 드리고 싶지만.. 필요하시다면?

이곳을 이용하시면 되실 겁니다.

자 여기까지~~~~ ^_^ 이 내용들은 그다지~~ 신경 안쓰셔도 물론 되겠지요? ^_^

그렇다면 여기서 DTS작업들의 보완하고 싶은 점을 생각해 보지요.

1. 매일매일 원격 서버측의 데이터를 우리 회사의 데이터 복사 용도의 DB로 옮겨

오고 싶습니다. DB이름이 SQLER라고 원격 서버에 되어 있으며..

매일매일 가져와서.. SQLER20011230 식으로.. 년월일을 포함해 가져오고 싶습니다.

트랜스퍼를 매일 매일 하기도 힘든데.. 자동으로 할 순 없는 것인지?

또한 전송이 완료되면 완료 메시지를 메일로 받거나..

실패하면 실패라는 메시지를 바로 메일로 받을 수 는 없을지요?

2. 하루에 SQL서버에 로드해야할 데이터가 1000만건입니다.

저희는 사용자의 클릭 데이터까지 저장 하므로.. 1000만건의 데이터가 넘는

정보를 옮겨야 하는데.. 앞으로 서버가 늘어날 예정이어서 수억건이 될지도 모릅니다.

DTS로 해보니 속도가 많이 느려 새벽에 작업을 수행해 데이터를 삽입시

오전이 될때까지 계속 수행이 됩니다. 조금더 빠르게 수행할 수는 없는 것인지요?

1번의 답변으로는 DTS 패키지를 생성하시면 됩니다. 바로 다음에 설명드릴

DTS패키지 생성 부분에서 전역변수를 이용한 DTS패키지 샘플을 생성해 보실 거구요.

2번의 답변으로는 BCP와 Bulk Insert 입니다.

벌크 작업으로 특정 옵션을 적절하게 줄 경우 최적의 속도로 데이터를 전송할

수 있지요.

찬찬히.. 위 두가지 내용을 각각 알아 보도록 하겠습니다.

먼저 DTS패키지 입니다.

▶ 12. DTS(Data Transfer Service) -

2. DTS 위져드 사용

12. DTS(Data Transfer Service) - 1. DBMS간 데이터 전송에 대한 이해

코난 — Fri, 20 Nov 2009 23:02:32 +0900

이번에 소개해드릴 내용은 한번쯤은 사용해 보셨을.. DTS라는 녀석에 대한 이야기

입니다.

이러한 수행으로.. 해당DB선택 -> 모든작업 에서.. 데이터 가져오기나 내보내기를

이용 DTS작업을 수행 하셨거나..

이렇게.. 데이터 가져오기 및 내보내기툴을 이용해서 작업을 해본 적도

있으실 겁니다.

뭐 좋습니다.

"한번쯤 다 해 봤고.. 알고 있는데 이런 야그 왜하냐 " -_-;;

네.. 물론 알고는 계시겠지만. . 놓치고 지나치신 부분... 그리고 알아두시면

대단히 유용하게 작업 하실 수 있는... 그런 부분역시 설명을 드리려 한답니다. ^_^

또한.. DTS를 프로젝트에 한번 사용하시는 분도 계실것이고.. 데일리 배치, 위클리배치

등.. 여러 작업을 수행하시는 분들도 계실 것입니다.

프로젝트 개발 완료후.. 프러덕션 서버에 전송하기 위한 용도로 한번...

사용하시는 분... 매일매일 데이터의 동기화를 위해.. 원격지의 서버에 전송 작업을

하셔야 하는 분들.. 등 여러 부류의 개발자 분들이 계실 텐데요..

기껏해야 한두번 사용하는 건데.. 하셔도 좋습니다. 하지만 언제 이 DTS와 함께

전쟁을 치루셔야 할지 모르니.. 한번쯔음~~ 자세히 보시는 것도 나쁘지 않겠지요?

^_^

DTS를 한마디로 말씀 드리자면?

이런 그림으로 표현이 됩니다.

반드시 하나 이상의 데이터를 가져올 데이터 원본 - Source가 필요하며 DTS엔진으로

SQL서버에 포함되어 있는 DTS엔진을 통해 하나 이상의 타겟 DATA에 전송되어야 합니다.

물론 여러개의 원본에서 데이터를 추출 / 적절한 가공 처리 / 여러개의 데이터 타겟

으로 전송 역시 가능하지요. 필수적인 것은 저렇게 붉은 색으로 처리된 것이며.

하나의 SQL서버에서 역시 데이터 소스 / 데이터 타겟 처리 가능하고

하나의 SQL서버 DB에서 역시나 테이블의 이름을 변경해 처리 역시 가능합니다.

중요한건 SQL서버가 중간에 포함되기만 하면 되며 오라클 <-> SQL서버 <-> 오라클

도 역시나 가능합니다.

여기서 잠시 DTS에 대한 여러 오해들을 알아 보도록 하지요.

DTS에 대한 오해들

1. SQL서버 끼리만 데이터 전송이 가능하다.

- 데이터 소스에 대한 핸들러(ODBC, OLEDB Provider)만 있으면 가능합니다.

2. 다양한 데이터 핸들을 할 수 없다.

- ODBC나 OLEDB가 접근만 가능하다면 모든 데이터를 핸들 가능합니다. 심지어는

TEXT화일까지도..

3. SQL서버의 데이터소스나 데이터 타겟에 없는 DB나 DBMS에 대해서는 DTS할 수 없다.

- DBMS를 만들어 팔 정도의 회사는 프로그래밍 기술이 극한까지 올라가 있는 회사

입니다. 또한 이기종과의 통합성을 '기본적으로' 제공하지 않으면 팔리지 않는것이

요즘의 현실이지요. 당연히 대부분의 경우 ODBC, OLEDB Provider를 제공하며

단지 모르기 때문에 저런 이야기가 나오는 것입니다. 각 업체에서 제공하는 이

데이터 핸들러를 설치하고 다시 DTS의 데이터 소스나 타겟을 보시면? 해당하는

제공자가 추가되어 있으며 DTS 처리가 가능합니다.

추가적으로 ODBC나 OLEDB Provider는 MS에서 제창하고 그와 동시에 ADO나 그외

프로그래밍에서 사용 되었습니다. 즉, 표준이 되어 버린 것이지요. 대부분의 어플들에서

사용이 되며 손쉽고 빠르게 데이터 처리가 가능하기 때문에... 참고 하시길..

4. DTS는 재사용이 불가하다?

- 설마요.. DTS는 패키지화 한후 자동화 작업인 Job에 등록후 재사용이 얼마든지 가능하며

DTS패키지를 적절히 변환 다른 모듈을 붙일 수도 있으며 Job에 등록되기 때문에

매일 / 매주 등의 스케쥴링 작업이 가능합니다.

또한 이 DTS작업은 msdb의 sysdtspackage에 저장되며 이녀석을 이용 다른 서버에

DTS패키지를 전송후 얼마든지 재사용이 가능합니다.

자... 그럼 DTS - 정확히는 MS의 데이터 핸들러가 어떤 데이터를 "기본적으로" 핸들 가능한지

알아 보도록 하지요.

간단합니다. 전부 적을거라 예상 하셨겠지만... -_-;;

이렇게.. DTS의 데이터 원본이나.. 데이터 소스 부분을 보시면 됩니다. -_-;;

뭐 좋습니다. 대단히 많습니다. 엑셀 / 엑세스 / 오라클 / DBase / 폭스 / SQL서버

등등이 있으며.. 텍스트 화일 역시 있습니다. ^_^

그렇다면.. 잘 사용은 하지만.. 이 리스트에 없는 녀석들은 어떻게 하는걸까요?

위에서 "기본적으로" 제공하는 녀석들에 대한 이야기만 말씀 드린 것이며..

"추가적으로" 범용적으로 국내에서 사용하는 몇몇 DB나 DBMS에 대한 글 역시

적어 보겠습니다.

1. MySQL

이녀석은.. 최근 박훈님이 Friend's 강좌에 올려주신 MySQL Migration에

대한 글에서 쉽게 보실 수 있습니다. - 이자리를 빌어 박훈님께 감사 드립니다.

http://sqler.pe.kr/FriendLec/main.asp

부분의 진행된 강좌 부분에서 박훈님의 상세한 글을 보실 수 있으니 참고 하시구요.

MySQL ODBC를 이용하시면 되며 해당하는 글이 있으니 참고 하세요.

2. IBM DB2

이녀석은.. 조금 난해 하실 수 있습니다.

가장 좋은 방법은 HIS서버(Host Integration Server)의 OLEDB Provider를 가져다가

사용하는 것입니다. HIS서버의 평가판은

http://microsoft.com/hiserver

에서 받으실 수 있으며 여기에 보시면? OLEDB 만 설치가 가능하니 이것을 이용하심이

좋습니다. HIS서버는 참고로 IBM 메인프레임과 연결 및 처리를 가능하게 하는 것으로..

메인 프레임의 ISAM / VSAM 데이터 역시 접근이 가능한 녀석입니다. 물론 DB2역시나..

이 녀석을 이용 DB2에 접근하실 수 있지요. 또는 CA400이라는 DB2용 클라이언트

툴 제작에 필요한 클라이언트인 이녀석에서 ODBC역시 구할 수 있다고 하니

참고 하세요.

3. Sybase

이녀석은 쉽게 제공을 안해준다고 합니다. -_-;;

먼저 이녀석에 대한 ODBC를 구하시려면?

Sybase에 정식으로 요청하는 방법과..파워빌더라는 개발툴에

이 Sybase ODBC가 들어 있다고 합니다.

이녀석을 이용하시면 쉽게 Sybase용 ODBC를 설치가 가능하다고 하니 참고 하세요.

저역시 Sybase는 사용해 보지 않아서 모라 말씀 드리기 힘들군요.

확답을 가지신 분이 계시다면? 팁 게시판에 올려 주시거나..

저에게 메일 주시면.. 등록하도록 하겠습니다.

5. Infomix

이녀석은 특이하게도.. ODBC를 제공해 주지 않는다고 합니다. -_-;;

오로지 개발자에게만 ODBC를 제공 하며 라이센스를 구입해야 한다고 하네요.

역시나 파워빌더에는 이 인포믹스용 ODBC가 포함되어 있으며 적절히 추출(?) -_-;;

하시면 된다고 합니다. 참고 하시길 바랍니다. - 정보 주신 라라님 감사합니다.

이정도면 종종 사용하는 DB에 대한 소개는 해드린듯 하네요.

각각의 DB에 대한 버젼 / ODBC나 OLEDB의 버젼이 틀리다면 잘 안될 수 있으며

해당하는 문서들은 자신이 맞게 찾아서 해결 하셔야 할 것입니다.

ODBC와 OLEDB ?

ODBC는 Open DataBase Conectivity의 약자로 범용적인 데이터 접근을 위한 것입니다.

OLEDB역시 비슷하지요.

두개의 가장 큰 차이점을 말씀 드리자면? OLEDB는 훨씬 더 범용적입니다.

ODBC가 강형의(Strong) 2차원 테이블형의 정적인 데이터를 요구하는 반면..

OLEDB는? 좀더 느슨(Loosely Coupled)하며 좀더 범용적으로

예를들면 텍스트 화일 / E-Mail등역시 데이터 원본으로 처리할 수 있지요.

- 속도적인 측면으로 볼때 역시 OLEDB가 느릴것 같지만? 더 빠릅니다. -_-;

또한 개발작업을 수행할 경우에 이용 역시 이 OLEDB가 간편합니다.

그외 UDL화일 생성 / 재사용을 위한 연결 등은 이 DTS에서 벗어나는 듯 하니..

넘어 가도록 하겠습니다. - 물론 UDL화일로 DTS역시 가능합니다.

그리고.. 남들이 잘 안하는 이야기로.. -_-;;

SQL서버끼리는 - 정확히 SQL2000 <-> SQL2000 또는 SQL7 <-> SQL2000 또는 SQL7 <-> SQL7

이녀석들은.. Transfer(데이터베이스간 개체 및 데이터 복사)가 가능합니다.

즉, 데이터 뿐 아니라.. 데이터베이스의 여러 개체들인 기본키, 참조키, 저장 프로시져

등등의 여러 개체들을 다른 SQL서버로 전송이 가능하다는 것이지요.

하지만 잘 모르시는 분들 - 처음 호스팅을 받으시거나.. 하시는 분들은 어려울 수 있습니다.

이때 생기는 여러 문제들의 해결 방안 역시 말씀 드릴 것이니 참고 하시길 바라구요.

참고로 SQL서버의 DTS에 대한 온라인 도움말 역시 많이 봐 보시길 바랍니다.

여러가지 발생 가능한 문제 - LOB데이터 처리 등.. 에 대한 글들 역시 참조 하실

수 있으니 도움 되시길 바랍니다.

자 그럼 다음으로..

이 DTS작업간의 여러 샘플들을 알아 보도록 하겠습니다.

▶ 12. DTS(Data Transfer Service) -

1. DBMS간 데이터 전송에 대한 이해

11. 트랜젝션과 잠금처리 - 7. 데드락(Deadlock)처리

코난 — Fri, 20 Nov 2009 23:01:54 +0900

트랜젝션과 잠금의 마지막 이야기는 데드락 입니다.

앞에서 언급을 해 드렸지만...

데드락은..

사용자1과 사용자 2가 있다고 가정해 보겠습니다.

그리고 테이블A와 테이블B가 있다고 가정해 보지요..

사용자1은 트랜젝션 처리를

테이블A -> 테이블B -> 작업후 완료.. 이렇게 처리를 하며..

사용자2는 트랜젝션 처리를

테이블B -> 테이블A -> 작업후 완료 이렇게 처리를 합니다.

이럴 경우... 사용자1이 테이블A를 잡을때, 동시에 사용자2가 테이블 테이블B를

해들했다고 가정한다면.. 각각의 처리들은 모두 다음 개체를 사용하려고

서로 노려만 보고 있는 것입니다. 이런 상황을 교착상태라고 하며..

이 데드락은 역시나 SQL서버가 중재를 해서.. 하나의 프로세스를 Victim(희생양)으로

해 버리는 식으로 처리합니다.

이렇게 데드락이 걸리는 상황을 간략히 말씀 드렸구요..

이 데드락을 피하는 방법은 잘 구성된 솔루션 개발 계획입니다.

예를들어..

회사내부에 제품 삭제를 하기 위한 프로세스가 있다면?

1. A테이블 수정

2. B테이블 수정

3. C테이블에서 삭제

4. 제품 삭제

이렇게 운용이 될 겁니다.

그리고.. 사용자 삭제 프로세스라는 녀석이 있다면?

1. Y테이블 삭제

2. X테이블 삭제

3. C테이블 삭제

4. B테이블 삭제

5. A테이블 삭제

6. 사용자 삭제

이런 프로세스로 생각하실지 모르나..

보시는 바와 같이..

프로세스 수행 방식이 서로 엇갈리는 - 데드락 발생 가능성이 높은 프로세스

처리 방식이 되었습니다.

이럴때.. 하나를 바꿔 주시면 됩니다.

저는 사용자 삭제 프로세스를..

1. A테이블삭제

2. B테이블 삭제

3. C테이블 삭제

4. X테이블 삭제

5. Y테이블 삭제

이렇게 순서를 바꾼다면? 프로세스 수행중에.. 트랜젝션 처리가 교착될 염려는

없겠지요. 이렇게 바꾸는 것을.. 시리얼하게 바꾼다고 보통이야기 합니다.

하지만.. 저렇게 프로세스 흐름을 바꾸기란 정말 쉬운일이 아닙니다.

해보신분은 아실 겁니다.

개나소나 다~ 참조하는 user테이블의 한 계정을 지우려면?

이곳 저곳의 참조하는 객체를 먼저 지운후 user테이블을 지워야 하지요.

저는 개인적으로 30개 정도의 테이블에서 삭제후 user테이블을 지우던 기억이 납니다.-_-

저렇게 바꿀수가 없을것 같다구요?

말도 안될것 같지만 가능합니다.

저장 프로시져와 같은 프로그래밍 로직으로.. 순차를 정해..

정 먼저 지울 녀석이 있다고 해도.. 적절하게.. 변수로 키값을 select로 받아만

두고 변수에 저장후 나중에 지우거나.. 이렇게 처리가 분명 가능합니다.

그리고 수정이 걸리는 부분은 저렇게 처리가 가능하지요.

막을 수 있는 근본적인 방법?

간단합니다. 프로젝트를 기획 하시면서.. 컴퍼넌트 디자인 프로세스나.. 구현 단계에서

해당하는 테이블 접근 순서를 문서화 하는 것입니다.

그리고 또한 트랜젝션 처리 모듈은 따로 관리를 해서..

트랜젝션 처리 순서 모듈을 문서화 해두고.. A저장 프로시져가.. L-> M -> N 이라고

접근을 한다.. 그러나 B저장 프로시져를 생성할때도 J -> K -> L 이라고 개체를 접근하게

해야 겠다는.. 기준이 남도록 적절한 문서화를 해 두시면..

대형 프로젝트로 여러명이 나누어 개발을 할 경우라도 저러한 교착상태나

블러킹을 최소화 하실 수 있게 되는 것입니다.

만약 데드락이 발생한다면?

바로! 해당 어플리케이션 모듈의 디버깅을 들어가시면 되겠지요. ^_^

데드락 샘플을 보시기 보다는.. 이렇게 개발단계의 시리얼라이즈한 개체 핸들 순서의

문서화가 더 중요한 부분이기 때문에.. 이정도로.. 데드락 처리를 마치도록 하겠습니다.

오래간만에 강좌를 적으니.. 조금 어깨가 뻐근~~ -_-;; 하네요..

이제 약간 여유가 생겼으니.. 빠르게 강좌 마무리에 들어 가도록 해야겠군요. ^_^

샘플이 이번에는 별로 없어 실망이라구요? ^_^

제가 잠금과 데드락이나(사실 거의 발생 안합니다. - 이름만 무서운 데드락일 뿐입니다.)

이런 문제를 접하면서.. 이 장에서 설명드린 내용 이상의 내용은 거의 없습니다.

나중에 자신이 필요하다면.. 추가적으로 공부를 진행하시면 도움 되겠지요. ^_^

자 수고하셨구요.. 혹시나 이 강좌의 내용에 문제가 발견 된다면? 바로 메일이나..

게시판에 글을 남겨 주시길 바랍니다. ^_^

그럼 이만.

11. 트랜젝션과 잠금처리 - 7. 데드락(Deadlock)처리 문서의 끝입니다.

11. 트랜젝션과 잠금처리 - 6. 잠금 관리

코난 — Fri, 20 Nov 2009 23:01:32 +0900

이번에 드릴 이야기는..

별 내용은 아닙니다. ^_^ 잠금이 걸리는 상황을 타개해보자..의 연장이라고 보시면 됩니다.

잠금을 보고 확인하는 부분은 간단하게 말씀을 드렸구요.

sp_who나 sp_who2를 이용해 잠금을 유발하는 사용자 - 프로세스 - 를 보실 수 있으며

역시나 이녀석들을 죽이거나 어떻게 처리를 해 줘야 하겠지요.

방법은 두가지 입니다.

1. kill 명령으로 죽인다.

sp_who 로 잠금을 유발하는 녀석을 검사하고..

kill 프로세스ID 명령으로 죽이시면 됩니다.

물론 거의 사용하실 일 없습니다. kill 명령으로 죽인다고 문제가 해결되는 경우는

없습니다. 100명의 오퍼레이터가 있으며 개별 오퍼레이터가 사용하는 모듈을 각각

10~30개의 VB로 만들어진 모듈을 사용한다. 그중 하나의 오퍼레이의 1개 모듈이

잠금을 유발한다면? 아무리 kill 명령으로 죽여봐야 모듈의 버그를 잡고 다시 배포하지

않는 이상 계속 문제가 발생할 것이기 때문입니다.

2. lock timeout을 이용하는 방법

사실 이녀석은 데드락을 줄이는 부분일 수 있지만..

적절한 응답시간을 얻기 위해서 사용하는 것도 좋은 방법 입니다.

--락 타임아웃 시간 조사
select @@lock_timeout

--락 타임아웃 설정 : 단위는 미리초
SET LOCK_TIMEOUT 1800
GO

select @@lock_timeout

네 이렇게 관리가 가능합니다.

하지만.. 다시 말씀 드리면..

문제가 되는 모듈을 찾고 이부분을 해결하는 것이 더더욱 중요하지요.

이렇게 보시는 바와 같이..

성능 모니터링에서 잠금과 관련된 - 데드락 포함 - 여러 이벤트를 조사할 수 있습니다.

또한.. 수행중 데드락(Dead Lock) 이라고 하는 교착상태에 빠질 경우에 역시

참고하실 수 있습니다.

DaedLock이 발생할 경우는

트랜잭션(프로세스 ID xxx)이 (xxx) 리소스에서 다른 프로세스와의

교착 상태가 발생하여 실행이 중지되었습니다. 트랜잭션을 다시 실행하십시오

식의 오류 메세지가 발생하며..

역시나 성능툴로 모니터링이 가능하구요.

이어서 프로필러를 이용 하시면..

이렇게 Deadlock을 조사할 수 있습니다.

그러면 어느 모듈이나 어느 부분이 문제를 발생하는지 판단이 가능하겠지요. ^_^

...

잠금 관리에서.. 갑자기 데드락까지 넘어 가는군요.. 끝으로.

잠금으로 발생하는 여러 상황을 보셨습니다. 모니터링 하는 방법도요..

이런 케이스가 있더군요..

sp_who2 로 뭐.. 잘 블러킹을 볼 수 있습니다.

- 하지만 동시에 문제의 쿼리를 볼수는 없더군요.

블러킹등이 발생하는 상황은 잘 알 수 있습니다.

- 하지만 로깅을 하고 나중에 분석하려할때 대단히 어렵더군요.

이런 저런 이유로.. 프리웨어를 제가 만들었구요..

사실 담배값 - 아시죠. This 한갑은 1300원.. 에 팔까..

담배는 피우면서 만드니.. T.T

했으나.. 뭐.. 사실 신경쓸 부분이 이쪽이 아니고.. -_-;;;

사이트 정신에도 위배 되기 때문에.. 프리웨어로 공개 합니다. ^_^

말은 이렇게 해도.. 참 목구멍이 포도청이라.. 힘든 결심이었답니다. T.T

자료실에서 다운로드 받으실 수 있구요..

이곳 자료실을 참고 하시길 바랍니다.

이곳에서 받으실 수 있습니다.

물론 코난이나.. 다른곳으로 정보 전송 없습니다. - 스파이 웨어 같은거 할줄

알면 좋겠으나. -_-;; 물론 그런것 없으며.. 나중에 기회가 되면 -__-+++

COM 구성요소로 업글해 만들 생각은 있습니다. - 현재는 C/S입니다.

버그가 있다면 그냥.. 메일만 주시고..

Windows2000 서버와 어드밴스드 서버, 프로에서는 잘 돌아 갑니다.

물론 SQL서버가 설치된 시스템이나.. 원격 시스템(랜상을 기준으로 만들었습니다.)도

잘 됩니다. 도움말 없다고 미워 마시고.. 이곳을 참고해 보세요..

대충 쿼리 분석기 처럼 붙으면.. 이런 서버 정보 화면 나옵니다.

아시죠? 서버 정보일 뿐입니다. -_-;;

중요한 블러킹 화면으로.. 시작 - 멈춤이 있구요..

보시면.. blkby라는 컬럼이 있지요? 블럭하는 녀석이고..

blk된 녀석까지 붉은 색으로 했습니다.

그리고.. 오른쪽 윗부분에 SPID와 Query를 실시간으로 - 사실 약간의 딜레이가 있으므로

LAN상의 SQL서버 시스템을 이용하시길 권장합니다. - 보실 수 있습니다.

옵션중에는.. 리프레시 간격을 초단위로 조절이 가능하며..

히스토리로 로깅하시고..블럭 히스토리 탭에서 나중에 다시 블럭된 쿼리를

보실 수 있습니다. - 어느 모듈이 문제인지 즉시 확인 가능하겠죠?

나머지는 직접.. 해 보시길..

테스트는 SQL2000에서 했으며.. SQL7에서도 돌아는 가는 걸로 압니다.

System Admin 롤의 계정을 사용하셔야만 하며 - 그래야 DBCC명령 등 잘 됩니다.

내부적으로 master DB에 하나의 저장 프로시져를 생성하고 그녀석으로 위의 정보를

보여주는 겁니다. - 버그가 있더라도 양해하시고..

그냥.. 있는 그대로 사용해 주시길 바랍니다. -_-;;

저역시 가끔 사이트에서.. 블러킹 확인할때의 용도로만 사용합니다.

한 컨커런트한 유저가 50명 정도가 되어도 끄떡 없이 잘 보여주니 참고하세요.

히스토리 분석 탭으로... DB선택, 호스트 이름 선택, 어플리케이션 이름 선택..

그리드의 높이 조절 기능이 있으니 참고하세요. - 이정보는 서버가 아닌 로컬 시스템에

이진 화일로 저장 됩니다. - 엑세스 형식

항상 걸고 사용하는 것은 권장하지 않으며..

위에 말씀 드린대로.. 원하는 정보만 볼수 있게 만든 기능성 프로그램입니다.

소스 공개는.. 나중에 시간 여유가 되어서 3Tier로 재구축이 가능하게 된다면

그때 공개 하도록 하구요. 허접하지만.. 나름대로 여러 목적으로 이용 가능합니다.

어느 SQLER의 회원님은 웹서버 로드 밸런싱 확인 용도로 쓰시더군요. -_-;;

패키징을 인스톨 실드 7.1 DEV버젼으로 했구요.. 그리두는 모두 제가 좋아하는

투루디비그리드.. -_-;;

ADO 2.6을 사용하며.. 히스토리는 엑세스로 생성 했습니다.

그럼 끝으로.. 데드락 이야기를 하도록 할까요!

11. 트랜젝션과 잠금처리 - 6. 잠금 관리 문서의 끝입니다.