거래 학습

마지막 업데이트: 2022년 6월 7일 | 0개 댓글
  • 네이버 블로그 공유하기
  • 네이버 밴드에 공유하기
  • 페이스북 공유하기
  • 트위터 공유하기
  • 카카오스토리 공유하기
이종학습 개요

조대협의 블로그

앞의 글들 ( http://bcho.tistory.com/1198 http://bcho.tistory.com/1197 ) 에서 신용카드 이상 검출을 하기 위한 데이타에 대한 분석과, 오토 인코더에 대한 기본 원리 그리고 오토 인코더에 대한 샘플 코드를 살펴보았다.

이제 실제 모델을 만들기에 앞서 신용카드 거래 데이타를 학습에 적절하도록 전처리를 하도록한다.

데이타 전처리 과정

신용카드 거래 데이타를 머신러닝 학습의 검증과 테스트에 적절하도록 다음과 같은 절차를 통하여 데이타를 전처리하여 CSV 파일로 저장하였다.

데이타 정규화

학습 데이타에 여러가지 피쳐를 사용하는데, 예를 들어 피쳐 V1의 범위가 -10000~10000이고, 피쳐 V2의 범위가 10~20 이라면, 각 피쳐의 범위가 차이가 매우 크기 때문에, 경사 하강법등을 이용할때, 학습 시간이 더디거나 또는 제대로 학습이 되지 않을 수 있다. 자세한 내용은 김성훈 교수님의 모두를 위한 딥러닝 강좌중 정규화 부분 https://www.youtube.com/watch?v=1jPjVoDV_uo&feature=youtu.be 을 참고하기 바란다.

그래서 피쳐의 범위를 보정(정규화)하여 학습을 돕는 과정을 데이타 정규화라고 하는데, 정규화에는 여러가지 방법이 있다. 여기서 사용한 방법은 Fearture scaling이라는 방법으로, 모든 피쳐의 값들을 0~1사이로 변환하는 방법이다. 위에서 언급한 V1은 -10000~10000의 범위가 0~1사이로 사상되는 것이고, V2도 10~20의 범위가 0~1사이로 사상된다.

정규화된 값은 = (원본값 - 피쳐의 최소값) / (피쳐의 최대값 - 피쳐의 최소값)

앞의 V1값에서 0의 경우는 (0 - (-10000)) / (10000 - (-10000)) = 0.5 로 사상이 되는것이다.

그러면 신용카드 데이타에서 V1~V28 컬럼을 Feature scaling을 위해서 정규화를 하려면

df_csv = pd . read_csv( './data/creditcard.csv' )

CSV에서 원본 데이타를 읽는다.

읽어드린 데이타의 일부를 보면 다음과 같다.

df_csv 는 데이타의 원본값을 나타내고, df_csv.min() 각 컬럼의 최소값, df_csv.max()는 각 컬럼의 최대값을 나타낸다. 이 값들을 이용하여 위의 Feature Scaling 공식으로 구현하면 아래와 같이 된다

df_norm = (df_csv - df_csv . min() ) / (df_csv . max() - df_csv . min() )

이렇게 정규화된 값을 출력해보면 다음과 같다.

V1 컬럼의 -1.359807이 정규화후에 0.935192 로 변경된것을 확인할 수 있고 다른 필드들도 변경된것을 확인할 수 있다.

데이타 분할

전체 데이타를 정규화 하였으면 데이타를 학습용, 검증용, 테스트용 데이타로 나눠야 하는데, 오토 인코더의 원리는 정상적인 데이타를 학습 시킨후에, 데이타를 넣어서 오토인코더가 학습되어 있는 정상적인 패턴과 얼마나 다른가를 비교하는 것이기 때문에 학습 데이타에는 이상거래를 제외하고 정상적인 거래만으로 학습을 한다.

이를 위해서 먼저 데이타를 정상과 비정상 데이타셋 두가지로 분리한다.거래 학습

아래 코드는 비정상, 정상인 데이타로 분리가 되는데, 정상 데이타는 df_norm_nonfraud에 저장하고, 비정상 데이타는 df_norm_fraud에 저장하는 코드이다.

# split normalized data by label
df_norm_fraud = df_norm[ df_norm . Class ==1.0 ] #fraud
df_norm_nonfraud = df_norm[ df_norm . Class ==0.0 ] #non_fraud

정상 데이타를 60:20:20 비율로 학습용, 테스트용, 검증용으로 나누고, 비정상 데이타는 학습에는 사용되지 않고 테스트용 및 검증용에만 사용되기 때문에, 테스트용 및 검증용으로 50:50 비율로 나눈다.

# split non_fraudfor 60%,20%,20% (training,validation,test)
df_norm_nonfraud_train,df_norm_nonfraud_validate,df_norm_nonfraud_test = \
np . split(df_norm_nonfraud,[ int ( .6* len (df_norm_nonfraud)), int ( .8* len (df_norm_nonfraud))])

numpy의 split 함수를 쓰면 쉽게 데이타를 분할 할 수 있다. [ int ( .6* len (df_norm_nonfraud)), int ( .8* len (df_norm_nonfraud))] 가 데이타를 분할하는 구간을 정의하는데, 데이타 프레임의 60%, 80% 구간을 데이타 분할 구간으로 하면 0~60%, 60~80%, 80~100% 구간 3가지로 나누어서 데이타를 분할하여 리턴한다. 같은 방식으로 아래와 같이 비정상 거래 데이타도 50% 구간을 기준으로 하여 두 덩어리로 데이타를 나눠서 리턴한다.

# split fraud data to 50%,50% (validation and test)
df_norm_fraud_validate,df_norm_fraud_test = \
np . split(df_norm_fraud,[ int ( 0.5* len (df_norm_fraud))])

데이타 합치기

다음 이렇게 나눠진 데이타를 테스트용 데이타는 정상과 비정상 거래 데이타를 합치고, 검증용 데이타 역시 정상과 비정상 거래를 합쳐서 각각 테스트용, 검증용 데이타셋을 만들어 낸다.

두개의 데이타 프레임을 합치는 것은 아래와 같이 .append() 메서드를 이용하면 된다.

df_train = df_norm_nonfraud_train . sample(frac =1 )
df_validate = df_norm_nonfraud_validate . append(df_norm_fraud_validate) . sample(frac =1 )
df_test = df_norm_nonfraud_test . append(df_norm_fraud_test) . sample(frac =1 )

데이타를 합치게 되면, 테스트용과 검증용 데이타 파일에서 처음에는 거래 학습 정상데이타가 나오다가 뒷부분에 비정상 데이타가 나오는 형태가 되기 때문에 테스트 결과가 올바르지 않을 수 있는 가능성이 있다. 그래서, 순서를 무작위로 섞는 셔플링(거래 학습 Shuffling) 작업을 수행한다.

셔플링은 위의 코드에서 .sample(frac=1)에 의해서 수행되는데, .sample은 해당 데이타 프레임에서 샘플 데이타를 추출하는 명령으로 frac은 샘플링 비율을 정의한다 1이면 100%로, 전체 데이타를 가져오겠다는 이야기 인데, sample()함수는 데이타를 가지고 오면서 순서를 바꾸기 때문에, 셔플링된 결과를 리턴하게 된다.

이미지:본지DB

이미지:본지DB

최근 금융거래의 디지털화가 진행되는 가운데 금융범죄는 더욱 복잡화, 교묘해지고 있으며, 금융기관은 방대한 정보 속에서 금융범죄와 비리를 효율적이고 정밀하게 식별하고, 심사할 필요가 더욱 요구되고 있다.

2011년, 도쿄 증권거래소가 오사카 증권거래소에 통합된 일본거래소그룹(Japan Exchange Group)은 2018년부터 매매심사의 초기단계 조사에 인공지능(AI)을 도입하는 등 ICT를 활용한 불공정거래 감시 및 방지 대책을 강화해 왔다.

24일, 일본거래소그룹 산하 일본거래소 자율규제법인이 주식거래에서 새롭게 해석성을 갖춘 설명 가능한 AI(eXplainable AI)를 탑재한 시스템을 도입해 더욱 심도 있는 매매심사업무 실현에 정진하고 있다고 밝혔다.

AI를 활용한 매매 심사 업무 개요

이 AI 시스템은 설명 가능한 AI '이종학습(Heterogeneous learning)' 기술을 활용해 주식거래에서 위장 매매, 불공정 거래 등 AI가 정밀하게 감지함과 동시에 그 판정 이유도 제시한다. 하루 수천만 건에 이르는 매매거래에 있어 시세조종행위 등 불공정거래 조사를 벌이는 매매심사 업무를 위해 12월부터 가동되고 있다.

이 시스템은 NEC의 AI 플랫폼 'NEC the WISE' 중 하나인 '이종학습(Heterogeneous learning)' 기술을 활용한다. 이 기술은 화이트박스 유형 AI이며, 심사 업무에서도 고급 예측 정확도와 예측에 이르는 근거를 시각화하는 해석성을 양립하고 있다. 또한, 인간이 식별하기 어려운 위험을 AI가 탐지 및 가시화함으로써 새로운 관점에서 불공정거래 방지에 기여할 수 있다.

이종학습 개요

한편, 이종학습 기술은 NEC가 2018년 9월 세계 최초로 자사의 빅데이터 분석 엔진으로 다양한 데이터가 혼합된 데이터 간의 관련성에서 특정 규칙을 자동으로 발견하고, 분석 데이터에 따라 규칙을 설정해 하나의 규칙성만을 추출해 변화하는 데이터 속에서도 정확한 예측 및 추론할 수 있는 독자적인 AI 훈련 방식으로 예측에 따른 그 근거(이유)를 확인할 수 있다.

아주경제 이성우 기자=국내 주식선물 시장은 하루 30조~40조원이 거래되는 세계 최대 규모다. ‘대박’을 꿈꾸는 투자자들의 심리가 불법 선물거래업체 형성으로 이어졌다. 이후 지속적인 금융당국의 적발에도 불법 선물거래업체가 소셜네트워크서비스(SNS)까지 파고들어간 것은 파생상품 규제에 여전히 허점이 많다는 거래 학습 것을 보여준다. 금융감독당국이 지난 2003년 증거금 상향 조정 시에 불법 선물거래업체가 쏟아졌던 경험을 감안했더라면 이 같은 후유증을 충분히 사전에 차단할 수도 있었다는 얘기다.

◆ 세계 최대 규모 선물시장이 불법 업체 난립 부추겨

12일 한국거래소에 따르면 지난해 국내 선물시장의 일평균 거래대금은 64조5393억원으로 지난 2010년(55조1529억원)에 비해 17% 증가했다. 특히 개인투자자의 비중이 60%를 넘는 주식선물의 일평균 거래대금은 지난해 1423억원에 달해 전년(881억원)에 비해 무려 61.5% 늘어났다. FX마진(외환차익)거래 역시 지난해 11월까지 연간 누적 거래대금이 727조원에 달하며 2010년(539조원)에 비해 200조원 가까이 폭증했다.

국내 선물과 FX마진거래가 급증하자 거래 학습 투자자들을 유혹하는 불법 선물거래업체들도 기승을 부리고 있다. 불법 선물대여업체는 선물 혹은 FX마진거래를 원하는 개인투자자에게 위탁증거금을 대납해주며 수수료를 받고 거래를 중개하는 식으로 운영된다. 그만큼 선물거래를 하기 힘든 소액투자자들이 솔깃해질 수밖에 없다.

증권업계의 한 관계자는 “증거금이 부족한 투자자들은 이들 업체를 통해 규제를 피해갈 수 있다고 생각한다”거래 학습 면서 “불법임을 알면서도 이용하는 이유”라고 설명했다.

하지만 이들 업체는 대박을 노리는 투자자들을 울리고 있다. 시세변동으로 손실이 발생하면 임의로 반대매매를 해 투자자에게 손실을 떠넘기는가 하면 수익이 발생할 때는 이를 가로채고 잠적해버리는 경우가 수두룩하다. 무등록업체도 난무해 수시로 회사명을 바꾸면서 투자자들의 자금을 가로채고 있다.

◆ 파생상품 규제가 불법 선물업체 판 키웠다

특히 금융당국이 옵션 전용계좌를 폐지하고 주식워런트증권(ELW) 위탁증거금을 1500만원으로 정하는 등 투기 규제를 강화하자 레버리지투자에 길든 개미들이 불법 거래로 눈을 돌리고 있다. 개인이 증권사에서 코스피200 선물이나 옵션, ELW를 매매하려면 최소 1500만원이 필요하지만 선물계좌 대여업체들은 50만원으로도 선물을 매매할 수 있도록 레버리지 제도를 운영하기 때문이다.

결국 금융당국이 비난의 화살을 받을 수밖에 없다. 무분별하게 개인투자자들이 파생상품에 투자하는 것을 막기 위한 조치임에도 그 대비책을 마련하지 못해 결국 이들 투자자를 노리는 업체들에게 기회를 제공했다는 비난을 피할 수 없게 됐다.

특히 지난 2003년 선물 증거금을 500만원에서 1500만원으로 올릴 때도 불법 선물계좌 대여업체들이 난립한 적도 있다. 그만큼 ‘학습 효과’가 반영되지 못한 미봉책이었다는 지적을 받고 있다. 이를 막기 위해 금융당국이 적극적으로 근절에 속도를 내고 있지만 이들을 완전히 뿌리 뽑진 못하고 있는 것이 현실이다.

금융감독원 관계자는 “사업자 등록번호 등을 허위로 기재하고 업체명을 수시로 바꾸어가며 영업을 하고 있어 피해배상을 위한 추적이 어렵다”고 설명했다.

게다가 투자자들이 인터넷 상에 ‘대여계좌’ ‘미니선물’ 등 단순한 키워드로 검색을 해도 이들 업체를 쉽게 찾을 수 있다. 이들은 사업자번호까지 버젓이 올려놓는 등 합법적인 업체로 둔갑해 투자자를 울리고 있다. 특히 최근 많은 사람들이 접근하는 SNS로까지 그 대상이 확대되면서 더욱 투자자 보호가 필요한 상황이다.

증권사의 한 관계자는 “금융당국이 투자자 보호를 위해서 실시한 조치가 결과적으로 불법을 조장하는 셈이 되고 말았다”며 “투자자를 보호하기 위한 적극적인 대책이 필요하다”고 지적했다.

◆ 투자자들의 세심한 주의 필요

금융당국은 불법 금융투자업체의 위법 행위를 뿌리 뽑기 위해서는 투자자들의 세심한 주의가 필요하다고 강조했다.

우선 코스피200선물 등 파생상품 거래는 인가를 받은 증권사 및 선물사만 가능하다. 금감원 홈페이지에 개설된 ‘제도권금융회사 조회’ 코너에서 검색을 할 수 없는 업체는 모두 불법 업체이며, 사이버 상에서 소액(50만원 이하)으로 선물투자를 할 수 있다고 광고하는 업체 또한 불법 업체라는 것이다.

이와 함께 ‘불법이냐 합법이냐를 떠나서 수익을 목표로 하면 된다’, ‘선물대여업체의 선정 기준은 HTS가 안정적인 업체인지, 회원 수는 많은지, 입출금이 빠른지, 오버나잇이 가능한 업체인지, 증권사와 전략적 제휴를 맺었는지 등을 기준으로 해야 한다’는 등의 광고나 안내문에 현혹돼 투자피해가 발생하지 않도록 유의해야 한다고 전했다.

더불어 상당수의 불법 업체들은 주소, 사업자 등록번호 등을 허위로 기재하고 회사명을 수시로 바꿔 영업을 하기 때문에 피해자가 민사상 손해배상책임을 청구해 배상을 받기도 어렵다는 게 금융감독당국의 설명이다.

러시아 디폴트: 학습효과와 거래상대방 위험

지난 1998년 8월17일, 러시아가 국내 및 국외 채무에 대한 디폴트를 선언했다. 달러로 표시된 외채를 부도낸 것뿐 아니라 언제든 찍어낼 수 있는 자국 통화 표시 채무까지 부도를 내면서 글로벌 투자자들을 충격에 빠트렸다.

러시아 디폴트의 충격은 곧 브라질을 덮친다. 러시아 자산에 물린 투자자들이 당시 글로벌 경제의 약한 고리였던 브라질에서 자금을 인출하기 시작하면서 금융위기의 파고가 라틴아메리카 전역으로 뻗어 나갔다.

갑자기 전 세계 금융시장에 달러를 빌려주는 사람이 사라졌고 달러를 돌려받으려는 사람만 아우성치기 시작했다. 달러 경색의 시작이었다.

▲ 1998년 LTCM 파산 학습효과

러시아의 디폴트는 당시 미국에서 가장 잘나가던 롱텀캐피털매니지먼트(LTCM)의 파산으로 이어졌다.

LTCM의 파산에서 가장 놀라운 점은 이 사태를 아무도 예상하지 못했다는 점이다.

LCTM 투자 모델의 핵심은 신용위험이 같지만 스프레드가 다른 채권 등 유가증권에 대한 차익거래다.

LCTM은 유동성 선호에 따른 지표물 프리미엄 때문에 신규 발행 채권과 비지표물 채권 간에 발생한 스프레드가 결국 수렴한다는 점을 타깃으로 삼았다. 비지표물 채권을 사들이고 신규 발행 채권을 공매도한 후 시간이 흘러 스프레드가 수렴할 때 기존 매입 포지션을 정리해 공매도한 채권을 정리해 거래 학습 거래 학습 스프레드만큼의 이익을 얻는 식이다.

거래당 한계 이익이 크지 않았기 때문에 대규모 레버리지를 일으켜 포지션의 파이를 키웠다.

소위 무위험 차익거래로 불렸던 투자방식을 통해 수익성과 안정성 두 마리 토끼를 모두 잡은 것으로 평가받았던 LTCM이었다. 하지만 글로벌 시장이 혼돈으로 빠져들고 모두가 달러만을 원하는 신용경색 상황에선 시간을 버텨낼 힘이 모자랐고 결국 글로벌 금융시장에서 퇴출된 것이다.

▲누구도 믿을 수 없는 시장의 함정

2022년 3월이다. 서방국가들의 전방위 제재에 직면한 러시아가 다시 한 번 거래 학습 디폴트를 선언할 수 있다는 전망이 나오는 요즘이다.

국제금융센터에 따르면 현재 러시아 정부의 달러 및 유로화 표시 국채 잔액은 약 396억달러로, 이 중 외국인 비중은 51%를 차지한다. 외화 발행 회사채 규모를 포함할 경우 규모는 총 2580억달러에 육박한다.

이 중 러시아 정부는 3월 말까지 7억3천만달러에 달하는 달러화 국채 이자를 지급해야 한다. 5월에는 원금 20억달러와 이자 1.3억달러 지급일이 돌아오고 5월부터는 유로화 국채의 만기도 일부 도래할 예정이다.

JP모건 등은 러시아 정부가 당장 오는 16일 이자 지급 일정에 달러를 상환하기 어려울 수 있다며 디폴트 가능성을 경고하고 나섰다. 러시아 정부가 국채 이자를 상환하더라도 각종 제재 등으로 인해 투자자들의 반출이 불가능할 경우 '기술적 디폴트'가 일어날 가능성도 배제할 수 없다.

러시아 디폴트 시나리오를 검토하고 있는 글로벌 투자자들은 1998년 학습효과를 떠올리지 않을 수 없을 것이다. 당장 표면에 드러난 것 외에 예상치 못했던 거래상대방 리스크가 발생할 수 있다는 점이다.

러시아가 디폴트를 선언한 시점에 누구를 믿을 수 있느냐를 누구도 답하지 못한다는 점이 문제다.

당장 러시아 관련 국채를 들고 있는 투자자들 입장에선 자신들이 보유한 신용부도스왑(CDS) 포지션이 러시아 디폴트 리스크에 대한 유의미한 헤지 기능을 할 것이냐에 대해 의문을 품고 있다.

파이낸셜타임즈는 지난 6일 보도에서 러시아에 대한 제재로 CDS 계약의 결제 메커니즘이 훼손됨에 따라 채권 디폴트에 따른 유효한 헤지를 제공하지 못할 수 있다는 트레이더들의 우려를 전하기도 했다.

누구도 믿지 못하게 되면 믿을 수 있는 건 달러뿐이다.

글로벌 은행들 입장에선 장외파생상품 거래를 할 때 적격담보물을 달러 자산으로 채워놓지 않으면 거래하지 않으려는 심리가 강해질 수밖에 없고 이는 시장의 유동성에 영향을 미쳐 변동성을 키울 수 있다.

그것도 신용이 확실한 상대방만 고르고 골라 거래하려는 심리가 팽배해지면서 거래는 더 위축될 것이다. 이 과정에서 특정 기관, 특정 국가에서 달러 유동성 우려가 불거지면 불안심리가 스노우볼 효과를 일으키면서 '글로벌 달러 런'으로 이어질 수도 있다.

물론 1998년과 지금은 많은 것이 변했다. 당시는 아시아 금융위기로 수많은 국가가 달러 유동성 위기를 겪었던 시점이다. 한국 등 많은 아시아 국가는 단기로 달러를 빌린 후 장기로 자금을 굴리는 미스매칭 투자의 후폭풍으로 심각한 외화난을 겪고 있었고 이를 완충할 외환보유액도 턱없이 부족했다.

하지만 2008년 글로벌 금융위기까지 겪으며 많은 신흥국이 환골탈태했고 막대한 외환보유액을 쌓아 놓은 상태다. 단기외채를 안정적으로 관리하기 위한 노력도 충분히 이뤄져 왔다.

문제는 심리다. 러시아 디폴트 자체가 투자자들의 불안감을 조장하면서 '자기실현적 위기'로 이어질 가능성을 배제하기 쉽지 않다.

최악의 가능성을 가정한 다양한 시나리오를 상정한 후 어떤 상황에서도 거래 학습 흔들리지 않을 수 있도록 대비하는 것이 최선이라고 보는 이유다.

[한국강사신문 이미숙 기자] 서울 강동구(구청장 이정훈)가 오는 7월까지 약 12주간 관내 유‧아동부터 70세 이상 어르신을 대상으로 평생학습 기회를 제공하는 ‘2022년 생애주기 맞춤형 평생학습 프로그램’을 운영한다고 밝혔다.

이번 프로그램은 강동구 인구변화와 생애주기별 모형에 따라 다양한 연령층과 다문화가족, 느린 학습자 자녀를 둔 부모 등 특성별 수요를 반영한 맞춤형 교육으로 구성했다.

교육은 총 7개의 프로그램으로 구성되어 거래 학습 있으며 강좌별로 15~30명씩 총 170명을 선착순으로 모집한다. 다만, 코로나19 상황에 따라 교육 일정 및 운영에 있어 변경될 수 있다.

유·아동이 있는 다문화가족이 한식의 이해도를 높일 수 있도록 K-푸드 문화체험의 기회를 제공하는 「다문화가족의 한식요리교실」, 청소년들이 보드게임을 통해 민주시민의 권리와 의무를 배우는 창의적 「민주시민 보드게임 교실」, 20~30대 청년층이 비대면∙디지털 사회의 새로운 패러다임을 만나 볼 수 있는 「메타버스 입문과정(온라인)」 프로그램을 준비했다.

또한, 40~50대 부모를 대상으로 학습의 경계선에 놓인 자녀와의 관계 개선을 위한 「느린 학습자 부모교육」과 건전한 협력적 소비 방법을 제시하는 「온라인 중고거래 교육」, 60대 이상 성인후기 세대를 대상으로 명리학의 기본구조를 배우는 「사주명리 기초과정」 및 70대 이상 어르신들의 디지털 역량강화를 위한 「스마트폰 미디어 교육」도 진행된다.

강좌별 자세한 일정은 강동구평생학습관 홈페이지에서 확인하면 된다. 강동구민이면 누구나 신청 가능하며, 강동구평생학습관 홈페이지(프로그램>프로그램 신청)에서 신청하면 된다.

이정훈 강동구청장은 “생애주기별 평생학습 프로그램을 통해 세대 간 소통의 기회와 주민 체감형 평생학습이 증진 될 것으로 기대한다”며 ”앞으로도 구는 다양한 학습의 기회 및 맞춤형 평생학습이 제공될 수 있도록 최선을 다하겠다”고 말했다.


0 개 댓글

답장을 남겨주세요