In this talk, we introduce the extensions of Spark Streaming to support (1) SQL-based query processing and (2) elastic-seamless resource allocation. First, we explain the methods of supporting window queries and query chains. As we know, last year, Grace Huang and Jerry Shao introduced the concept of “StreamSQL” that can process streaming data with SQL-like queries by adapting SparkSQL to Spark Streaming. However, we made advances in supporting complex event processing (CEP) based on their efforts. In detail, we implemented the sliding window concept to support a time-based streaming data processing at the SQL level. Here, to reduce the aggregation time of large windows, we generate an efficient query plan that computes the partial results by evaluating only the data entering or leaving the window and then gets the current result by merging the previous one and the partial ones. Next, to support query chains, we made the result of a query over streaming data be a table by adding the “insert into” query. That is, it allows us to apply stream queries to the results of other ones. Second, we explain the methods of allocating resources to streaming applications dynamically, which enable the applications to meet a given deadline. As the rate of incoming events varies over time, resources allocated to applications need to be adjusted for high resource utilization. However, the current Spark's resource allocation features are not suitable for streaming applications. That is, the resources allocated will not be freed when new data are arriving continuously to the streaming applications even though the quantity of the new ones is very small. In order to resolve the problem, we consider their resource utilization. If the utilization is low, we choose victim nodes to be killed. Then, we do not feed new data into the victims to prevent a useless recovery issuing when they are killed. Accordingly, we can scale-in/-out the resources seamlessly.

김병진, Samsung 삼성전자 소프트웨어센터 Cloud Platform 팀에서 Spark, Kafka, Redis 기반 스트림 분석 플랫폼을 개발하고 있음

권오찬, Samsung 삼성전자 소프트웨어센터 Cloud Platform 팀에서 Mesos/Yarn 기반 Spark/Hadoop 클리스터 관리 시스템을 개발하고 있음

You can hardly get through a tech conversation today without talking about cloud or containers. In many ways this technology is changing the way people consume infrastructure, and not always for the best. We'll explore cloud, containers, cluster and service management, see what the cutting edge is capable of delivering, and highlight some of the dangers involved as well.

David Nalley, Citrix 아파치재단 부의장
CloudStack PMC & Committer
CiTRix, Open Source Business Office Sr. Manager

하둡(Hadoop) 기반의 빅데이터 웨어하우스(DW) 엔진인 타조(Tajo)는 2013년 아파치 재단의 오픈소스로 공헌되면서 한국에서는 고려대학교, 그루터, 카카오, 해외에서는 구글, 마이크로소프트, 링크드인 등의 주요 개발자들이 참여하면서 글로벌 오픈소스로 발돋움 하였습니다. 2014년에는 아파치 탑레벨 프로젝트로 성장하여 주요 기업과 서비스 업체들이 사용하고 있거나, 도입 검토 중인 빅데이터 핵심 인프라 기술입니다.이번 발표에서는 데이터 홍수 시대에서 전통적인 DW의 한계점과 하둡과 타조를 이용한 극복 방법, 그리고 실제 타조 기반의 DW 구축 사례를 소개하고자 합니다.

정재화, 그루터 지난 10여년 동안 SI, 대용량 분석 인프라, 웹 퍼블리싱 등 다양한 프로젝트를 경험해왔습니다. 지금은 빅데이터 플랫폼 전문 기업인 그루터에서 근무하며, Apache Tajo의 PMC 멤버이자, 풀타임 커미터로 활동하고 있습니다. 글쓰는 것을 좋아해서 하둡 기술을 공유하는 블로그(http://blrunner.com)을 운영하고 있으며, "시작하세요! 하둡 프로그래밍"이라는 하둡 입문서를 출간했습니다.

최근 빅데이터 이슈와 함께 유동인구를 50미터 육각셀로 표시한 지도를 본 적이 있을 것이다. 그리고 이와 유사한 프로젝트가 근자에 많이 회자되는 추세다. 보통 GIS 프로젝트하면 전용 패키지와 고비용 서버가 필요하다 지레 짐작하기 쉽다. 중소기업이나 개인은 접근하기 쉽지 않은 소프트웨어 인프라가 필요하기 때문이다.

2000년대 초부터 PHP 언어로 웹퍼플리싱을 간편하게 하기 위한 드루팔이라는 오픈소스 프로젝트가 진행되었다. 현재 드루팔은 전세계 웹사이트의 상당 비율을 차지할 만큼 발전했고 성장하였다.

또한 지리정보 분야에서는 오래 전부터 자바스크립트 기반 오픈레이어라는 오픈소스 프로젝트가 진행되었다. 구글맵 처럼 온라인 지도 서비스를 제공하는 벤더는 자사의 환경에 맞는 API를 만들어 배포하곤 했다. 이러다 보니 각 사가 만든 API가 호환이 안되는 것은 물론 애써 구축한 지리정보도 공유가 안되는 정보의 고립이 심화되었다. 오픈레이어는 기반이 되는 지도와 지리정보 간의 표준을 정의함으로 벤더간 지리정보 및 지도의 공유를 가능하게 만든 자바스크립트 기반 매쉬업 분야의 비공식 표준이 되었다.

그런데 최근 몇 년 사이 오픈소스 분야의 빅프로젝트 드루팔과 오픈레이어가 손을 잡았다. 오픈레이어가 드루팔 모듈 형태로 컨버젼되어 드루팔 프로젝트에 포함된 것이다. 위에서 언급한 엄청난 고비용 인프라가 요구되는 메시업 프로젝트의 기반 소프트웨어가 모두 무료가 된 것이다. 이를 알고 있는 웹 프로그래머가 얼마나 될까? 매쉬업 프로젝트는 웹프로그래머가 애초에 가능한 영역이라고 생각치도 않았던 주제일 것이다. 하지만 이제는 모두 옛 일이 되버렸다. 멀티 디바이스를 지원하는 HTML5 기반 드루팔8이 한창 개발 중이고 이와 발맞춰 오픈레이어도 빠르게 진화하고 있다.

드루팔은 8버전을 통해 오라클과 MS-SQL을 품고 또 한번의 비상을 준비중이다.
사례 소개1 : 행정 빅데이터와 오픈소스의 만남 - 매쉬업을 통한 정책지도 제작
사례 소개2 : 공공 빅데이터와 오픈소스의 만남 - 창업자를 위한 상업지구 빅데이터 분석 지도 제작

강우경, 성북구청 드루팔과 행정 빅데이터 접목 프로젝트 마을지도 파운더
저서 - 드루팔 빅데이터맵

중앙집중화된 OS 계정(사용자/그룹/machine(host))관리 (LDAP Server : Directory Server) : LDAP 이나 Kerberos를 통한 중앙집중화된 인증 , Accecc Control 관리, HBAC (hostbase Access Control), SSSD (System Security Service Daemon) (페토라17 이상(RHEL 6이상) 와 연동 위 내용을 설명하고 해당 데모를 동영상을 통해서 직접 데모 시연.

송상준, (주)서진디에스에이 1999년 Directory Server 엔지니어로 시작 (netscape directory server 3.1부터) 2000년~현재까지 다수 및 다양한 LDAP Server 컨설팅, 설계, 구축 주요구축 내용 삼성SDS : OpenStack 구축시 계정관련 LDAP컨설팅 SKTelecom : 모바일 인증 부분 LDAP구축 기타 다수 삼성전자 : OS계정 Directory Server로 관리 및 연동개발

정보 기술의 발전은 인류 사회에 커다란 변화를 주고 있다. 과거 오프라인에서 했던 대부분의 사회문화적 활동은 웹으로 대표되는 온라인 가상공간으로 이동하고 있으며, 모바일 기술의 보편화를 통해 점차 오프라인과 통합이 실현되고 있다. 데이터 관점에서 보면, 이런 환경적 변화는 데이터의 디지털화로 요약된다. 개인에서 기업에 이르기까지 단편적인 활동에서 복합적인 네트워크에서 발생하는 모든 정보는 디지털로 표현되고 새로운 가능성을 만들어낸다. 빅데이터로 대표되는 최근의 움직임은 디지털화된 데이터를 통한 새로운 가치와 예측에 초점이 있다. 빅데이터의 시작이 소셜 웹과 모바일웹의 결합을 통해 생겨난 새로운 가치라면, 데이터의 공유는 앞으로 펼쳐진 가치로 생각할 수 있다. 국내뿐만 아니라 세계 각국 정부들이 공공 데이터를 공개하고 있으며, 온라인 웹사이트 또는 서비스도 대규모 데이터를 자유롭게 활용할 수 있도록 개방하고 있다. 향후 다가 올 미래는 더 많은 데이터가 활용 가능해지고, 이를 통해 창의적인 서비스가 우리의 일상 생활에 다가올 것이다. 본 발표는 데이터 관점에서 변화하는 트렌드와 미래를 예측하고, 데이터의 본질적 가치에 대해 소개한다. 빅데이터로 대표되는 데이터 패러다임의 변화와 더불어 새롭게 주목받고 있는 오픈 데이터 그리고 스마트홈, IoT 환경에서 발생하는 스마트 데이터에 대해 소개한다. 삼성전자에서 추진하고 있는 지식 플랫폼 (K#)을 통해 개별적 개념으로 소개되는 데이터에 대한 통합적 관점을 소개하고, 다양한 데모를 시연한다.

김학래, Samsung 삼성전자 책임연구원,
프로젝트 리더, Knowledge Sharing Platform (K#)
이사, 한국데이터사이언스학회
자문위원, 국가오픈데이터포럼 (2013 - 현재), 서울시 정보소통광장 (2013 - 현재)
Open Knowledge Korea 리더 (2012-현재)
Lead Researcher, Open Data Barometer (2013-현재)
Organiser, Korea Semantic Web Conference (2009 - 현재)
Inventor, Korea Data Hub project, Social Semantic Cloud of Tags (SCOT)

삼성전자, Microsoft, 서울대, Technical University of Munich, 카이스트, LINE plus, 그리고 세계 이미지 인식 대회에서 7위를 기록한 한국 스타트업 Cldi Inc. 등이 참여하여 개발하는 large-scale deep learning platform "혼" 에 대해 소개한다.

윤진석, Samsung Creator of Apache Hama, Member of Apache Software Foundation.

전세계적으로 모바일 서비스를 위해 Public Cloud 뿐만 아니라 자체 Cloud를 구축하여 서비스를 제공하는 업체들이 많이 늘어나고 있다. 본 발표에서 는 오픈소스 기반으로 개발한 자체 Cloud Infra에 대하여 소개하고, 성능 및 비용 효율적인 Private Cloud Infra 기술에 대해 발표합니다. 또한, 자체 Cloud Infra를 기반으로 삼성 모바일 단말에 탑재되어 있는 SVoice 서비스 구축 및 운영 경험에 대해 발표합니다.

한영주, Samsung 2012년도에 삼성에 입사한 이후, 소프트웨어센터에서 Cloud 관련 업무를 수행하고 있다. Server, Switch, Firewall, Load Balancer 등 다양한 장비들을 활용하여 Open Source 기반의 자체 Cloud Infra를 개발하였고, 한국과 미국에 수백대 규모 Cloud Infra를 운영중이다. 특히, 자체 Cloud를 기반으로 SVoice 서비스를 위한 Cloud Infra도 운영하여 서비스 중이다

최근 인공지능능 분야의 비약적인 발전을 촉진시킨 Deep Learning 기술을 핀테크에 적용해 주식등의 금융거래를 통해 자동으로 수익을 낼 수 있는 방법, 즉 Magic formula를 찾아 헤멘 근 1년동안의 경험을 소개한다. deep learning과 random forest, support vector machine등 다양한 machine learning algorithm을 적용해보고, python과 pandas 그리고 scikit을 적용하면서 얻었던 지식과 노하우를 공유한다.

안명호, MHR KAIST 소프트웨어 전공 클라우드와 Deep Learning을 주로 연구하고 있으며 다양한 IT 기술에 관심을 가지고 있음.

* MongoDB, 무엇을 생각하며 사용할 것인가?
* MongoDB 활용 Tips

김인범, SK C&C MongoDB Korea 운영진
R Korea 운영진
역서 - MongoDB 완벽가이드 제2판(2014, 공동번역)
저서 – 빅데이터 실무 기술 가이드(2015, 공동저서)