LOD(Linked Open Data) Part 2 주식회사 리스트 대표이사 오원석
목차 LOD 구축 Linked Data 4 Principles & 5 Star 관련도구 LOD 사례
1. LOD 구축 LOD 구축 Linked Data 4 Principles & 5 Star 관련도구 LOD 사례
General Architecture … Mashup Browsing Search … 6. Linked Data 서비스 구현 1. 온톨로지 설계 5. 추론 4. 온톨로지(트리플) 저장 관리 온톨로지 변환 규칙 개념 모델 (온톨로지) 3. 온톨로지(트리플) 변환 Member Paper Patent … 2. 온톨로지(트리플) 변환 매핑 설계
How to LOD Publish : Modeling DB (ERD) Ontology Model Modeling
How to LOD Publish : DB2RDF : Triple Converting 변환 규칙 수집 규칙 DB2RDF 트리플(Linked Data) 변환 (인스턴스 생성) 트리플 저장소에 저장
LOD Service & Publishing Architecture Visualization REST API Searching Application Layer (Linked Data Service) HTML Browsing RDF Browsing SPARQL Endpoint HTTP Servlet Container (Tomcat) Pubby A Linked Data Frontend for SPARQL Endpoints Client API for Triple Store W3C Semantic Web Standards & SKOS, FOAF, FRBR, … Triple Store RDF Layer Converting Layer (OntoTrans2.0) DB Collecter RDB to RDF Mapper Triple Generater DB
Web Server / Servlet Container SPARQL Endpoint 웹 브라우저 어플리케이션 HTML, RDF, XML,CSV, .. SPARQL HTML, RDF, XML, CSV, .. SPARQL SPARQL Endpoint Web Server / Servlet Container RDF Triple 트리플(Linked Data) 저장소
SPARQL Endpoint for Human & for Machine 4월에 꽃이 피는 식물은? html rdf json
SPARQL Endpoint for Human & for Machine html rdf 사이트 이용자 json 개발자
Publishing
OpenAPI의 활용 질의 구성 SPARQL Endpoint OpenAPI 생성
Content Negotiation http://wildlife.linkeddata.kr/resource/Aegypius_monachus http://wildlife.linkeddata.kr/page/Aegypius_monachus http://wildlife.linkeddata.kr/data/Aegypius_monachus
LOD Architecture Managing RDF Store (Triple Store) RDF Converting (DB2RDF) RAW DATA (원시 메타데이터) LOD Publishing Environment Search Engine HTML Browser Linked Data Clients ADM Model Triple Interlinking HTML RDF Managing Indexing Collecting Converting
2. Linked Data 4 Principles & 5 Star LOD 구축 Linked Data 4 Principles & 5 Star 관련도구 LOD 사례
Linked Data 5 Star http://lab.linkeddata.deri.ie/2010/star-scheme-by-example/
Linked Data 4 Principles 1. Use URIs as names for things 2. Use HTTP URIs so that people can look up those names 3. When someone looks up a URI, provide useful RDF Information 4. Include RDF statements that link to other URIs so that they can discover related things Tim Berners-Lee 2007 http://www.w3.org/DesignIssues/LinkedData.html HTTP URI RDF
Linked Data 4 Principles : Example
Linked Data 4 Principles : 1 http://lod.nl.go.kr/resource/KMO200937463 http://lod.nl.go.kr/resource/KMO200937463 1. Use URIs as names for things http://lod.nl.go.kr/resource/KMO200937463
Linked Data 4 Principles : 2 http://lod.nl.go.kr/resource/KMO200937463 2. Use HTTP URIs so that people can look up those names http://lod.nl.go.kr/resource/KMO200937463
Linked Data 4 Principles : 3 http://lod.nl.go.kr/resource/KMO200937463 3. When someone looks up a URI, provide useful RDF Information
Linked Data 4 Principles : 4 http://lod.nl.go.kr/resource/KMO200937463 4. Include RDF statements that link to other URIs so that they can discover related things
URI RDF SPARQL HTTP URI, RDF, SPARQL, HTTP 로 식별하고, Linking 하고, 로 표현하고, 로 질의하고, 로 유통하고,
Example HongGilDong [residences] Seoul [sameAs] http://dbpedia.org/ resource/Seoul [researches] [age] SemanticWeb [name] [sameAs] [sameAs] Hong, Gil Dong 35 http://dbpedia.org/ resource/Semantic_Web http://sws.geonames.org/1835848/ [hasPhotoCollection] [nearbyFeatures] http://www4.wiwiss.fu-berlin.de/flickrwrappr/ photos/Semantic_Web http://sws.geonames.org/1835848/nearby.rdf
3. 관련 도구 LOD 구축 Linked Data 4 Principles & 5 Star 관련도구 LOD 사례
온톨로지 설계 도구
Total Solution 기존의 온톨로지 레파지토리 시스템 중심의 OpenLink 통합 솔루션 다양한 RDBMS, ODBMS, File Server의 데이터 뿐만 아니 라 텍스트, XML, HTML 데이터를 하나로 통합하는 미들웨 어 DBPedia, MusicBrainz, Bio2RDF 등의 Linked Data 프로 젝트에 활용 현재 세계에서 가장 주목 받고 있는 Linked Data 솔루션 중 의 하나 영국 Talis사의 통합 솔루션 영국의 data.gov.uk, ordnancesurvey와 BBC Music 서비 스 구축에 도입 구조적, 비구조적 데이터의 RDF 변환 기능 제공 SPARQL Endpoint 등의 Cloud 기반 Linked Data 호스팅 서비스 기능 제공 영국의 data.gov.uk 등과 함께 현재 세계에서 가장 주목 받 고 있는 Linked Data 솔루션 중의 하나
Total Solution 독일 Ontotext사의 LDSR(Linked Data Semantic Repository) LOD 데이터 셋 중 생명공학 분야데이터 셋 40억개의 Linked Data 서비스를 제공하는 linkedlifedata 서비스 구 축에 도입 오픈소스 Sesame 구조 위에 SAIL 추론 계층 등을 두어 솔루 션 제공 추론 지원정도나 대용량 지원 정도에 따라 OWLIM-Lite, OWLIM-SE, OWLIM-Enterprise로 구분 D2R Server는 베를린 대학의 오픈소스 프로젝트로 주로 Linked Data의 허브 역할을 하는 것으로 다양한 원천 데이 터로 부터 트리플을 생성, 변환해주는 기능 제공 – DBPedia, BBC Worldcup 등에서 활용 AllegroGraph는 미국 Franz사의 Linked Data 구축을 지 원하는 대용량 트리플 스토어 OntoBase2.0은 주식회사 리스트의 Linked Data 서비스 구 축에 최적화된 대용량 트리플 스토어
Vocabulary : SKOS DBpedia에서의 SKOS 활용 예시 SKOS로 표현된 World Wide Web 시소러스, 택사노미, 분류체계와 주제명 같은 지식어휘체계를 웹에 표현하기 위한 RDF 용어집(vocabulary) Enterprise 환경의 표준 용어 관리나, Linked Data 서비스에서 개체들을 표현하기 위한 용어들간의 관계 표현에 주로 활용 미국 의회도서관의 LCSH 등과 함께 Linked Data를 위한 거의 모든 RDF에서 활용되고 있음 W3C는 Linked Data 데이터 셋에서 용어간의 관계 표현과 함께 기존의 택사노미, 시소러스, 분류체계 등을 Linked Data로 발행하고자 할 경우 SKOS를 사용할 것을 권고하고 있음 DBpedia에서의 SKOS 활용 예시 SKOS로 표현된 World Wide Web
Vocabulary : FOAF FOAF를 이용한 Social Network의 통합 사람간의 관계 기술을 위한 RDF 기반의 명세 용어집(vocabulary) RDF 구문을 기반으로 하고 있으며, 그룹(group)에 소속되어 있는 개인(person), 조직(organization)에 의해 생성된 문서 (document), 한 개인과 연결된 다른 개인의 연결 등의 처리에 활용 FOAF-a-matic 과 같은 간단한 어플리케이션을 통해 누구라도 손쉽게 자신의 FOAF를 만들 수 있음 FOAF를 이용한 Social Network의 통합 (Sheila Kinsella, Applications of Social Network Analysis 2007)
Vocabulary : Dublin Core 기본적인 메타데이터의 속성을 표현하기 위한 용어집 동영상, 소리, 이미지, 텍스트, 웹 페이지 등의 디지털 매체들을 기술하는 데 널리 사용되며, XML과 RDF를 사용하여 구현되 어 있음 데이터의 형식과 구조를 단순화하여 원문의 저자나 발행자가 메타데이터를 직접 작성하고, 이를 바탕으로 특정분야에서 요구 되는 수준으로 확장하여 사용할 수 있도록 하는 것이 Dublin Core의 목적 Drupal에서의 Dublin Core 예시 Dublin Core 메타데이터 요소
4. LOD 사례 LOD 구축 Linked Data 4 Principles & 5 Star 관련도구 LOD 사례
LOD Cloud User Generated Content Media Publications Government Geographic Life Sciences Cross-Domain http://www.slideshare.net/lysander07/13-semantic-web-technologies-linked-data-semantic-search
User-generated content LOD 통계 Domain Number of datasets Triples % (Out-)Links Media 25 1,841,852,061 5.82 % 50,440,705 10.01 % Geographic 31 6,145,532,484 19.43 % 35,812,328 7.11 % Government 49 13,315,009,400 42.09 % 19,343,519 3.84 % Publications 87 2,950,720,693 9.33 % 139,925,218 27.76 % Cross-domain 41 4,184,635,715 13.23 % 63,183,065 12.54 % Life sciences 3,036,336,004 9.60 % 191,844,090 38.06 % User-generated content 20 134,127,413 0.42 % 3,449,143 0.68 % 295 31,634,213,770 503,998,829 http://lod-cloud.net/state/
Using SPARQL Endpoints provided by TSO http://data.gov.uk/linked-data Using SPARQL Endpoints provided by TSO
http://data.gov.uk/linked-data
http://data.gov.uk/linked-data $stop <http://transport.data.gov.uk/id/stop-point/2800S40063G>
http://data.gov.uk/linked-data http://transport.data.gov.uk/id/stop-point/2800S40063G
http://data.gov.uk/linked-data http://transport.data.gov.uk/id/stop-point/2800S40063G
MusicBrainz LinkedBrainz
iMDB LinkedMovie 구조 모델 설계 (온톨로지) http://moviedata.kr
BBC Music
BBC Music
BBC Music Artist profile - bbc.co.uk/music/artists/:guid Artist profile - data from MusicBrainz Artist profile - biography extract from Wikipedia Artist profile - content from the BBC
BBC Programmes
WorldCat
WorldCat
VIAF 목적 주요 기관 전거 데이터의 공유 증진 목록 비용 절감 국제적인 전거 통제 OCLC – host Library of Congress(LC) Deutsche Nationalbibliothek (DNB) Bibliothèque nationale de France (BnF)
VIAF : 이외수 http://viaf.org/viaf/28620430/
VIAF : 이외수 http://viaf.org/viaf/28620430/viaf.xml
DBpedia a project aiming to extract structured content from the information created as part of the Wikipedia project as of September 2011, more than 3.64 million things, more than 6.5 million interlinks, and over 1 billion pieces of information (RDF triples)
Freebase a large collaborative knowledge base consisting of metadata composed mainly by its community members as of May 2012, approximately 22 million topics
GeoNames a geographical database available and accessible through various web services, under a Creative Commons attribution license over 10,000,000 geographical names corresponding to over 7,500,000 unique features
Life Science : LinkedLifeData Linked Life Data Platform 다양한 이형의 데이터셋을 통합하기 위한 데이터 통합 플랫폼 의학, 생명공학 분야의 데이터베이스를 RDF화 다양한 데이터셋 간의 의미적 연계(semantically linking) HTTP 프로토콜을 통해 데이터를 접근할 수 있도록 공개 목적 서로 다른 이형의 데이터의 정보들을 서로 연결(interlinking)함으로써 시맨틱 웹 기술의 잠재적 능력을 보여주고 연구하고자 하는 과학적 문제를 해결하기 위한 전체적인 view를 제공
Life Science : Bio2RDF Biological knowledge discovery를 위한 데이터 통합 플랫폼 silos한 Biological 데이터를 linked data로 구축하여 서비스
IBM Watson : Deep QA question knowledge classification & back-ends YAGO knowledge back-ends question classification & decomposition D. Ferrucci et al.: Building Watson: An Overview of the DeepQA Project. AI Magazine, Fall 2010.
Google – Knowledge Graph
http://wildlife.linkeddata.kr/ http://lod.nature.go.kr 로 변경 중 국내 : 생물정보 LOD http://wildlife.linkeddata.kr/ http://lod.nature.go.kr 로 변경 중
국내 : 한국사 LOD http://lod.koreahistory.or.kr
국내 : 국가 서지 LOD http://lod.nl.go.kr
국내 : 국가 서지 LOD
국내 : 국가 서지 LOD
국내 : KDATA (공공데이터를 활용한 LOD) http://kdata.kr
주소데이터 : http://jusodata.kr 안전행정부의 도로명 새주소를 LOD 형식으로 제공하는 서비스 새주소, 구주소(지번) 변환 제공 좌표 정보 제공 Linked Open Data 형식의 발행 및 서비스 http://jusodata.kr
감사합니다. 주식회사 리스트 대표이사 : http://li-st.com 대한민국 대표 LOD KDATA Founder : http://kdata.kr 새주소 기반 Linked Open Data-주소데이터 Founder : http://jusodata.kr codalida@gmail.com , ceo@li-st.com