Progress Seminar 2018. 07. 31 선석규.

Presentation on theme: "Progress Seminar 2018. 07. 31 선석규."— Presentation transcript:

1 Progress Seminar 선석규

2 Image Super-resolution
연구 진행 상황 보고 녹내장 진단 (안과 Pf. 박기호) 재난 대응 (응급 의학과 Pf. 신상도) 기타 Image Super-resolution 녹내장 예후예측 시야검사지 판별 망막 intensity 측정 2주전 계획 논문 작업중 Data 범주화 및 Feature selection진행 Classification 진행 망막 영역 segmentation진행 SMICU 사용성 평가 연구 결과 image feature 추출 방향 변경 중 Classification 결과 이용하여 attention-map 추출 망막 영역 segmentation 완료 5차년도 5:5 연결을 위한 Device 제작 중 신경외과 1차 미팅 7/4(수) 11am 2차 미팅 7/25(수) 문제점 및 대책 목표 및 계획 Device제작

3  MCI라는 state에서 알츠하이머로 변할지 안할지 예측
EMBC - 내용정리 A Multi-modal CNN for Predicting of MCI-to-Alzheimer’s Disease Conversion 연구 목표  MCI라는 state에서 알츠하이머로 변할지 안할지 예측

4 Method -Network 전체 구조  CNN을 이용해 feature을 추출하고, clinical feature랑 합쳐서 알츠하이머로 변할지 예측  Feature 추출 시 Multi-Task Learning 이용

5 Multi-Task learning Label을 민들레 vs 튤립 and 노란색 꽃 vs 빨간색 꽃  색깔로 label을 해주고 같이 training 시키면 민들레 vs 튤립 classifier의 성능이 올라감  색깔에 대한 feature을 주어 regularization 역할을 하기 때문  두개의 loss function을 더하여 optimize  데이터가 부족한 경우 overfitting을 막을 수 있다고 함.

6 Multi-Task learning 이연구에서는 label을 pMCI(progressive) vs sMCI(stable) and 알츠하이머 vs정상으로 줌  성능 향상  EMBC에서는 multi-task를 이용한 연구들이 많았음.(segmentation에도 응용)

7 피부암 classification을 Convolution과 maxpooling까지는 공유하고, 뒤에 네트워크를 변형 시켜 classification& segmentation을 동시에 하는 네트워크  segmentation과 classification을 진행하는데 있어서 feature extraction 하는 convolution 까지는 관련이 있다 라고 주장  training방법에 대해 질문했으나, 제대로 답하지 못함  arixv에 올린 논문 파일도 보았으나, training을 어떻게 했는지 나오지 않음.

8 DenseNets을 이용한 혈관 segmentation
기존의 segmentation method 중 최고였던 U-Net 과 비교하여 좋은 성능을 냈다고 함.  U-Net처럼 대칭구조의 feature map을 붙여오는 것 뿐만 아니라 series로도 feature map을 concat하는 DenseNet의 아이디어를 segmentation에 적용

9 CT 이미지를 이용한 X-ray의 Bone Supression
EMBC - 내용정리 CT 이미지를 이용한 X-ray의 Bone Supression 기존 방법 Dual-band energy band X-ray 이용해 Soft tissue X-ray와 hard tissue X-ray 추출 CNN Training 이 그룹의 방법 CT이미지에서 뼈를 제거한 후 X-ray이미지로 변경 CNN training

10 망막 intensity 측정 – Layer segmentation
 녹내장 환자의 경우 노란색 영역의 밝기가 어두움  현재는 crop 후 매뉴얼로 작은 박스 생성 후 빨간색(reference)와 노란색의 밝기 비교(사진마다 intensity가 다르기 때문)  고전적인 방법 시도 후 불가능 할 시 Deep learning으로 구함

11 망막 intensity 측정 – Layer segmentation
<원본> Reference선(붉은 영역)이 찾기가 힘듦 평균과 std값을 이용하여 intensity normalize 후 Segmentation 노란영역의 intensity 계산

12 망막 intensity 측정 - method
562 234 Center추출 후, Center를 중심으로 이미지 크기의 세로 0.59 가로 0.74 만큼의 roi를 추출함(234x562) 메뉴얼로 진행 했던 부분(참고논문)의 박스 크기를 참고해, roi영역의 박스 크기 구함

13 ROI 박스 회전 a b 562 b-a threshold

14 ROI 박스 회전 a b 562 b-a

15 불필요한 영역 제거 제거 할 부분 Threshold 적용 Threshold 적용 (180~255)사이의 값들만 255로 만듦
센터를 중심으로 관심영역을 제외한 영역을 모두 검은 색으로 칠해야 함.

16 불필요한 영역 제거 1. Center 좌표 추출 2. center 좌표에서 좌우로 출발해 구조물이 있으면, 구조물 위를 0으로 채움 구조물이 없다면, center위를 전부다 0으로 채움

17 중점 제거 구한 중점을 기준으로 20x20박스를 만들어 0으로 채움

18 망막 영역 추출 X 원본 mask 위에서 구한 망막 영역의 mask를 원본 이미지에 곱함  망막 영역이 추출됨

19 Intensity 계산 이미지의 세로에서 내려오면서 intensity의 peak 값을 각각 계산함.
 모든 이미지는 이미지의 평균과 std 값을 이용해 normalize하였으므로, 상대적인 밝기 비교가 가능함.(normalize 부분은 아직 미구현)