티스토리 뷰
복잡한 데이터 세트를 기반으로 정확한 의사 결정을 내릴 때 심층 신경망 이 매우 유용하다는 것은 분명합니다. 그러나 그들은 당신이 받아들이거나 극복하려고 노력해야 하는 몇 가지 중요한 도전과 한계를 가지고 있습니다. 일부는 일반적입니다. 많은 중앙 딥 러닝 모델 및 기술의 수학적 및 이론적 토대 가 부족하여 한 모델을 다른 모델보다 더 좋게 만드는 것이 무엇인지 정확히 결정하는 데 따른 어려움에서부터 최대화 및 기술적 이점의 확산 그리고 엄청난 양의 과대광고와 흥분과 관련된 문제 다른 것들은 더 도메인에 따라 다릅니다. 객체 인식 및 지역화와 같은 표준 컴퓨터 비전 작업을 위한 딥 러닝에서 강력한 모델과 일련의 모범 사례가 지난 몇 년 동안 개발되었습니다. 개발 속도는 여전히 엄청나게 높지만, 적어도 순간적으로는 해결되는 것 같습니다. ResNet 및 SENet과 같은 아이디어에 따라 배치된 위에 설명된 기본 구성 요소를 사용하면 2차원 물체 감지, 이미지 분류 및 분할 작업에서 최신 성능에 가까운 결과를 쉽게 얻을 수 있습니다. 그러나 의료 영상의 딥 러닝에 대한 이야기는 그다지 정착되지 않았습니다. 한 가지 문제는 의료 영상이 종종 3차원이고 3차원 컨볼 루션 신경망 이 2D 대응 물만큼 잘 발달되어 있다는 것입니다. 고차원 이미지 데이터와 함께 CNN을 사용할 때 메모리 및 컴퓨팅 소비와 관련된 문제, 연구원들이 다양한 접근 방식을 시도하는 문제 (3D를 2D 스택으로 처리, 패치 또는 세그먼트 기반 교육 및 추론, 축소, 기타.). 최첨단 2차원 CNN이면의 아이디어는 3차원으로 끌어올릴 수 있을 뿐만 아니라 세 번째 공간 차원을 추가하는 것도 분명합니다. 추가 제약이 발생합니다. 다른 중요한 과제는 아래에서 설명하는 것처럼 데이터, 신뢰, 해석 가능성, 워크 플로 통합 및 규정과 관련이 있습니다. 데이터 이것은 특히 의료 데이터 분석에서 심층 신경망에 매우 중요한 장애물입니다. 심층 신경망 또는 기타 기계 학습 모델을 배포할 때 데이터 액세스, 개인 정보 문제, 데이터 보호 등과 관련된 문제에 즉시 직면하게 됩니다. 의료 데이터를 다룰 때 프라이버시 및 데이터 보호가 종종 요구 사항이므로 모델 사용자에게 기본 교육 데이터를 노출하지 않고 모델을 교육하기 위한 새로운 기술이 필요합니다. 모델 자체를 사용하여 학습 세트에 대한 세부 사항을 발견하기 쉽기 때문에 모델을 구성하는 데 사용되는 학습 세트에 대한 액세스를 제한하는 것만으로는 충분하지 않습니다. 모델을 숨기고 예측 인터페이스 만 노출하더라도 예를 들어 모델 반전 및 멤버십 공격의 형태로 공격에 노출될 수 있습니다. 의료 데이터 분석을 위한 딥 러닝에 대한 가장 최근 작업은 공개된 익명 데이터 세트를 사용합니다.) 또는 로컬에서 수집 한 익명화 된 연구 데이터로 인해 이러한 문제의 관련성이 떨어집니다. 그러나 일반적인 딥 러닝 커뮤니티는 프라이버시 문제에 많은 관심을 기울이고 있으며 연합 학습 및 차등 프라이버시에 대한 새로운 기술과 프레임 워크 가 빠르게 개선되고 있습니다. 같이 의료 기계 학습 커뮤니티에 진입하는 이러한 아이디어의 몇 가지 예가 있습니다. 여러 의료기관 간의 딥 러닝 모델 분포를 조사했지만 위의 개인 정보 문제를 고려하지 않았습니다. 의학 분야의 기계 학습 시스템이 더 큰 규모로 성장함에 따라 아마도 "가장자리"에서의 계산 및 학습을 포함하여 연합 학습 및 차등 개인 정보 보호가 우리 커뮤니티에서 많은 연구의 초점이 될 것입니다. 이러한 장애물을 극복할 수 있다면 심층 신경망의 학습 데이터에 대한 만족할 줄 모르는 욕구에 직면하게 될 것입니다. 이러한 모델은 매우 비효율적이며 원격으로 유용한 데이터를 생성하기 전에 많은 수의 학습 샘플이 필요하며 레이블이 지정된 학습 데이터는 일반적으로 비용이 많이 들고 생성하기 어렵습니다. 또한 훈련 데이터는 네트워크가 미래에 만날 데이터를 대표해야 합니다. 훈련 샘플이 실제 세계에서 만난 것과 매우 다른 데이터 분포에서 추출된 경우 네트워크의 일반화 성능이 예상보다 낮습니다. 참조이 문제에 대한 최근 탐구를 위해. 연구를 할 때 일반적으로 사용하는 고품질 이미지와 실제 임상 세계의 지저분함 사이의 큰 차이를 고려할 때 이는 딥 러닝 시스템을 프로덕션에 적용할 때 큰 장애물이 될 수 있습니다. 다행히도 이러한 문제를 다소 완화할 수 있는 방법이 있습니다. 널리 사용되는 기술은 미세 조정 또는 사전 훈련이라고도 하는 전이 학습입니다. 먼저 데이터가 풍부한 작업을 수행하도록 네트워크를 훈련 한 다음이 네트워크에서 해당 작업을 위해 설계된 네트워크로 가중치를 복사합니다. 손에. 2차원 이미지의 경우 거의 항상 ImageNet 데이터 세트에 대해 사전 훈련된 네트워크를 사용합니다. 이 데이터 세트에서 찾은 신경망의 초기 계층에 있는 기본 기능은 일반적으로 다른 이미지 관련 작업에서 유용성을 유지합니다 (또는 적어도 임의 초기화 보다 더 나은 시작점을 형성합니다.) 가중치의 대체). 더 큰 훈련 데이터 세트에서 조정된 가중치에서 시작하면 네트워크를 더 강력하게 만들 수도 있습니다. 이후 계층에서 훈련하는 동안 가중치 업데이트에 집중하면 전체 네트워크에서 중요한 업데이트를 수행하는 것보다 적은 데이터가 필요합니다. 또한 우리가 신장 분할에 사용한 아이디어 인 3D로 장기 간 전이 학습을 수행할 수 있습니다. 여기서 뇌 분할을 수행하기 위해 네트워크를 사전 훈련하면 좋은 분할 성능을 달성하는 데 필요한 주석이 달린 신장의 수가 감소했습니다. 사전 훈련 네트워크의 개념은 이미지에만 국한되지 않습니다. 전체 모델 사전 훈련은 최근 자연어 처리 시스템의 성능에 큰 영향을 미치는 것으로 입증되었습니다. 또 널리 사용되고 있는 기술이다 보강 회전, 스케일링 및 해부학 사운드 같은 이미지 또는 고급 데이터 보강 기법의 강도 변화와 같이 라벨을 유지하는 다양한 변환을 적용하여 훈련 데이터 세트를 변형 (예를 들어, 또는 다른 데이터 세트의 특정 운영 DCE-MRI의 신장 분할 작업에서 이미지 등록을 사용하여 이미지의 시간 과정을 통해 라벨을 전파했습니다). 같이 데이터 합성 은 또 다른 흥미로운 접근 방식입니다. 간단히 말해서, 전문 어니 테이터는 비용이 많이 들거나 단순히 사용할 수 없기 때문에 레이블이 지정된 교육 데이터 세트를 확장하기 위해 대량의 계산 리소스를 소비하는 것이 일반적으로 가치가 있습니다. 예를 들어 전이 학습을 통해 간접적으로 또는 데이터 증가를 통해 직접적으로 수행할 수 있습니다. 그러나 무엇을 하든 현재의 심층 신경망이 구성되고 훈련되는 방식은 상당한 데이터 크기 요구 사항을 초래합니다. 예를 들어 , 관점 불변성을 추가하는 캡슐 시스템 에서와 같이 신경망 구조에서 더 많은 도메인 특정 요소를 인코딩하여 더 데이터 효율적인 심층 신경망을 구성하는 새로운 방법이 있습니다. 또한 추가할 수 있습니다 신경망에 대한 주의 메커니즘 각 계층 입력의 가장 유익한 구성 요소에 자원을 집중할 수 있습니다. 그러나 가장 자주 사용되는 네트워크는 최상의 원시 성능을 제공하며 데이터를 많이 사용하는 표준 심층 신경망입니다.