Multimodal Machine Learning: Principles and Challenges

멀티모달 러닝은 다양한 형태의 데이터(예: 텍스트, 이미지, 음성 등)를 통합하여 컴퓨터가 이를 이해하고, 추론하고, 학습할 수 있도록 돕는 인공지능 기술입니다. 멀티모달 러닝의 목표는 다양한 데이터를 연계하여 통합적으로 처리할 수 있는 지능형 컴퓨터 에이전트를 설계하는 것입니다. 여기에서는 멀티모달 러닝의 핵심 원칙과 대표적인 기술적 과제들을 정리해보겠습니다.

멀티모달 러닝의 핵심 원칙

멀티모달 러닝의 기본 원칙은 크게 다음 세 가지로 요약할 수 있습니다.

• 모달리티의 이질성: 서로 다른 데이터 유형(텍스트, 이미지, 소리 등)은 고유한 특성과 구조를 가지며, 이를 잘 반영해야만 최적의 결과를 얻을 수 있습니다.
• 모달리티 간의 연결: 각 모달리티 간의 연관성을 파악하고 연결함으로써 서로 보완적인 정보를 통합합니다.
• 모달리티 간 상호작용: 여러 모달리티가 상호작용하여 새로운 의미를 생성하거나 복합적인 분석을 가능하게 만듭니다.

이 원칙에 기반하여 멀티모달 러닝에서는 표현(Representation), 정렬(Alignment), 추론(Reasoning), 전이(Transference), 생성(Generation), 정량화(Quantification) 6가지 핵심 기술적 과제가 연구되고 있습니다.

 

---

6가지 핵심 기술 과제

1. 표현 (Representation)

멀티모달 러닝에서 표현 기술은 다양한 모달리티, 예를 들어 텍스트, 이미지, 소리 같은 서로 다른 데이터를 하나의 모델에 통합하거나, 교환하거나, 서로 분리하여 활용하는 방법을 다룹니다.

• Representation Fusion(결합): additive, multiplicative, non-linear, complex fusion strategies.
  여러 모달리티의 정보를 결합하여 모달 간 상호작용을 반영하는 방법입니다.
• Representation Coordination(조정): contrastive learning, vector-space models, canonical correlation analysis.
  모달리티 간 정보를 교환하면서 표현 수를 유지하여, 데이터를 더 잘 이해하도록 돕습니다.
•  Representation Fission(분리): factorization, component analysis, clustering.
  데이터 클러스터링이나 인수분해 기법을 통해 데이터의 내부 구조를 반영한 개별 표현을 생성합니다.

2. 정렬 (Alignment)

정렬은 여러 모달리티 간의 요소들을 어떻게 연결하고 정렬할지 연구하는 기술입니다.
예를 들어, 이미지와 텍스트 간의 대응 관계를 찾거나, 연속적인 음성 신호를 시간에 맞춰 정렬하는 방법을 포함합니다.

• Dicrete Alignment(이산 정렬): grounding, optimal transport, distribution matching.
  서로 다른 모달리티 사이에서 요소(단어, 이미지 등)의 연결을 찾는 방법입니다.
• Continuous Alignment(연속 정렬): time warping, CTC, temporal alignment, clustering.
  연속적인 모달리티 신호에서 (ex. 음성, 비디오) 불명확한 구분을 다루며, 시간에 따라 정렬하는 방법입니다.
• Aligned representations: attention models, multimodal transformers.
  모달리티 간의 상호작용을 반영한 더 나은 표현을 학습합니다.

3. 추론 (Reasoning)

추론은 문제를 해결하기 위해 여러 단계를 거쳐 지식을 쌓는 과정입니다. 이를 위해 문제 구조를 모델링하고, 개념을 정의하며, 외부 지식이나 상식을 활용해 논리적이거나 인과적인 추론을 수행합니다.

1. Structure: hierarchical, graphical, temporal, and interactive structure, structure discovery.
   계층적, 그래프적, 시간적, 상호작용 구조를 통해 문제를 모델링합니다.
2. Concepts: dense and neuro-symbolic.
   신경-기호적 개념 정의를 통해 조합 과정의 중간 개념을 도출합니다.
3. Inference: logical and causal inference.
   논리적 및 인과적 추론을 통해 추상적 개념을 이해합니다.
4. Knowledge: external knowledge bases, commonsense reasoning.
   외부 지식 베이스와 상식 추론을 활용해 구조, 개념, 추론 과정을 강화합니다.

4. 생성 (Generation)

생성 기술은 멀티모달 데이터를 요약하거나 번역하고, 여러 모달리티를 동시에 생성해 그 안에서 일관성을 유지하는 것을 목표로 합니다. 예를 들어, 텍스트를 이미지로 번역하거나 여러 데이터를 결합해 새로운 정보를 만들어내는 과정입니다.
Summarization, translation, and creation. Model evaluation and ethical concerns.

1. Summarization: 멀티모달 데이터를 요약하여 중요한 정보만 강조합니다.
2. Translation: 한 모달리티에서 다른 모달리티로 일관성을 유지하면서 번역합니다.
3. Creation: 여러 모달리티를 동시에 생성하고 모달리티 간 일관성을 유지하면서 새로운 정보 생성합니다.

5. 전이 (Transference)

전이는 한 모달리티의 지식을 다른 모달리티로 전이하여 모델 성능을 향상시키는 기술입니다.
Transfer via pre-trained models: pre-trained models, prefix tuning, representation tuning, multitask models.

1. Cross-modal Transfer(모달 간 전이): 모델을 특정 모달리티에 맞춰 적응시켜, 노이즈가 있거나 리소스가 적은 모달리티에 도움을 주는 방법입니다.
2. Co-learning(공동 학습): 여러 모달리티의 정보를 공유하고, 하나의 모달리티에서 다른 모달리티로 지식을 전이하는 방법입니다.
3. Model Instruction(모델 유도): 각 모달리티 별로 독립된 모델을 유지하면서도 모델 간 정보를 전이하는 방법입니다.

6. 정량화 (Quantification)

정량화는 다양한 모달리티 데이터의 차이점과 상호작용을 분석하고, 이를 바탕으로 학습 과정에서 발생하는 문제를 해결하는 방법입니다. 데이터의 편향이나 노이즈를 고려해 모델을 최적화하는 과정도 포함됩니다.

1. Dimension of heterogeneity(이질성 차원): modality importance, dataset biases, social biases, noise topologies and robustness.
   각 모달리티의 중요도를 파악하고 데이터셋의 편향 및 노이즈 등을 분석합니다.
2. Connections and Interaction: interpreting cross-model connections and interactions.
   모달리티 간 연결성과 상호작용을 연구하여 데이터 이해도를 높입니다.
3. Learning and optimization(학습 및 최적화): 멀티모달 학습 과정에서의 최적화를 위한 문제를 해결합니다.

https://cmu-multicomp-lab.github.io/mmml-tutorial/icml2023/

MML Tutorial

 

https://drive.google.com/file/d/1qIYBuYrSW2-e95DL7LndfLFqGkIWFG21/view

ICML2023_Tutorial.pdf