MixMAS: A Framework for Sampling-Based Mixer Architecture Search for Multimodal Fusion and Learning

সংরক্ষণ করুন:
গ্রন্থ-পঞ্জীর বিবরন
প্রকাশিত:arXiv.org (Dec 24, 2024), p. n/a
প্রধান লেখক: Chergui, Abdelmadjid
অন্যান্য লেখক: Bezirganyan, Grigor, Sellami, Sana, Berti-Équille, Laure, Fournier, Sébastien
প্রকাশিত:
Cornell University Library, arXiv.org
বিষয়গুলি:
অনলাইন ব্যবহার করুন:Citation/Abstract
Full text outside of ProQuest
ট্যাগগুলো: ট্যাগ যুক্ত করুন
কোনো ট্যাগ নেই, প্রথমজন হিসাবে ট্যাগ করুন!
বিবরন
সার সংক্ষেপ:Choosing a suitable deep learning architecture for multimodal data fusion is a challenging task, as it requires the effective integration and processing of diverse data types, each with distinct structures and characteristics. In this paper, we introduce MixMAS, a novel framework for sampling-based mixer architecture search tailored to multimodal learning. Our approach automatically selects the optimal MLP-based architecture for a given multimodal machine learning (MML) task. Specifically, MixMAS utilizes a sampling-based micro-benchmarking strategy to explore various combinations of modality-specific encoders, fusion functions, and fusion networks, systematically identifying the architecture that best meets the task's performance metrics.
আইএসএসএন:2331-8422
সম্পদ:Engineering Database