Adaptive Parameter Optimization for Reinforcement Learning-Based Spark Job Scheduling
Sparad:
| I publikationen: | PQDT - Global (2025) |
|---|---|
| Huvudupphov: | |
| Utgiven: |
ProQuest Dissertations & Theses
|
| Ämnen: | |
| Länkar: | Citation/Abstract Full Text - PDF Full text outside of ProQuest |
| Taggar: |
Inga taggar, Lägg till första taggen!
|
| Abstrakt: | This study presents an investigation on adaptive parameter optimization techniques for Reinforcement Learning-based Apache Spark job scheduling. Traditional Reinforcement Learning-based scheduling approaches suffer from the limitations of fixed hyperparameter configurations, requiring extensive manual tuning and often failing to adapt optimally to diverse workload characteristics. The research develops and evaluates adaptive mechanisms that enhance Proximal Policy Optimization (PPO) effectiveness through dynamic parameter adjustment. Four adaptive approaches are proposed: adaptive clipping that dynamically adjusts policy update constraints based on Kullback-Leibler divergence feedback, adaptive learning rate mechanisms that modulate optimization step sizes according to training progress, a combined approach leveraging both techniques simultaneously, and enhanced Generalized Advantage Estimation for improved value function approximation.The experimental evaluation is conducted within a comprehensive discrete-event simulator that accurately models Apache Spark execution semantics. The proposed mechanisms are tested using Transaction Processing Performance Council - High Performance (TPC-H) workloads across multiple random seeds to ensure statistical rigor and reproducibility. The adaptive mechanisms are formulated under the assumptions of policy gradient optimization theory and incorporate feedback-based parameter adjustment strategies. Sample problems are considered, and the solutions obtained for adaptive mechanisms are compared with those achieved by baseline implementation. The results reveal that, with proper adaptive parameter adjustment, the proposed mechanisms may become advantageous over traditional fixed-parameter approaches in terms of convergence stability, exploration effectiveness, and optimization quality. Bu çalışma, pekiştirmeli öğrenme tabanlı Apache Spark iş zamanlaması için uyarlanabilir parametre optimizasyon teknikleri üzerine bir araştırma sunmaktadır. Geleneksel pekiştirmeli öğrenme tabanlı zamanlama yaklaşımları, sabit hiperparametre konfigürasyonlarının sınırlılıklarından muzdarip olup, kapsamlı manuel ayarlama gerektirmekte ve çeşitli iş yükü özelliklerine optimal şekilde uyum sağlayamamaktadır. Araştırma, dinamik parametre ayarlaması yoluyla Proximal Policy Optimization (PPO) etkinliğini artıran uyarlanabilir mekanizmaları geliştirmekte ve değerlendirmektedir. Dört yenilikçi uyarlanabilir yaklaşım önerilmektedir: KL uzaklığı geri bildirimini temel alan dinamik politika güncelleme kısıtlarını ayarlayan uyarlanabilir kırpma, eğitim ilerlemesine göre optimizasyon adım boyutlarını modüle eden uyarlanabilir öğrenme oranı mekanizmaları, her iki tekniği eş zamanlı olarak kullanan birleşik yaklaşım, ve geliştirilmiş değer fonksiyonu yaklaşımı için Genelleştirilmiş Avantaj Tahmini. Deneysel değerlendirme, Apache Spark yürütme semantiğini doğru şekilde modelleyen kapsamlı bir olay-tabanlı simülatör içinde gerçekleştirilmektedir. Önerilen mekanizmalar, istatistiksel sağlamlık ve tekrarlanabilirlik sağlamak için çoklu rastgele tohum kullanılarak TPC-H iş yükleri ile test edilmektedir. Uyarlanabilir mekanizmalar, politika gradyan optimizasyon teorisi varsayımları altında formüle edilmekte ve geri bildirim tabanlı parametre ayarlama stratejilerini içermektedir. Örnek problemler ele alınmakta ve uyarlanabilir mekanizmalar için elde edilen çözümler temel uygulama ile karşılaştırılmaktadır. Sonuçlar, uygun uyarlanabilir parametre ayarlaması ile önerilen mekanizmaların yakınsama kararlılığı, keşif etkinliği ve optimizasyon kalitesi açısından geleneksel sabit parametre yaklaşımlarına göre avantajlı hale gelebileceğini ortaya koymaktadır. |
|---|---|
| ISBN: | 9798297632325 |
| Källa: | ProQuest Dissertations & Theses Global |