ارائه عناصر و روش‌شناسی یادگیری تقویتی اعتباربخشی بیمارستان بر اساس مدل مفهومی عامل‌بنیان

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری مدیریت فناوری اطلاعات، دانشگاه آزاد اسلامی، واحد تهران مرکزی، تهران، ایران.

2 دانشیار، گروه مدیریت صنعتی، دانشگاه آزاد اسلامی، واحد تهران مرکزی، تهران، ایران.

3 استاد، گروه مدیریت صنعتی، دانشگاه آزاد اسلامی، واحد علوم و تحقیقات تهران، تهران، ایران.

4 استادیار، گروه مدیریت فناوری اطلاعات، دانشگاه آزاد اسلامی، واحد تهران مرکزی، تهران، ایران.

چکیده

مقدمه: هدف از انجام این مطالعه، ارائه عناصر و روش‌­شناسی مدل یادگیری تقویتی منطبق بر مدل مفهومی عامل­‌بنیان اعتباربخشی بیمارستانی در ایران است. عناصر و روش­‌شناسی مدل یادشده، زیربنای مطالعاتی مطلوبی برای ایجاد سیستم هوشمند و چندعاملی اعتباربخشی بیمارستانی و روندهای شبیه­‌سازی محیط در جهت ارائه رهنمودهای بهره‌­ورانه به کارگزاران و سیاست­‌گذاران مربوطه ایجاد خواهد کرد. این مطالعه در نظر دارد تا پاسخ مناسبی به پرسش‌­های اصلی پژوهش که در آن ابهامات مربوط به عناصر یادگیری تقویتی و چگونگی انتخاب روش­‌شناسی یادگیری تقویتی در یک سیستم چندعاملی از نوع سیستم­‌های اجتماعی ـ فنی وجود دارد، ارائه کند.
روش‌­ها‌: به­‌منظور گردآوری داده‌­های موردنیاز برای شناخت عناصر و شناسایی فرایندهای اعتباربخشی بیمارستانی، عامل­‌ها، محیط و تعامل بین آن‌ها، از روش مرور سیستماتیک منابع، بررسی مستندات علمی و مصاحبه‌­های نیمه‌­ساخت­‌یافته، از طریق خبرگان، به‌­صورت حضوری بهره گرفته شد. مصاحبه­‌شوندگان از میان اعضای هیئت‌علمی، مدیران بیمارستان و مسئولان بهبود کیفیت بیمارستان­‌ها انتخاب شدند. جمع‌­بندی مصاحبه‌­ها با استفاده از روش‌­های مبتنی بر داده­‌بنیاد، رویکرد ترتیبی و سیستماتیک، صورت گرفت. منابع جمع­‌آوری ویژگی­‌های فرایند یادگیری ماشین با استفاده از روش مرور سیستماتیک از مستند «راهنمای اعتباربخشی 1401» بوده است. روند انتخاب ویژگی­‌های یادشده از طریق انتخاب صحیح از ویژگی­‌های خروجی مدل که همان کنش‌­های عامل است، صورت گرفت. فهرست کنش‌­های عامل بر اساس طبقه­‌بندی ساختار درختی از محتوای مفهومی مستند فوق‌­الذکر به‌صورت یک درخت عمومی غیردودویی استخراج شد.
یافته­‌ها: مدل یادگیری تقویتی استخراج‌شده درصدد یافتن زنجیره‌­های بهینه از کنش­‌های عملیاتی در شرایطی که داده‌­های کمی موجود است، خواهد بود. مهم­‌ترین عناصر مدل یادشده عبارت‌اند از:

مجموعه حالات: مجموعه عوامل اعتباربخشی بیمارستانی مانند متغیرهای ورودی، متغیرهای خروجی، شاخص‌­ها، پارامترها، اعداد ثابت مربوط به سنجه‌­های هر عامل مفهومی در مستند «راهنمای اعتباربخشی 1401»؛
مجموعه کنش‌­ها: کنش‌­های عامل‌های هوشمند؛ در هر اپیزود یادگیری تقویتی، مسیرهایی از درخت دودویی خوشه­‌بندی سلسله‌مراتبی‌­شده اقدامات عملیاتی قابل­‌انجام در بیمارستان و به‌­ازای مجموعه ویژگی­‌های حالت هستند؛
تابع پاداش: «کسب بالاترین امتیاز ممکن در نظام رتبه­‌بندی بیمارستانی با انجام کمترین تعداد کنش و اقدام لازم» است؛
تابع سیاست: بر اساس فرایند یادگیری هر عامل، مبتنی بر یک شبکه عصبی عمیق DQN و الگوریتم کاهش گرادیان است؛
عامل‌های عملیاتی: هدف عملیاتی هر یک از عامل‌های مفهومی؛ «حداکثرکردن امتیازات اعتباربخشی سنجه‌­های حوزه مربوط به خود با توصیه کمترین اقدامات» است.
چرخه کلی مدل: در این ساختار هر کدام از عامل‌های هوشمند، زیرمجموعه عامل‌های مفهومی نه­گانه، در محدوده خود دارای یک شبکه عصبی چندلایه است که ویژگی‌های حالات مرتبط، به این شبکه عصبی وارد می­‌شود و در خروجی، بر اساس تعریف تابع سیاست ویژه آن عامل، نگاشتی از کنش‌­های بهینه بر حسب شرایط و حالات فعلی عامل ایجاد خواهد شد؛
مدل شبکه عصبی: شبکه عصبی عامل هوشمند برگرفته از عامل مفهومی «مدیریت و رهبری» است که در آن مشخصات لایه‌­های ورودی، مخفی و خروجی شبکه آمده است.

نتیجه‌گیری: جمع­‌بندی پیشینه پژوهش­‌های مرتبط، نشان داد که رویکرد طراحی مدل­‌های اعتباربخشی بیمارستانی می‌­تواند به دو گروه «مدل­‌های مفهومی بدون بهره‌­گیری از عوامل هوشمند» و «مدل­‌های مفهومی با بهره­‌گیری از مفاهیم هوشمندسازی و سیستم‌­های عامل­‌بنیان» تقسیم شود. بررسی‌­ها نشان داد که این مطالعات دارای نتایج موردانتظار بوده و کارایی و اثربخشی مدل­‌ها و فرایندهای پیشنهادشده توسط آن‌ها، اعتبار لازم را داشته‌­اند. از نقاط ضعف این پژوهش‌­ها، این است که الگوریتم­‌های یادگیری تقویتی لزوماً با مدل­‌های عامل­‌بنیان در آن‌ها درآمیخته نشده است.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Presenting the Elements and Reinforcement Learning Methodology of Hospital Accreditation Based on the Agent-Based Conceptual Model

نویسندگان [English]

  • Javad Keshvari Kamran 1
  • Mohammadali Keramati 2
  • Abbas Toloie Eshlaghy 3
  • Seyed Abdollah Amin Mousavi 4
1 Ph.D. Student, Department of Information Technology Management, Central Tehran Branch, Islamic Azad University, Tehran, Iran.
2 Associate Professor, Department of Industrial Management, Central Tehran Branch, Islamic Azad University, Tehran, Iran.
3 Professor, Department of Industrial Management, Science and Research Branch, Islamic Azad University, Tehran, Iran.
4 Assistant Professor, Department of Information Technology Management, Central Tehran Branch, Islamic Azad University, Tehran, Iran.
چکیده [English]

Introduction: This study presents the elements and methodology of the reinforcement learning model according to the agent-based conceptual model of hospital accreditation in Iran. The elements and methodology of the mentioned model will create a favorable study base for creating a smart and multi-agent hospital accreditation system and environment simulation trends to provide efficient guidelines to relevant agents and policymakers. This study aims to address the main research questions concerning the uncertainties related to the reinforcement learning elements and the methodology selection in a multi-agent socio-technical system.
Methods: To collect the necessary information to understand the elements and identify hospital accreditation processes, agents, the environment, and their interactions, systematic reviews of sources, scientific document reviews, and semi-structured interviews with experts were conducted. Interviewees were selected from university faculty members, hospital managers, and quality improvement officers through a targeted non-random snowball sampling method. The interviews were summarized using grounded-theory-based methods and a sequential and systematic approach. The characteristics of the machine learning process were collected using a systematic review method from the "Iran Hospital Accreditation Guide 2022". The process of selecting the features was done by correctly choosing the output features of the model, which are the actions of the agent. The list of agent actions was extracted as a general non-binary tree based on the classification of the tree structure from the conceptual content of the document.
Findings: The extracted reinforcement learning model seeks to find the optimal chains of operational actions under conditions where quantitative data of the hospital are available. The most important elements of the model are:

Set of States: Hospital accreditation factors such as input variables, output variables, indicators, parameters, and fixed numbers related to the metrics of each conceptual agent in the "Iran Hospital Accreditation Guide 2022".
Set of Actions: Actions of intelligent agents in each reinforcement learning episode, paths from the hierarchically clustered binary tree, which are operational actions that can be performed in the hospital per set of state features.
Reward Function: "Obtaining the highest possible score in the hospital ranking system by performing the least number of necessary actions."
Policy Function: Based on the learning process of each agent, it relies on a DQN deep neural network and a gradient reduction algorithm.
Operational Agents: The operational goal of each conceptual agent is "maximizing the accreditation points of the metrics of the relevant field by recommending the least measures."
General Cycle of the Model: In this structure, each intelligent agent, a subset of the nine conceptual agents, has a multi-layered neural network. The characteristics of related states are entered into this neural network, and in the output, based on the special policy function definition of that agent, a map of optimal actions is created according to the agent's current conditions and states.
Neural Network Model: The neural network of the intelligent agent is derived from the conceptual agent "management and leadership," specifying the input, hidden, and output layers of the network.

 Conclusion: Summarizing the background of related research showed that the approach to designing hospital accreditation models could be divided into two groups: "conceptual models without using intelligent agents" and "conceptual models using intelligence and operating systems". The investigations showed that these studies had the expected results and that the efficiency and effectiveness of the models and processes proposed by them had the necessary validity.

کلیدواژه‌ها [English]

  • Reinforcement Learning
  • Gradient Reduction
  • Intelligent Agents
  • Neural Network Model
  • Hospital Accreditation

مراجع

  1. Abdellatif, A.A., Mhaisen, N., Chkirbene, Z., Mohamed, A., Erbad, A., (2021). Reinforcement learning for intelligent healthcare systems: A comprehensive survey. arXiv preprint arXiv:2108.04087.
  2. Amini, N., et al., (2023). Automated prediction of COVID-19 mortality outcome using clinical and laboratory data based on hierarchical feature selection and random forest classifier. Computer Methods in Biomechanics and Biomedical Engineering, 26(2), 160-173.
  3. Azar, A. and Sadeghi, A. (2012). Agent Based Modeling, a New Approach in Modeling Complex Ethical Problems. ethicsjournal, 7(1),6-16.
  4. Chehrzad, M. M., Mahmoodi, A. H., Fathivajargah, K., Khorshidi, A., & Samimi-Ardestani, S. M. (2019). Pathology the Process of Accreditation of Educational Institutions and Therapeutic Centers and Presentation an Appropriate Model. Research in Medical Education, 11(1), 37-49. https://doi.org/10.29252/rme.11.1.37
  5. Chen, H., Dai, X., Cai, H., Zhang, W., Wang, X., (2019). Large-scale interactive recommendation with tree-structured policy gradient. in Proceedings of the AAAI conference on artificial intelligence.
  6. Dorri, A., Kanhere, S., and Jurdak, (2018). Multi-Agent Systems: A Survey. IEEE Access, 6: p. 28573-28593.
  7. Dulac-Arnold, G., Evans, R., van Hasselt, H., Sunehag, P., (2015). Deep reinforcement learning in large discrete action spaces. arXiv preprint arXiv:1512.07679.26
  8. Forootani, A., Rastegar, M., and Jooshaki, M., (2022). An advanced satisfaction-based home energy management system using deep reinforcement learning. IEEE Access,10, 47896-47905. 18
  9. Ghazanfari, F., et al., (2021). Iran hospital accreditation standards: challenges and solutions. The International Journal of Health Planning and Management,. 36(3), 958-975.
  10. Haghighi, R.K. and A.T.A.M.R. Motadel, Agent-Based Modeling of Pharmaceutical Distribution Online Monitoring System, with Reinforcement Learning Approach. Journal of Industrial Management Perspective, 2023. 10(38): p. 267-315.
  11. Hakkak, M., Hozni, S., Shahsiah, N., & Akhlaghi, T. (2017). Design of Hospital Accreditation Model: A Qualitative Study. ssu-mshsj, 2(3), 201-214. http://mshsj.ssu.ac.ir/article-1-104-fa.html
  12. Kaelbling, L.P., Littman, M. and Moore, A. (1996). Reinforcement learning: A survey. Journal of artificial intelligence research,4, 237-285.
  13. Keshvari Kamran, J., Keramati, M., Toloie Eshlaghy, A., & Mousavi, S. (2023). Providing Agent-based Conceptual Model for the Hospital Evaluation and Accreditation System. Business Intelligence Management Studies, 12(45), 347-389, https://doi.org/10.22054/ims.2023.70752.2248
  14. Khastar, H. (2009). A Method for Calculating Coding Reliability in Qualitative Research Interviews. Methodology of Social Sciences and Humanities, 15(58), 161-174.
  15. Lin, Y., et al., (2023). A Survey on Reinforcement Learning for Recommender Systems. IEEE Transactions on Neural Networks and Learning Systems, p. 1-21.
  16. Liu, F., Tang, R., Li, X., Zhang, W., Ye, Y., (2018). Deep reinforcement learning based recommendation with explicit user-item interactions modeling. arXiv preprint arXiv:1810.12027.
  17. Macal, C. & North, M. (2009). Agent-based modeling and simulation.
  18. Maleki, S., Talebi, A. and Moatameni, A. (2022). Developing a Mathematical Model for Competitive Facility Location with Multiple Commodities and Multiple Competitors. The Journal of Industrial Management Perspective, 12(4), 71-95.
  19. Malinen, M. and Fränti, P. (2014). Balanced k-means for clustering. in Structural, Syntactic, and Statistical Pattern Recognition: Joint IAPR International Workshop, S+ SSPR 2014, Joensuu, Finland, August 20-22, Proceedings. 2014. Springer.
  20. Moreno, V., Génova, G., Parra, E., Fraga, A., (2020). Application of machine learning techniques to the flexible assessment and improvement of requirements quality. Software Quality Journal, 28(4), 1645-1674.
  21. Mosadeghrad, A. M., & Ghazanfari, F. (2020). Iran hospital accreditation governance: Challenges and solutions. Payavard-Salamt, 14(4), 311-332. http://payavard.tums.ac.ir/article-1-7042-fa.html
  22. Mosadeghrad, A. M., Akbari-sari, A., & Yousefinezhadi, T. (2017). Evaluation of hospital accreditation standards. RJMS, 23(153), 43-54.
  23. Mosadeghrad, A.M. and Ghazanfari, F. (2021). Developing a hospital accreditation model: a Delphi study. BMC Health Services Research, 2021. 21(1): p. 879.
  24. Mosadeghrad, A.M., Akbari Sari, A., & Yousefinezhadi, T. (2017). Evaluation of hospital accreditation method. Tehran-Univ-Med-J, 75(4), 288-298.
  25. Puorebrahimi, M., (2022). Power Industry’s Life Cycle Simulation using Agent Based Modeling. The Journal of Industrial Management Perspective, 12(4), 9-35.
  26. Sutton, R.S. & Barto, A.G. (1999). Reinforcement learning. Journal of Cognitive Neuroscience, 11(1), 126-134.
  27. Sutton, R.S. & Barto, A.G. (2018). Reinforcement learning: An introduction. MIT press.
  28. Yousefi, N., (2022). Deep Reinforcement Learning for Tehran Stock Trading. Journal of Novel Engineering Science and Technology. 1(02), 37-42.
  29. Zhao, X., Gu, C., Zhang, H., Liu, X., Yang, X., (2019). Deep reinforcement learning for online advertising in recommender systems. arXiv preprint arXiv:1909.03602.

فایل ها

هم رسانی

ارجاع به این مقاله

آمار