ارایه عناصر و متدولوژی یادگیری‌تقویتی اعتباربخشی بیمارستان بر اساس مدل مفهومی عامل‌بنیان

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری مدیریت فناوری اطلاعات، دانشگاه آزاد اسلامی، واحد تهران مرکزی، تهران، ایران.

2 دانشیار، گروه مدیریت صنعتی، دانشگاه آزاد اسلامی، واحد تهران مرکزی، تهران، ایران.

3 استاد، گروه مدیریت صنعتی، دانشگاه آزاد اسلامی، واحد علوم و تحقیقات تهران، تهران، ایران.

4 استادیار، گروه مدیریت فناوری اطلاعات، دانشگاه آزاد اسلامی، واحد تهران مرکزی، تهران، ایران.

10.48308/jimp.2024.232895.1485

چکیده

مقدمه: هدف از انجام این مطالعه، ارایه عناصر و متدولوژی مدل یادگیری تقویتی منطبق بر مدل مفهومی عامل­‌بنیان اعتباربخشی بیمارستانی در ایران می‌­باشد. عناصر و متدولوژی مدل مذکور، زیربنای مطالعاتی مطلوبی برای ایجاد سیستم هوشمند و چندعاملی اعتباربخشی بیمارستانی و روندهای شبیه‌­سازی محیط در جهت ارایه رهنمودهای بهره‌­ورانه به کارگزاران و سیاست­‌گذاران مربوطه ایجاد خواهد کرد. همچنین این مطالعه در نظر دارد تا پاسخ مناسبی به پرسش­‌های اصلی پژوهش که در آن ابهامات مربوط به عناصر یادگیری تقویتی و چگونگی انتخاب متدولوژی یادگیری تقویتی در یک سیستم چندعاملی از نوع سیستم­های اجتماعی-فنی وجود دارد، ارایه نماید.
روش­ها‌: جهت گردآوری اطلاعات مورد نیاز برای شناخت عناصر و شناسایی فرایندهای اعتباربخشی بیمارستانی، عامل­ها، محیط و تعامل بین آن­ها، از روش مرور سیستماتیک منابع، بررسی مستندات علمی و مصاحبه­های نیمه­ساخت­یافته، از طریق خبرگان، به­صورت حضوری بهره گرفته شده است. مصاحبه­شوندگان از بین اعضای هیات­علمی، مدیران بیمارستان و مسئولین بهبودکیفیت بیمارستان­ها انتخاب شدند. جمع­بندی مصاحبه­ها با استفاده از روش­های مبتنی بر داده­بنیاد، رویکرد ترتیبی و سیستماتیک، صورت پذیرفت. منابع جمع­آوری ویژگی­های فرایند یادگیری ماشین با استفاده از روش مرور سیستماتیک از مستند « راهنمای اعتبار بخشی 1401» بوده است. همچنین روند انتخاب ویژگی­های مذکور از طریق انتخاب صحیح از ویژگی­های خروجی مدل که همان کنش­های عامل است، انجام گردید. لیست کنش­های عامل بر اساس طبقه­بندی ساختار درختی از محتوای مفهومی مستند فوق­الذکر بصورت یک درخت عمومی غیر دودویی استخراج گردید.
یافته­ها: مدل یادگیری تقویتی استخراج شده، درصدد یافتن زنجیره­های بهینه از کنش­های عملیاتی، در شرایطی که داده­های کمی موجود است، خواهد بود. مهم­ترین عناصر مدل مذکور عبارتند از:

مجموعه حالات: مجموعه فاکتورهای اعتباربخشی بیمارستانی مانند متغیرهای ورودی، متغیرهای خروجی، شاخص­ها، پارامترها، اعداد ثابت مربوط به سنجه­های هر عامل مفهومی در مستند «راهنمای اعتبار بخشی 1401».
مجموعه کنش­ها: کنش­های عامل­های هوشمند؛ در هر اپیزود یادگیری تقویتی، مسیرهایی از درخت دودویی خوشه­بندی سلسله مراتبی شده اقدامات عملیاتی قابل انجام در بیمارستان و به ازای مجموعه ویژگی­های حالت می­باشند.
تابع پاداش: «کسب بالاترین امتیاز ممکن در نظام رتبه­بندی بیمارستانی با انجام کمترین تعداد کنش و اقدام لازم» می­باشد.
تابع سیاست: بر اساس فرایند یادگیری هر عامل، مبتنی بر یک شبکه عصبی عمیق DQN و الگوریتم کاهش گرادیان می­باشد.
عامل­های عملیاتی: هدف عملیاتی هر یک از عامل­های مفهومی؛ «ماکزیمم کردن امتیازات اعتباربخشی سنجه­های حوزه مربوط به خود با توصیه کمترین اقدامات» است.
چرخه کلی مدل: در این ساختار هر کدام از عامل­های هوشمند، زیرمجموعه عامل­های مفهومی 9 گانه، در محدوده خود دارای یک شبکه عصبی چند لایه بوده که ویژگی­های حالات مرتبط، به این شبکه عصبی وارد شده و در خروجی، بر اساس تعریف تابع سیاست ویژه آن عامل، نگاشتی از کنش­های بهینه بر حسب شرایط و حالات فعلی عامل ایجاد خواهد شد.
مدل شبکه عصبی: شبکه عصبی عامل هوشمند برگرفته از عامل مفهومی «مدیریت و رهبری» که در آن مشخصات لایه­های ورودی، مخفی و خروجی شبکه آمده است.

نتیجه‌گیری: جمع‌­بندی پیشینه پژوهش‌­های مرتبط، نشان داد که رویکرد طراحی مدل­‌های اعتباربخشی بیمارستانی می‌­تواند به دو گروه «مدل­‌های مفهومی بدون بهره­‌گیری از عوامل هوشمند» و «مدل‌­های مفهومی با بهره­گیری از مفاهیم هوشمندسازی و سیستم­‌های عامل‌­بنیان» تقسیم گردد. بررسی­‌ها نشان داد که این مطالعات، دارای نتایج مورد انتظار بوده و کارایی و اثربخشی مدل‌­ها و فرایندهای پیشنهاد شده توسط آنها، اعتبار لازم را داشته­‌اند. همچنین از نقاط ضعف این پژوهش‌­ها، این است که، الگوریتم­‌های یادگیری تقویتی لزوما با مدل­های عامل­‌بنیان در آنها در آمیخته نشده است.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Presenting the elements and reinforcement learning methodology of hospital accreditation based on the agent-based conceptual model

نویسندگان [English]

  • Javad Keshvari Kamran 1
  • Mohammadali Keramati 2
  • Abbas Toloie Eshlaghy 3
  • Seyed Abdollah AminMousavi 4
1 PhD student in Information Technology Management, Islamic Azad University, Central Tehran Branch, Tehran, Iran.
2 Associate Professor, Department of Industrial Management, Islamic Azad University, Central Tehran Branch, Tehran, Iran.
3 Professor, Department of Industrial Management, Islamic Azad University, Science and Research Unit, Tehran, Iran.
4 Assistant Professor, Department of Information Technology Management, Islamic Azad University, Central Tehran Branch, Tehran, Iran.
چکیده [English]

Introduction: This study presents the elements and methodology of the reinforcement learning model according to the agent-based conceptual model of hospital accreditation in Iran. The elements and methodology of the mentioned model will create a favorable study base for creating a smart and multi-agent hospital accreditation system and environment simulation trends to provide efficient guidelines to relevant agents and policymakers. Also, this study intends to provide an appropriate answer to the main research questions in which there are uncertainties related to the reinforcement learning elements and how to choose the reinforcement learning methodology in a multi-agent system of the socio-technical systems type.
Methods: To collect the information needed to know the elements and identify the hospital accreditation processes, agents, environment, and interaction between them, the systematic review of sources, review of scientific documents, and semi-structured interviews, through experts, to The face-to-face method has been used. Summarizing the interviews was done using grounded-theory-based methods, and a sequential and systematic approach. The sources for collecting the characteristics of the machine learning process using the systematic review method were from the document "Iran Hospital Accreditation Guide 2022". Also, the process of selecting the mentioned features was done through the correct selection of the output features of the model, which are the actions of the agent. The list of agent actions was extracted from the conceptual content of the document above in the form of a general non-binary tree based on the classification of the tree structure.
Findings: The extracted reinforcement learning model will seek to find the optimal chains of operational actions, in the conditions where the quantitative data of the hospital is available. The most important elements of the mentioned model are:

Set of states: set of hospital accreditation factors such as input variables, output variables, indicators, parameters, and fixed numbers related to the metrics of each conceptual agent in the document "Iran Hospital Accreditation Guide 2022".
Set of actions: actions of intelligent agents In each reinforcement learning episode, paths from the hierarchically clustered binary tree are operational actions that can be performed in the hospital and per set of state features.
Reward function: "Obtaining the highest possible score in the hospital ranking system by performing the least number of necessary actions and actions."
Policy function: Based on the learning process of each agent, it is based on a DQN deep neural network and gradient reduction algorithm.
Operational Agents: the operational goal of each of the conceptual agents, is "maximizing the accreditation points of the metrics of the relevant field by recommending the least measures."
The general cycle of the model: in this structure, each of the intelligent agents, a subset of the 9 conceptual agents, has a multi-layered neural network within its scope, and the characteristics of related states are entered into this neural network and Output, based on the definition of the special policy function of that agent, a map of optimal actions will be created according to the agent's current conditions and states.
Neural network model: The neural network of the intelligent agent is derived from the conceptual agent "management and leadership" in which the input, hidden, and output layers of the network are specified.

Conclusion: Summarizing the background of related research showed that the approach to designing hospital accreditation models can be divided into two groups: "conceptual models without using intelligent agents" and "conceptual models using Intelligence and operating systems" should be divided. The investigations showed that these studies had the expected results and that the efficiency and effectiveness of the models and processes proposed by them had the necessary validity.

کلیدواژه‌ها [English]

  • Reinforcement learning
  • Gradient reduction
  • Intelligent agents
  • Neural network model
  • Hospital accreditation