حل تشریحی سوال شماره 83 شناسایی الگو - یادگیری ماشین

قصد داریم تا به روش یادگیری تقویتی سیستمی با چهار حالت (A,B,C,D) را که در هر حالت تنها دو کنش a و b امکان پذیر است آموزش دهیم شکل زیر امکان انتقال بین حالات و همچنین پاداش دریافتی به ازای هر کنش در هر حالت را نشان میدهد. در صورتی که از الگوریتم Q-Learning برای آموزش استفاده نماییم و $\gamma =0.9$ باشد، مقادیر تابع Q چه خواهد بود در صورتی که از حالت A شروع کرده و کنش‌های $\left\{a,a,b,a,b,a\right\}$ را به ترتیب از چپ به راست انجام دهیم؟