(سومین مقاله پر ارجاع در نشریه بینالمللی سولار انرژی)
نویسندگان: داژی یانگ، استفانو آلساندرینی، خاویر آنتونانزاس و همکاران.
تاریخ انتشار مقاله: نوامبر 2020
1-2) امتیاز مهارت:
سه نوع ویژگی مناسب که توسط مورفی (1993) تعریف شده است (که در ادامه خواهد آمد)، یک هدف روشن را در طول راستیآزمایی پیشبینی ارائه میکنند – با حفظ ثبات، باید هدف را به حداکثر رساندن کیفیت انجام داد. با این حال، داشتن یک هدف به خوبی تعریف شده تنها به پیش بینی کنندگان کمک می کند تا بر اساس آزمایش پیش بینی خود به تجزیه و تحلیل و نتیجه گیری بپردازند. از آنجایی که ادبیات تخصصی به سرعت گسترش مییابد، غیرواقعی است که دامنه آزمایش را به طور همزمان گسترش دهیم، یعنی شامل همه روشهای پیشنهادی قبلی به عنوان معیار باشد. دلیل واضح این است که داده های (اطلاعات) در دسترس یک پیش بینی کننده ممکن است برای دیگران در دسترس نباشد. به طور مشابه، همه انواع اطلاعات موجود در یک مکان یا زمان در مکان ها یا زمان های دیگر در دسترس نیستند. بنابراین، برای تضمین پیشرفت در این زمینه، جامعه مجبور به مقایسه بین کارهای تحقیقاتی مختلف، بر اساس انواع معیارهای گزارش شده از کیفیت پیشبینی است.
1-2-1) احساس نادرست از مقایسه سناریوهای متقابل
تنوع تابش خورشیدی به ویژگی های آب و هوایی، موقعیت جغرافیایی، مقیاس زمانی و دوره زمانی و سایر عوامل بستگی دارد. حتی اگر از همان استراتژی پیشبینی استفاده شود، پیشبینیهای ساعتی انجامشده برای مکانی با شرایط آسمان صاف غالب در مقایسه با پیشبینیهای 10 دقیقهای که برای یک مکان با آبوهوای استوایی، که در آن تشکیل ابر انجام میشود، RMSE کمتری خواهد داشت. پیش بینی سریع و دشوار از این رو، اگر کسی بخواهد مهارتهای پیشبینی را مقایسه کند، نوعی مقیاسبندی (نرمالسازی) برای خطاهای وابسته به مقیاس، مانند MAE یا RMSE مورد نیاز است. در مقاله مروری اخیر، بلاگا و همکاران. (2019) از RMSE نرمال شده (nRMSE) به عنوان مبنایی برای چنین مقایسههایی استفاده کرد.
شکل خاصی از عادی سازی که در بلاگا و همکاران در نظر گرفته شده است. (2019) از طریق میانگین مشاهدات است، یعنی nRMSE با تقسیم RMSE (به عنوان مثال، در واحد تابش) با میانگین مشاهدات محاسبه می شود. در حالی که نتیجه نهایی – nRMSE گزارش شده در ادبیات پیش بینی خورشیدی در طول سال ها کوچکتر می شود – واقعی است، روش (مقایسه مستقیم نتایج nRMSE از انتشارات مختلف) مورد استفاده نویسندگان می تواند گمراه کننده باشد. «محققان در پیشبینی خورشید بهتر میشوند» دانش پیشینی است، و یافتن شواهدی برای حمایت از آن آسان است. با این حال، nRMSE یک حس نادرست از مقایسه سناریوهای متقاطع را ارائه می دهد، که نمی توان از آن برای توجیه اینکه یک پیش بینی کننده مهارت بهتری نسبت به دیگری دارد استفاده کرد. کلمه “مقطع سناریو” به پیش بینی های تولید شده برای داده هایی با قابلیت پیش بینی متفاوت اشاره دارد. یک مثال در شکل 2 نشان داده شده است، جایی که RMSE و nRMSE به نتایج متناقضی منجر می شوند.
شکل 2: میانگین ماهانه خطاهای پیشبینی GHI در روز آینده – RMSE [W/m2] و nRMSE [%] نرمالسازی شده با مقادیر میانگین تابش ماهانه – در هامبورگ، آلمان (53.63◦N، 9.99◦E)، تولید شده توسط سیستم پیشبینی یکپارچه (IFS)، یک سیستم NWP که توسط مرکز اروپایی پیشبینیهای هوای متوسط (ECMWF) ایجاد شده است. واضح است که ماه های زمستانی دارای RMSE کوچک اما nRMSE بالا هستند که ممکن است گیج کننده باشد.
همانطور که قبلاً ذکر شد، خطای پیشبینی به شدت با قابلیت پیشبینی مرتبط است که با تغییرپذیری و عدم قطعیت مرتبط است. به طور معادل، می توان بیان کرد که پیش بینی شرایط با تنوع و عدم قطعیت بیشتر دشوارتر است، بنابراین منجر به خطاهای مورد انتظار بزرگتر می شود. در پیشبینی، تغییرپذیری و عدم قطعیت اغلب به ترتیب با تغییر مرحله و واریانس اندازهگیری میشوند. از آنجایی که هدف نهایی داشتن معیاری است که مهارت پیش بینی را کمی می کند، وابستگی آن به تغییرپذیری و عدم قطعیت باید به حداقل برسد، اگر به طور کامل حذف نشود. اکنون واضح است که nRMSE نرمال شده با میانگین نمی تواند برای مقایسه مهارت های پیش بینی به طور کلی استفاده شود، زیرا میانگین نه به تغییرپذیری و نه با عدم قطعیت مرتبط است. همان آرگومان ها را می توان برای nRMSE نرمال شده با محدوده، nRMSE نرمال شده با حداکثر، nRMSE نرمال شده با ظرفیت و انواع مشابه nMAE اعمال کرد.
1-2-2) درباره ترویج معیارهای دقت نرمالشده در پیشبینی خورشیدی
معیارهای دقت نرمالشده در پیش بینی خورشیدی محبوب هستند (Blaga et al., 2019). این برخلاف رشته هواشناسی است که در آن معیارهای دقت نرمالشده به ندرت مورد استفاده قرار می گیرند. به عنوان مثال، در کتاب جولیف و استفنسون (2012)، حتی یک جمله وجود ندارد که معیارهای دقت نرمالشده را مورد بحث قرار دهد. به طور مشابه، هیچ اثری از معیارهای دقت نرمالشده را نمی توان در Hyndman و Koehler (2006) یافت، که در آنها معیارهای دقت در زمینه پیشبینی سریهای زمانی تک متغیره همه منظوره مورد بحث قرار میگیرند. از این رو، برخی از توضیحات احتمالی در مورد اینکه چرا اندازه گیری های دقت نرمالشده در پیشبینی خورشیدی بسیار محبوب است، در ادامه آورده شده است.
مفهوم عادی سازی به طور طبیعی زمانی ایجاد می شود که مقادیر پیش بینی شده در مقیاس های مختلف باشد. در این نقطه، کلاس اندازه گیری های دقت بر اساس درصد خطا، مانند میانگین درصد مطلق خطا (MAPE)، باید مورد بحث قرار گیرد. اندازهگیریهای مبتنی بر درصد خطا در پیشبینی خورشیدی با وضوح بالا کاملاً امکانپذیر نیستند، زیرا تابش و توان تولید شده توسط PV در صبحهای اولیه و اواخر بعد از ظهر، یا زمانی که ابرها به داخل حرکت میکنند، نزدیک به صفر است. اگرچه موارد صبح زود و اواخر بعد از ظهر میتواند با یک فیلتر زاویه اوج قبل از تأیید، چند پیشبینی از دست رفته در نوسانات تابش بزرگ در اواسط روز برای ایجاد یک MAPE بسیار بزرگ کافی است. بنابراین، برای اینکه خطاهای پیشبینی به صورت درصد واقعی تفسیر شوند، نرمالسازی از جمع خارج میشود، یعنی نرمالسازی پس از تجمیع انجام میشود. چنین نگرانی هایی در هنگام برخورد با پیش بینی های بلندمدت تابش جهانی، به عنوان مثال، به صورت روزانه وجود ندارد.
معیارهای دقت نرمال شده در پیشبینی باد استفاده میشوند که زیر دامنه توسعهیافتهتر پیشبینی انرژی است (هنگ و همکاران، 2016). مدسن و همکاران در تلاش برای استانداردسازی استفاده از متریک در پیشبینی باد. (2005) اشاره کرد که هدف از استفاده از معیارهای دقت نرمال شده تولید نتایج مستقل از اندازه مزرعه بادی است. علاوه بر این، نویسندگان نرمال سازی را با ظرفیت نصب شده یا مشاهده میانگین توصیه کردند. در آن زمان (2005)، مطالعات منتشر شده در مورد پیش بینی خورشیدی نادر بود. هنگامی که زمینه پیشبینی خورشیدی در اوایل دهه 2010 شروع به شکوفایی کرد، چنین عادیسازی توسط پیشبینیکنندگان خورشیدی اتخاذ شد، که پیشبینی باد مرتبطترین ادبیاتی بود که دنبال میشد.
دلیل قانع کننده دیگری که چرا معیارهای دقت نرمال شده اغلب در پیش بینی خورشیدی (یا باد) استفاده می شود این است که کاربران نهایی (یا “ذینفعان”) معمولا مهندسان برق، تحلیلگران تجاری یا کارشناسان مالی هستند. این متخصصان با درصدها بسیار آشنا هستند، اما با واحد تابش خورشیدی مانند W/m2 یا واحد قدرت مانند MW آشنا نیستند. از این منظر، استفاده از نرمالسازی اساساً به دلیل ضرورت درک و استفاده صحیح از نتایج پیشبینی توسط کاربران نهایی دیکته میشود. با این وجود، اپراتورهای شبکه تقریباً هرگز پیشبینیهای خود را در طول فصلها، مقیاسهای زمانی و چه رسد به پیشبینیهای سایر اپراتورهای شبکه مقایسه نمیکنند. بنابراین، در آن زمینه، انتخاب معیارهای دقت نرمال شده برای راحتی و ارتباطات داخلی است، زیرا یک متریک درصد برای مخاطبان غیر فنی (تصمیمگیرندگان) بیشتر از یک متریک MW قابل دسترسی است. از آنجایی که برای اپراتورهای شبکه، کمیت نرمال کننده، یعنی مخرج، یا ثابت (بار اوج) یا مشابه (بار متوسط) است، نرمال سازی بر رتبه بندی دقت پیش بینی تأثیری ندارد. ترجیح اپراتور شبکه برای معیارهای دقت نرمال شده نباید به عنوان انگیزه ای تعیین کننده برای گزارش تنها معیارهای خطای نرمال شده در جامعه دانشگاهی تلقی شود، زیرا قابل مقایسه جهانی کیفیت پیش بینی باید حفظ شود.
1-2-3) چالشها با نمره مهارت
از آنجایی که نمی توان از معیارهای دقت نرمال شده برای مقایسه پیش بینی های انجام شده در مکان ها و مقیاس های زمانی مختلف استفاده کرد، باید به دنبال جایگزینی بود. در پیشبینی خورشیدی مدرن، یکی از اولین تلاشها برای پرداختن رسمی به مشکل مقایسهپذیری در اوایل دهه 2010 توسط مارکز و کویمبرا در چندین نشریه انجام شد. در مطالعات پیش بینی شده، مفهوم معروفی در پیش بینی هواشناسی به نام نمره مهارت به حوزه جوان پیش بینی خورشیدی معرفی شد. در زمینه هواشناسی، امتیاز مهارت، s را می توان بر اساس معیاری از دقت A تعریف کرد، یعنی:
(معادله3)
که در آن Af، Ap و Ar به ترتیب دقت پیشبینیهای مورد علاقه، دقت پیشبینیهای کامل، 13 و دقت پیشبینیهای مرجع هستند (Murphy, 1988). به عنوان مثال، s بر اساس RMSE است:
(معادله4)
که در آن f، r و x به ترتیب پیش بینی های مورد علاقه، پیش بینی های مرجع و مشاهدات هستند. برای N نمونه:
(معادلات 5و6)
امتیاز مهارت s اغلب به صورت درصد نوشته می شود که نشان دهنده درصد بهبود در دقت پیش بینی ها نسبت به پیش بینی های تولید شده توسط یک روش مرجع است. اگر s > 0 باشد، پیشبینیهای مورد علاقه دارای RMSE کمتری نسبت به پیشبینیهای مرجع هستند، در غیر این صورت، s ≤ 0 نشان میدهد که مدل مورد علاقه از پیشبینیهای مرجع بهتر عمل نمیکند. با این حال، دو مشکل در استفاده از s برای مقایسه پیش بینی ها وجود دارد: (1) انتخاب اندازه گیری دقت می تواند دلخواه باشد، و (2) انتخاب روش پیش بینی مرجع می تواند دلخواه باشد.
مشکل اول را با یک مثال ساده می توان فهمید. محاسبه s به اندازه گیری دقت پیش بینی نیاز دارد، A، که بر اساس یک تابع امتیازدهی است. بسته به انتخاب A، s می تواند کاملاً متفاوت باشد. برای مثال، فرض کنید RMSE(r, x) =200 W/m2 و RMSE(f, x) = 100W/m2، سپس0.5 SRMSE =. با این حال، وقتی از میانگین مربعات خطا (MSE) استفاده می شود، SMSE =1-(1- SRMSE) 1 به 0.75 افزایش می یابد. در حالی که تبدیل بین sRMSE و sMSE ساده است، s بر اساس معیارهای دیگر، مانند MAE، متفاوت است و نمی توان از sRMSE یا sMSE استنباط کرد. از این رو، هیچ راه حل واضحی برای این وجود ندارد جز توصیه به اجماع. در حال حاضر، RMSE رایجترین شکل A است و بنابراین باید عمدتاً در محاسبه امتیاز مهارت استفاده شود. (این انتخاب بیشتر در بخش بعدی مورد بحث قرار گرفته است). از این پس، نماد s فقط نشان دهنده SRMSE است، مگر اینکه خلاف آن ذکر شده باشد.
یک راه حل برای مشکل دوم استفاده از یک مدل مرجع ساده و پذیرفته شده جهانی است، به طوری که می توان از s استفاده کرد.
برای مقایسه دقت پیش بینی های انجام شده در مکان ها یا دوره های زمانی مختلف. امتیاز مهارت بر اساس این مفهوم است که خطاهای پیشبینی روش مرجع «بدون مهارت» باید به اندازه کافی دشواری سناریوی پیشبینی را منعکس کند. در پیشبینی کسبوکار، پیادهروی تصادفی اغلب بهعنوان مرجع استفاده میشود و عملکرد نسبی مدل مورد علاقه با استفاده از آماره Theil’s U، مفهومی شبیه به نمره مهارت، سنجیده میشود (Makridakis et al., 2008). در هواشناسی، به اصطلاح «اقلیم شناسی» اغلب به عنوان مرجع ساده لوح استفاده می شود (Jolliffe and Stephenson, 2012). در پیشبینی قطعی خورشیدی، یکی از رایجترین روشهای مرجع ساده – برای پیشبینیهای درون ساعتی و درون روزی – تداوم تعدیلشده در آسمان صاف یا بهطور ساده، تداوم آسمان صاف است. تداوم آسمان صاف از نظر مفهومی هیچ تفاوتی با روش ساده فصلی توصیف شده در ماکریداکیس و همکاران ندارد. (2008). یعنی، پیشبینیهای پایداری بر اساس شاخص آسمان صاف انجام میشوند و سپس با استفاده از تابش آسمان صاف در هر مُهر زمانی پیشبینی، به تابش باز میگردند. مدل آسمان صاف مورد استفاده در تداوم آسمان صاف می تواند به طور موثر دو چرخه فصلی (یک چرخه سالانه و یک چرخه روزانه) را در یک سری زمانی تابش توصیف کند. برخی از رویکردهای جایگزین تنظیم فصلی در ضمیمه A مورد بحث قرار گرفتهاند. در مورد پیشبینی خورشیدی در روز آینده، تداوم 24 ساعته و اقلیمشناسی متوسط روزانه محبوب هستند. در این مقاله، یک مرجع ساده اضافی، یعنی ترکیب محدب بهینه اقلیم شناسی و پایداری معرفی شده است، که تضمین شده است که از هر دو روش مرجع فردی بهتر عمل می کند.
1-3) امتیاز مهارت تعریف شده توسط مارکز و کویمبرا (2011)
امتیاز مهارت به تأیید پیشبینیهای قطعی متغیر تصادفی پیوسته محدود نمیشود. همچنین در راستیآزمایی پیشبینیهای قطعی رویدادهای دوتایی (مانند امتیاز مهارت گیلبرت یا امتیاز مهارت دولیتل)، رویدادهای چند طبقهای (مثلاً امتیاز گاندین و مورفی) و تأیید پیشبینی احتمالی (مثلاً امتیاز مهارت بریر یا مهارت CRPS) استفاده میشود. امتیاز)، همانطور که جولیف و استفنسون (2012) توصیف کردند. در حالی که خواننده برای جزئیات بیشتر در مورد مفهوم نمره مهارت به جولیف و استفنسون (2012) ارجاع داده می شود، نسخه پیشنهاد شده توسط مارکز و کویمبرا (2011) نیاز به بحث دارد. در پیش بینی قطعی خورشیدی، نسخه آنها یکی از قابل توجه ترین جایگزین ها برای امتیاز مهارت تعریف شده در معادله (4) است.
مارکز و کویمبرا (2011) بر اساس مفهوم “عدم قطعیت” (U) و “تغییرپذیری” (V) امتیاز مهارت خود را پیشنهاد کردند که در اینجا به عنوان s نشان داده شده است:
(معادلات 7 و 8 و 9):
و f، x و c به ترتیب پیش بینی، مشاهده و انتظار آسمان صاف هستند. مارکز و کویمبرا خاطرنشان کردند که نسبت بین U و V را می توان با نسبت RMSE مدل مورد نظر و RMSE تقریب زد.
پایداری در آسمان صاف، یعنی . با این حال، هیچ پشتیبانی نظری دقیقی در نسخههای مختلف آن پیشنهاد ارائه نشده است (مارکز و کویمبرا، 2011، 2013؛ کویمبرا و همکاران، 2013). در عوض، تقریب با استفاده از نتایج چندین مدل سری زمانی به صورت تجربی نشان داده شد.
با مقایسه s∗ با s تعریف شده در معادله. (4)، مشخص نیست که چرا باید تقریب بین دو نمره مهارت برقرار باشد. در واقع، s امتیاز مهارت RMSE پیشبینیهای تابش (یا انرژی خورشیدی) است، در حالی که s نمره مهارت RMSE پیشبینیهای شاخص آسمان صاف است. با بیان متفاوت، این دو امتیاز مقادیر مختلف پیشبینی را تأیید میکنند – اولی پیشبینی تابش را تأیید میکند و دومی پیشبینیهای شاخص آسمان صاف را تأیید میکند. با این حال، پس از تجزیه و تحلیل دقیق، می توان به این نتیجه رسید: اگر خطای پیش بینی κ و خطای پیش بینی مرجع κ هر دو مستقل از انتظار آسمان صاف باشند، پس s∗ = s، به پیوست B مراجعه کنید. با این حال، چنین فرض استقلالی به دلیل مدل ناقص آسمان صاف، حساسیت بالا به اثرات سه بعدی برای موقعیت های ابرهای شکسته، و حساسیت بالا به خطاها در کدورت جو، تقریباً همیشه تا حدی نقض می شود. بنابراین، خطاهای پیشبینی شاخص آسمان صاف اغلب برای ارتفاعات کم خورشیدی بزرگتر است. در نتیجه، در بیشتر موارد فقط s∗≈s مشاهده می شود.
1-4) چکیده بخش حاضر
این بخش چند مفهوم جدید مرتبط با تأیید پیشبینی قطعی خورشیدی را مورد بحث و بررسی قرار داده است. به طور کلی، دو رویکرد برای راستیآزمایی پیشبینی وجود دارد، یعنی رویکرد سنجشمحور و رویکرد توزیعمحور. خوب بودن پیش بینی ها شامل سه عنصر است: (1) ثبات، (2) کیفیت و (3) ارزش. بهویژه جالب این است که رویکرد توزیعمحور میتواند به پیشبینیکنندگان کمک کند تا کیفیت پیشبینیهای خود را به روشی نظاممند ارزیابی کنند – با مرتبط کردن جنبههای مختلف کیفیت پیشبینی به معیارهای دقت مختلف – به طوری که بتوان آنها را تفسیر کرد. این موضوع در بخش بعدی بیشتر مورد بحث قرار گرفته است.
در حالی که رویکرد توزیعمحور عمدتاً برای تجزیه و تحلیل پیشبینی توصیه میشود، یعنی برای استفاده در یک مطالعه موردی پیشبینی، امتیاز مهارت برای مقایسه پیشبینی متقابل توصیه میشود. توجه به این نکته حائز اهمیت است که رویکردهای اندازهگیری و توزیعمحور مکمل یکدیگر هستند و جایگزین نیستند. امتیاز مهارت بر اساس اندازه گیری دقت یک مدل مرجع محاسبه می شود که می تواند به اندازه کافی دشواری (تغییرپذیری و عدم قطعیت) یک موقعیت پیش بینی را توصیف کند. مهارت کلی پیش بینی کننده را می سنجد. با توجه به اهمیت و پیامدهای اقتصادی مقایسه بین انواع مدلهای پیشبینی در عمل، نمره مهارت RMSE باید الزامی و استاندارد شود. لازم به ذکر است که هرگاه اقلیم شناسی، تداوم یا ترکیب آنها در زمینه پیش بینی خورشیدی مورد استفاده قرار گیرد، در نظر گرفته شده است که برای شاخص آسمان صاف یا سایر متغیرهای مورد علاقه بدون روند اعمال شود. با این حال، مرجع پیش بینی می کند، یعنی rt در معادله. (4)، باید متغیر اصلی مورد علاقه، یعنی خروجی توان GHI، DNI یا PV باشد. این در بخش بیشتر مورد بحث قرار گرفته است.