اما جهت بیشترین افزایش یک خاصیت محلی است و نه سراسری. این مطلب در شکل۲-۲ نشان داده‌شده است. در این شکل، بردار گرادیان محاسبه‌شده در نقاط ۱، ۲ ، ۳، ۴ به ترتیب در جهت‌های ٰ۱۱ ، ٰ۲۲ ، ٰ۳۳، ٰ۴۴ قرار دارد. بنابراین در نقطه ۱ مقدار تابع در جهت ٰ۱۱ با سریع‌ترین نرخ افزایش می‌یابد و به همین ترتیب اگر به تعداد بی‌نهایت مسیر کوچک در جهت‌های سریع‌ترین افزایش حرکت کنیم، مسیر حرکت یک منحنی شبیه به منحنی ۴-۳-۲-۱ خواهد بود.
ازآنجاکه بردار گرادیان جهت بیشترین افزایش مقدار تابع را نشان می‌دهد، منفی بردار گرادیان جهت سریع‌ترین کاهش را نشان می‌دهد. بنابراین انتظار داریم روش‌هایی که از بردار گرادیان برای بهینه‌سازی استفاده می‌کنند نسبت به روش‌های دیگر سریع‌تر به نقطه مینیمم برسند. بنابراین دو قضیه زیر را بدون اثبات می‌آوریم.
۱.بردار گرادیان جهت سریع‌ترین افزایش را نشان می‌دهد.
-
- بیشترین نرخ تغییر تابع در هر نقطه ، برابر اندازه بردار گرادیان در آن نقطه است.
۲-۵-۱ محاسبه گرادیان
محاسبه گرادیان نیاز به محاسبه مشتقات جزئی دارد. سه حالت وجود دارد که محاسبه گرادیان را مشکل می‌کند:
-
- تابع در تمامی نقاط مشتق‌پذیر است، اما محاسبه مؤلفه‌های بردار گرادیان غیرعملی است.
-
- رابطه‌ای برای مشتقات جزئی می‌توان به دست آورد، اما محاسبه آن نیازمند زمان محاسباتی زیادی است.
-
- گرادیان تابع در تمامی نقاط تعریف‌نشده باشد.
در مورد اول می‌توان از فرمول تفاضل محدود پیشرو برای تخمین مشتق جزئی استفاده کرد:
| (۲-۸) |
برای یافتن نتیجه بهتر می‌توان از فرمول اختلاف مرکزی محدود زیر استفاده کرد:
| (۲-۹) |
در روابط بالا یک کمیت اسکالر کوچک و برداری n بعدی است که مؤلفه ام آن یک، و مابقی صفر هستند. در محاسبات، مقدار را می‌بایست با دقت انتخاب نمود، زیرا کوچک بودن بیش‌ازحد آن ممکن است اختلاف میان مقادیر محاسبه‌شده تابع در و را بسیار کوچک کرده، و موجب افزایش خطای گرد کردن شود و نتایج را با خطا همراه سازد. به همین ترتیب بزرگ بودن بیش‌ازاندازه نیز خطای برشی را در محاسبه گرادیان ایجاد می‌کند. در حالت دوم استفاده از فرمول‌های تفاضل محدود پیشنهاد می شود. برای حالت سوم با توجه به این نکته که گرادیان در تمام نقاط تعریف‌شده نیست، نمی‌توان از فرمول‌های تفاضل محدود استفاده کرد. بنابراین در این موارد مینیمم کردن فقط با بهره گرفتن از روش‌های مستقیم امکان‌پذیر است.
۲-۵-۲ تعیین طول گام بهینه در جهت کاهش تابع
در بیشتر روش‌های بهینه‌سازی، نیاز است که نقطه مینیمم در یک راستای مشخص را تعیین نمود. بنابراین لازم است نرخ تغییر تابع هدف از یک نقطه مانند ، درراستای مشخصی مانند ، نسبت به پارامتری چون محاسبه شود. باید در نظر داشت که موقعیت هر نقطه در این راستا را می‌توان با توجه به نقطه ، به‌صورت نشان داد. بنابراین نرخ تغییر تابع نسبت به این متغیر در راستای را می‌توان به‌صورت زیر نشان داد:
| (۲-۱۰) |
که در رابطه فوق مؤلفه -ام است. از طرفی داریم:
| (۲-۱۱) |
که و مؤلفه‌های -ام و هستند. بنابراین نرخ تغییر تابع در راستای برابر است با:
