K-Nearest Neighbors

لا يتعلم K-NN معاملات نموذج عالمية. يتنبأ باستخدام تسميات نقاط التدريب القريبة في فضاء السمات.

لنقطة الاستعلام x، اختر أقرب K عينات وادمج تسمياتها بالتصويت بالأغلبية (أو التصويت المُوزّن).

$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$

• K صغير: حدود مرنة جدًا وحساسة للضجيج المحلي.
• K كبير: حدود أكثر سلاسة، تباين أقل، وانحياز أعلى محتمل.
• التصويت المُوزّن (w=1/d) يعطي تأثيرًا أقوى للجيران القريبين جدًا.

بما أن K-NN يعتمد على المسافة، فإن تحجيم السمات مهم جدًا في البيانات الحقيقية. غالبًا ما يحسن التقييس الموثوقية.

تكلفة التنبؤ تزيد مع حجم البيانات لأن المسافات يجب حسابها مقابل عينات كثيرة وقت الاستدلال.

استخدم التحقق لاختيار K وتقييم المتانة تحت ضوضاء أو تداخل الفئات.