როგორ არის დამოკიდებული SVM-ში კომპლექტის მახასიათებლების კლასიფიკაცია გადაწყვეტილების ფუნქციის ნიშანზე (ტექსტი{ნიშანი}(mathbf{x}_i cdot mathbf{w} + b))?

by EITCA აკადემია / შაბათი, 15 ივნისი 2024 / გამოქვეყნებულია ხელოვნური ინტელექტი, EITC/AI/MLP მანქანური სწავლება Python- ით, დამხმარე ვექტორული მანქანა, ვექტორული მანქანის ოპტიმიზაციის მხარდაჭერა, გამოცდის მიმოხილვა

მხარდაჭერის ვექტორული მანქანები (SVM) არის ძლიერი ზედამხედველობითი სწავლის ალგორითმი, რომელიც გამოიყენება კლასიფიკაციისა და რეგრესიის ამოცანებისთვის. SVM-ის პირველადი მიზანია იპოვოთ ოპტიმალური ჰიპერპლანი, რომელიც საუკეთესოდ გამოყოფს სხვადასხვა კლასის მონაცემთა წერტილებს მაღალგანზომილებიან სივრცეში. SVM-ში მახასიათებლის ნაკრების კლასიფიკაცია ღრმად არის დაკავშირებული გადაწყვეტილების ფუნქციასთან, განსაკუთრებით მის ნიშანთან, რომელიც მნიშვნელოვან როლს თამაშობს ჰიპერპლანის რომელ მხარეს არის მოცემული მონაცემთა წერტილი.

გადაწყვეტილების ფუნქცია SVM-ში

გადაწყვეტილების ფუნქცია SVM-ისთვის შეიძლება გამოიხატოს შემდეგნაირად:

$f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b$

სადაც:
- $\mathbf{w}$ არის წონის ვექტორი, რომელიც განსაზღვრავს ჰიპერპლანის ორიენტაციას.
- $\mathbf{x}$ არის კლასიფიცირებული მონაცემთა წერტილის მახასიათებლის ვექტორი.
- $b$ არის მიკერძოებული ტერმინი, რომელიც ცვლის ჰიპერპლანს.

მონაცემთა წერტილის კლასიფიკაციისთვის $\mathbf{x}_i$ , გამოიყენება გადაწყვეტილების ფუნქციის ნიშანი:

$\text{sign}(f(\mathbf{x}_i)) = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)$

ეს ნიშანი განსაზღვრავს ჰიპერპლანეტის მხარეს, რომელზეც მდებარეობს მონაცემთა წერტილი.

შესვლის როლი კლასიფიკაციაში

გადაწყვეტილების ფუნქციის ნიშანი ( $\text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)$ ) პირდაპირ განსაზღვრავს მონაცემთა წერტილისთვის მინიჭებულ კლასის ეტიკეტს $\mathbf{x}_i$ . როგორ მუშაობს ეს:

1. დადებითი ნიშანი: თუ $\mathbf{w} \cdot \mathbf{x}_i + b > 0$ , გადაწყვეტილების ფუნქციის ნიშანი დადებითია. ეს ნიშნავს, რომ მონაცემთა წერტილი $\mathbf{x}_i$ დევს ჰიპერპლანის იმ მხარეს, სადაც პოზიტიური კლასი მდებარეობს. ამიტომ, $\mathbf{x}_i$ კლასიფიცირებულია, როგორც დადებით კლასს მიეკუთვნება (ჩვეულებრივ აღნიშნავენ როგორც +1).

2. უარყოფითი ნიშანი: თუ $\mathbf{w} \cdot \mathbf{x}_i + b <0$ , გადაწყვეტილების ფუნქციის ნიშანი უარყოფითია. ეს მიუთითებს, რომ მონაცემთა წერტილი $\mathbf{x}_i$ დევს ჰიპერთვითმფრინავის მხარეს, სადაც მდებარეობს უარყოფითი კლასი. აქედან გამომდინარე, $\mathbf{x}_i$ კლასიფიცირებულია, როგორც უარყოფით კლასს (ჩვეულებრივ აღნიშნავენ როგორც -1).

3. Zero: იმ იშვიათ შემთხვევაში, როცა $\mathbf{w} \cdot \mathbf{x}_i + b = 0$ , მონაცემთა წერტილი $\mathbf{x}_i$ დევს ზუსტად ჰიპერთვითმფრინავზე. ეს სცენარი თეორიულად შესაძლებელია, მაგრამ პრაქტიკულად იშვიათია რეალური ღირებულების მონაცემების უწყვეტი ბუნების გამო.

გეომეტრიული ინტერპრეტაცია

გადაწყვეტილების ფუნქციის გეომეტრიული ინტერპრეტაცია აუცილებელია იმის გასაგებად, თუ როგორ ახდენს SVM-ების კლასიფიკაცია მონაცემთა წერტილებს. მიერ განსაზღვრული ჰიპერთვითმფრინავი $\mathbf{w} \cdot \mathbf{x} + b = 0$ მოქმედებს როგორც გადაწყვეტილების საზღვარი ორ კლასს შორის. ამ ჰიპერპლანის ორიენტაცია და პოზიცია განისაზღვრება წონის ვექტორით $\mathbf{w}$ და მიკერძოების ტერმინი $b$ .

1. Margin: ზღვარი არის მანძილი ჰიპერპლანტსა და მონაცემთა უახლოეს წერტილებს შორის თითოეული კლასიდან. SVM მიზნად ისახავს მაქსიმალურად გაზარდოს ეს ზღვარი, რათა უზრუნველყოს, რომ ჰიპერპლანი არა მხოლოდ გამოყოფს კლასებს, არამედ ამას აკეთებს ყველაზე დიდი შესაძლო მანძილით უახლოეს მონაცემთა წერტილებიდან. ეს უახლოესი მონაცემების წერტილები ცნობილია როგორც დამხმარე ვექტორები.

2. მხარდაჭერის ვექტორები: მხარდაჭერის ვექტორები არის მონაცემთა წერტილები, რომლებიც ყველაზე ახლოს მდებარეობს ჰიპერპლანტასთან. ისინი გადამწყვეტია ჰიპერპლანის პოზიციისა და ორიენტაციის განსაზღვრაში. ამ დამხმარე ვექტორების პოზიციის ნებისმიერი ცვლილება ცვლის ჰიპერპლანეს.

მაგალითი

განვიხილოთ მარტივი მაგალითი, სადაც გვაქვს ორგანზომილებიანი ფუნქციების სივრცე ორი კლასის მონაცემების წერტილებით. დადებითი კლასი ავღნიშნოთ +1-ით, ხოლო უარყოფითი კლასი -1-ით. დავუშვათ წონის ვექტორი $\mathbf{w} = [2, 3]$ და მიკერძოების ტერმინი $b = -6$ .

მონაცემთა წერტილისთვის $\mathbf{x}_i = [1, 2]$ , ჩვენ შეგვიძლია გამოვთვალოთ გადაწყვეტილების ფუნქცია შემდეგნაირად:

$f(\mathbf{x}_i) = \mathbf{w} \cdot \mathbf{x}_i + b = (2 \cdot 1) + (3 \cdot 2) - 6 = 2 + 6 - 6 = 2$

მას შემდეგ, რაც $f(\mathbf{x}_i) > 0$ , გადაწყვეტილების ფუნქციის ნიშანი დადებითია და, შესაბამისად, მონაცემთა წერტილი $\mathbf{x}_i$ კლასიფიცირებულია, როგორც დადებით კლასს (+1).

სხვა მონაცემთა წერტილისთვის $\mathbf{x}_j = [3, 1]$ , ჩვენ ვიანგარიშებთ გადაწყვეტილების ფუნქციას, როგორც:

$f(\mathbf{x}_j) = \mathbf{w} \cdot \mathbf{x}_j + b = (2 \cdot 3) + (3 \cdot 1) - 6 = 6 + 3 - 6 = 3$

ისევ და ისევ, $f(\mathbf{x}_j) > 0$ , ასე რომ ნიშანი დადებითია და $\mathbf{x}_j$ კლასიფიცირებულია, როგორც დადებით კლასს (+1).

ახლა განიხილეთ მონაცემთა წერტილი $\mathbf{x}_k = [0, 0]$ :

$f(\mathbf{x}_k) = \mathbf{w} \cdot \mathbf{x}_k + b = (2 \cdot 0) + (3 \cdot 0) - 6 = -6$

ამ შემთხვევაში, $f(\mathbf{x}_k) < 0$ , ასე რომ ნიშანი უარყოფითია და $\mathbf{x}_k$ კლასიფიცირებულია, როგორც უარყოფით კლასს (-1).

მათემატიკური ფორმულირება

SVM-ის მათემატიკური ფორმულირება გულისხმობს ოპტიმიზაციის პრობლემის გადაჭრას ოპტიმალურის მოსაძებნად $\mathbf{w}$ მდე $b$ რაც მაქსიმუმს ანიჭებს ზღვარს ტრენინგის მონაცემების სწორად კლასიფიკაციისას. ოპტიმიზაციის პრობლემა შეიძლება გამოიხატოს შემდეგნაირად:

$\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2$

$\text{ექვემდებარება } y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i$

სადაც $y_i$ არის მონაცემთა წერტილის კლასის ეტიკეტი $\mathbf{x}_i$ და შეზღუდვა უზრუნველყოფს, რომ ყველა მონაცემთა წერტილი სწორად არის კლასიფიცირებული მინიმუმ 1-ის ზღვრით.

ბირთვის ხრიკი

ბევრ პრაქტიკულ პროგრამაში მონაცემები შეიძლება არ იყოს წრფივად განცალკევებული თავდაპირველი ფუნქციების სივრცეში. ამის გადასაჭრელად, SVM შეიძლება გაფართოვდეს არაწრფივ კლასიფიკაციამდე ბირთვის ხრიკის გამოყენებით. ბირთვის ფუნქცია $K(\mathbf{x}_i, \mathbf{x}_j)$ ირიბად ასახავს მონაცემებს უფრო დიდ განზომილებიან სივრცეში, სადაც შესაძლებელია ხაზოვანი გამოყოფა. ჩვეულებრივ გამოყენებული ბირთვის ფუნქციები მოიცავს პოლინომიურ ბირთვს, რადიალური საფუძვლის ფუნქციის (RBF) ბირთვს და სიგმოიდურ ბირთვს.

გადაწყვეტილების ფუნქცია ბირთვულ SVM-ში ხდება:

$f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b$

სადაც $\ალფა_ი$ არის ლაგრანგის მულტიპლიკატორები, რომლებიც მიღებულია ოპტიმიზაციის პრობლემის ორმაგი ფორმისგან.

პითონის დანერგვა

Python-ში `scikit-learn` ბიბლიოთეკა უზრუნველყოფს SVM-ის პირდაპირ განხორციელებას `SVC` კლასის მეშვეობით. ქვემოთ მოცემულია მაგალითი იმისა, თუ როგორ გამოვიყენოთ `SVC` მონაცემთა ნაკრების კლასიფიკაციისთვის:

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Select only two classes for binary classification
X = X[y != 2]
y = y[y != 2]

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create an SVM classifier with a linear kernel
clf = SVC(kernel='linear')

# Train the classifier
clf.fit(X_train, y_train)

# Predict the class labels for the test set
y_pred = clf.predict(X_test)

# Calculate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

ამ მაგალითში, `SVC` კლასი გამოიყენება SVM კლასიფიკატორის შესაქმნელად ხაზოვანი ბირთვით. კლასიფიკატორი ივარჯიშება სავარჯიშო კომპლექტზე და სიზუსტე ფასდება ტესტის კომპლექტზე. SVM-ში ფუნქციების ნაკრების კლასიფიკაცია ფუნდამენტურად არის დამოკიდებული გადაწყვეტილების ფუნქციის ნიშანზე. $\text{sign}(\mathbf{x}_i \cdot \mathbf{w} + b)$ . ნიშანი განსაზღვრავს ჰიპერპლანის რომელ მხარეს დევს მონაცემთა წერტილი, რითაც ანიჭებს მას შესაბამის კლასს. გადაწყვეტილების ფუნქცია, ოპტიმიზაციის პროცესი ოპტიმალური ჰიპერპლანის მოსაძებნად და ბირთვის ფუნქციების პოტენციური გამოყენება არაწრფივი განცალკევებისთვის, ყველა SVM-ის მნიშვნელოვანი კომპონენტებია. ამ ასპექტების გაგება იძლევა ყოვლისმომცველ ხედვას იმის შესახებ, თუ როგორ მოქმედებენ SVM-ები და მათი გამოყენება სხვადასხვა მანქანათმცოდნეობის ამოცანებში.

სხვა ბოლოდროინდელი კითხვები და პასუხები EITC/AI/MLP მანქანური სწავლება Python- ით:

იხილეთ მეტი კითხვა და პასუხი EITC/AI/MLP Machine Learning-ში Python-ით

მეტი კითხვა და პასუხი:

Tagged ქვეშ: ხელოვნური ინტელექტი, კლასიფიკაცია, გადაწყვეტილების ფუნქცია, ბირთვის ხრიკი, მანქანა სწავლა, SVM

EITCA აკადემია

გადაწყვეტილების ფუნქცია SVM-ში

შესვლის როლი კლასიფიკაციაში

გეომეტრიული ინტერპრეტაცია

მაგალითი

მათემატიკური ფორმულირება

ბირთვის ხრიკი

პითონის დანერგვა

სხვა ბოლოდროინდელი კითხვები და პასუხები EITC/AI/MLP მანქანური სწავლება Python- ით:

მეტი კითხვა და პასუხი:

EITCA აკადემია არის ევროპული IT სერტიფიცირების ჩარჩოს ნაწილი

EITCA აკადემიის უფლება 80% EITCI DSJC სუბსიდიის მხარდაჭერა

EITCA აკადემია

შედით თქვენს ანგარიშზე

დაგავიწყდა პაროლი?

ანგარიშის შექმნა

გადაწყვეტილების ფუნქცია SVM-ში

შესვლის როლი კლასიფიკაციაში

გეომეტრიული ინტერპრეტაცია

მაგალითი

მათემატიკური ფორმულირება

ბირთვის ხრიკი

პითონის დანერგვა

სხვა ბოლოდროინდელი კითხვები და პასუხები EITC/AI/MLP მანქანური სწავლება Python- ით:

მეტი კითხვა და პასუხი:

EITCA აკადემიის უფლება 80% EITCI DSJC სუბსიდიის მხარდაჭერა