Екстраполация в машинното обучение: Пълно ръководство

Въведение

Моделите на машинното обучение са впечатляващо добри в прогнозирането в рамките на моделите, които вече са видели. Те класифицират изображения, препоръчват продукти и откриват аномалии с висока точност — стига входните данни да наподобяват техните обучителни данни. Но в момента, в който ги помолите да предскажат нещо извън този познат диапазон, производителността често се срива. Това е основното предизвикателство на екстраполацията в машинното обучение: правене на надеждни прогнози отвъд границите на това, което моделът е научил. Това е добре документиран проблем, който засяга всичко от прогнозиране на цени на акции до моделиране на климатични тенденции. Разбирането защо моделите се провалят при екстраполация — и какво може да се направи — е от съществено значение за всеки, който изгражда прогнозни системи, които трябва да издържат в реалния свят.

Какво е екстраполация в ML?

Екстраполацията в машинното обучение означава прогнозиране на целеви стойности за входни данни, които попадат извън обхвата на обучителните данни. Ако модел е обучен върху цени на къщи между $100 000 и $500 000, искането му да оцени цената на къща за $1 000 000 е задача за екстраполация. Моделът никога не е виждал данни в този регион, така че неговата прогноза е присъщо несигурна.

Това е в контраст с интерполацията, при която прогнозите се правят в рамките на обхвата на наблюдаваните точки от данни. Интерполацията като цяло е надеждна, защото моделът може да разчита на близки примери, за да насочва своя изход. ML екстраполацията, от друга страна, избутва модела на територия, където не съществуват референтни точки — превръщайки я във форма на прогнозиране извън разпределението, за която повечето алгоритми не са проектирани да се справят добре.

На практика границата между интерполация и екстраполация не винаги е ясна. Точките от данни може да са оскъдни в определени региони, превръщайки това, което изглежда като интерполация, в де факто проблем на екстраполация. За по-задълбочен поглед върху тази граница вижте нашето ръководство за интерполация срещу екстраполация.

Защо ML моделите се борят с екстраполацията

Повечето модели на машинно обучение учат модели от данни, а не основни правила или физически закони. Те апроксимират връзките, присъстващи в обучителния набор, без да разбират защо тези връзки съществуват. Когато бъдат помолени да предскажат отвъд тези данни, няма модел, който да следват — само предположения.

Проблемът “извън разпределението” е централен тук. Модел, обучен върху едно разпределение на данни, може да срещне напълно различно разпределение по време на извод. Невронна мрежа, обучена върху изображения, направени през деня, вероятно ще се провали върху нощни изображения, дори ако обектите са същите.

Екстраполационните невронни мрежи са изправени пред фундаментално ограничение: невронните мрежи са по същество многомерни интерполатори. Техните изходи са претеглени комбинации от обучителни примери, така че те са склонни да произвеждат гладки, осреднени прогнози извън своя обучителен диапазон, вместо да следват истински тенденции. Дърветата на решенията и случайните гори имат различен, но също толкова ограничаващ проблем — те не могат да предсказват стойности извън диапазона на своите листови възли. Дърво, което разделя данните на листа с максимална стойност 500, никога няма да изведе 501, независимо от входа.

Дори ансамбловите методи и дълбоките архитектури наследяват тези проблеми. Без изрични механизми за справяне с невидени региони, моделите по подразбиране приемат поведения, които са математически безопасни, но практически грешни. Разбирането на R² резултатите може да помогне да се определи количествено колко зле моделът се влошава, когато бъде избутан извън своята обучителна област.

Методи, които подобряват екстраполацията в ML

Нито един метод не елиминира напълно проблема с екстраполацията, но няколко подхода могат значително да подобрят прогнозите извън разпределението.

Линейна регресия

Линейната регресия е един от малкото модели, които естествено екстраполират. Тъй като напасва линейна функция към данните, тя разширява тази функция безкрайно и в двете посоки. Въпреки че това може да доведе до нереалистични прогнози, ако истинската връзка е нелинейна, тя поне следва последователна тенденция, вместо да се изравнява. За прости случаи на употреба, линейната екстраполация остава практична базова линия.

Случайни гори с линейни листа

Стандартните случайни гори не могат да екстраполират извън своя обучителен диапазон. Въпреки това, варианти, които напасват линейни модели в листовите възли вместо постоянни стойности, могат да разширят прогнозите отвъд наблюдаваните данни. Това съчетава гъвкавостта на моделите, базирани на дървета, с капацитета за екстраполация на линейната регресия, подобрявайки производителността при задачи с истински тенденции.

Невронни мрежи с монотонни ограничения

Чрез налагане на монотонни ограничения върху конкретни входни характеристики, невронните мрежи могат да бъдат насочвани да произвеждат прогнози, които следват известни насочени връзки. Ако предметните знания казват, че температурата трябва да се увеличава с налягането, монотонно ограничение гарантира, че мрежата спазва това правило дори извън обучителния диапазон. Това е особено полезно в научни и инженерни приложения.

Символична регресия

Символичната регресия търси в пространството на математически изрази, за да намери формула, която пасва на данните. Тъй като резултатът е явно уравнение, а не научено съпоставяне, тя може да екстраполира по начин, който е последователен с откритата връзка. Инструменти като PySR и Eureqa правят този подход все по-достъпен.

Физически-информирани невронни мрежи (PINNs)

PINNs включват физически закони директно в процеса на обучение, като добавят ограничения на диференциални уравнения към функцията на загуба. Това означава, че мрежата не може да наруши известната физика, дори в региони без обучителни данни. PINNs са показали силни резултати от екстраполация в динамика на флуиди, топлообмен и други области, управлявани от добре разбрани уравнения.

Примери от реалния свят

Предизвикателствата на екстраполацията се появяват в много индустрии и изследователски области.

Моделиране на изменението на климата разчита на проектиране на данни за температура и емисии далеч отвъд историческите записи. Моделите трябва да предсказват условия, които нямат прецедент в наблюдаваните данни, което прави прогнозирането с машинно обучение особено трудно и несигурно.

Финансово прогнозиране редовно изисква прогнози отвъд скорошното пазарно поведение. Икономическите условия се променят, режимите се изместват, и моделите, обучени на бичи пазари, могат катастрофално да се провалят по време на спадове — класически провал на екстраполацията.

Откриване на лекарства често включва прогнозиране на ефектите на съединения в дози или комбинации, никога не тествани в клинични изпитвания. Модел, обучен на реакции на ниски дози, трябва да екстраполира, за да предскаже безопасност при по-високи дози, където може да се появи нелинейна токсичност.

Самоуправляващи се автомобили срещат пътни условия, метеорологични събития и конфигурации на препятствия, които отсъстват от техните обучителни данни. Надеждната работа изисква известен капацитет за екстраполация, или поне грациозна деградация при сблъсък с непознатото.

Екстраполация срещу интерполация в ML

Разбирането на разликата между интерполация и екстраполация е от решаващо значение за избора на правилния модел и поставянето на реалистични очаквания. Таблицата по-долу подчертава ключовите разлики. За по-подробно сравнение вижте нашата статия за интерполация срещу екстраполация.

Аспект	Интерполация	Екстраполация
Диапазон на данни	В рамките на обучителните данни	Извън обучителните данни
Увереност на модела	По-висока	По-ниска
Риск от грешка	По-нисък	По-висок
Обичайна употреба	Класификация, напасване	Прогнозиране, предсказване

Интерполацията се възползва от гъсти референтни точки, които закотвят прогнозите. Екстраполацията няма тези котви, така че обобщението на ML става централният проблем — и централният риск. Модели, които обобщават добре в рамките на своето обучително разпределение, може изобщо да не обобщават извън него. Можете да изследвате и двата подхода с нашия калкулатор за интерполация или нашия калкулатор за регресия.

Най-добри практики

• Валидирайте върху тестови набори извън разпределението. Стандартните разделяния на обучение-тест държат оценката в рамките на обучителното разпределение. Умишлено задържайте данни от различни диапазони или условия, за да измерите истинската производителност на екстраполация.
• Използвайте предметни знания, за да ограничите прогнозите. Включете известни физически закони, монотонни връзки или гранични условия в процеса на моделиране. Това предотвратява модела да произвежда физически невъзможни резултати.
• Комбинирайте ML с традиционни статистически методи. Хибридни подходи, които смесват научени модели с принципни техники за екстраполация — като методи за екстраполация от класическата статистика — обикновено превъзхождат чистия ML в среди извън разпределението. За фокусирано сравнение на двата най-често срещани класически метода вижте полиномиална екстраполация срещу линейна.

Инструменти и ресурси

Няколко Python библиотеки поддържат моделиране, съобразено с екстраполация. scikit-learn предоставя линейни модели и методи, базирани на дървета, които могат да бъдат конфигурирани за по-добро поведение при екстраполация. PyTorch позволява персонализирани функции на загуба и архитектурни ограничения, включително монотонни характеристики и физически-информирани обучителни цикли. За по-прости нужди, калкулаторът за екстраполация предлага бърз начин за проектиране на тенденции без писане на код.

Традиционно числено прогнозиране? Опитайте калкулатора за екстраполация за бързо проектиране на тенденции.

Заключение

Екстраполацията в машинното обучение е присъщо трудна, но не и невъзможна. Линейните модели, ограничените архитектури, символичната регресия и физически-информираните подходи предлагат пътища към по-надеждни прогнози извън разпределението. Ключът е да разпознавате кога е необходима екстраполация, да избирате методи, подходящи за задачата, и да валидирате агресивно отвъд обучителното разпределение. Експериментирайте с различни подходи, измервайте какво се проваля и итерирайте. Когато имате нужда от лесен начин за проектиране на тенденции без изграждане на пълен ML пайплайн, опитайте калкулатора за екстраполация.

Могат ли невронните мрежи да екстраполират?

Стандартните невронни мрежи са слаби в екстраполацията. Те се учат да интерполират между обучителни примери и са склонни да произвеждат плоски или нерегулярни прогнози извън обучителния диапазон. Специализирани архитектури с монотонни ограничения или физически-информирани функции на загуба могат да подобрят екстраполацията, но обикновените мрежи обикновено не могат.

Защо екстраполацията е трудна в машинното обучение?

Екстраполацията е трудна, защото ML моделите учат статистически модели от обучителни данни, а не причинно-следствени правила. Когато входовете попаднат извън обучителното разпределение, няма модели за следване и моделът няма принципна основа за своите прогнози. Това води до непредвидими и често изключително грешни изходи.

Каква е разликата между интерполация и екстраполация в ML?

Интерполацията предсказва в рамките на диапазона на обучителните данни, където моделът може да се позовава на близки примери. Екстраполацията предсказва извън този диапазон, където не съществуват референтни точки. Интерполацията обикновено е точна; екстраполацията обикновено е несигурна и склонна към грешки.

Кои ML модели могат да екстраполират?

Линейната регресия екстраполира естествено чрез удължаване на своята напасната линия. Линейните модели с регуляризация (ридж, ласо) се държат подобно. Случайни гори с линейни листа, модели на символична регресия и физически-информирани невронни мрежи също могат да екстраполират с различна степен на надеждност. Повечето други модели — включително стандартни невронни мрежи, дървета на решенията и k-най-близки съседи — не могат.