DOI: 10.15514/ISPRAS-2025-37(6)-60

^1,2 М.С. Александров, ORCID: 0009-0009-8358-7452 <aleksandrovms@my.msu.ru>

^1,3 Р.Е. Воронов, ORCID: 0009-0000-3010-495X <porludom@mail.ru>

¹ К.О. Шестакова, ORCID: 0009-0004-1429-879X <xxeniashestakova@gmail.com>

^1,4 Д.А. Былинкин, ORCID: 0009-0008-9251-9788 <da.bylinkin@gmail.com>

^1,4 Д.О. Медяков, ORCID: 0009-0003-2007-8446 <medyakovd3@gmail.com>

^1,3,4 А.Н. Безносиков, ORCID: 0000-0002-3217-3614 <anbeznosikov@gmail.com>

¹ Лаборатория фундаментальных исследований искусственного интеллекта
Московского независимого исследовательского института искусственного интеллекта.

² Московский государственный университет им. М.В. Ломоносова,

Россия, 119991, Москва, Ленинские горы, д. 1.

³ Университет Иннополис,

Россия, 420500, Республика Татарстан, г. Иннополис, ул. Университетская, д. 1.

⁴ Институт системного программирования им. В.П. Иванникова РАН,

Россия, 109004, г. Москва, ул. А. Солженицына, д. 25.

Аннотация. Современные приложения федеративного обучения часто требуют персонализированного результата для каждого пользователя. Обучение на локальных данных нецелесообразно из-за малых выборок и ограниченной вычислительной мощности устройств, тогда как глобальное обучение неэффективно из-за неоднородности данных у клиентов. Озвученные проблемы формируют значимую исследовательскую задачу. В работе предлагается новая стратегия, которая задействует мощный сервер в качестве помощника. Сервер использует свой большой набор данных для отбора объектов для каждого устройства на основе косинусной похожести, что обеспечивает более эффективную персонализацию без потери качества обучения. Выводы работы обоснованы теоретически и подтверждены серией экспериментов, включая предсказание следующего слова и классификацию изображений. Представленный подход превосходит большинство передовых методов как теоретически, так и эмпирически.

Ключевые слова: федеративное обучение; персонализированное обучение; невыпуклая оптимизация; похожесть данных.

Для цитирования: Александров М.С., Воронов Р.Е., Шестакова К.О., Былинкин Д.А., Медяков Д.О., Безносиков А.Н. Использование похожести данных для улучшения качества персонализации с помощью внедрения информации с других устройств. Труды ИСП РАН, том 37, вып. 6, часть 4, 2025 г., стр. 227–248. DOI: 10.15514/ISPRAS-2025-37(6)-60.

Благодарности: Работа выполнена в Лаборатории Проблем Федеративного Обучения ИСП РАН (при поддержке дополнительного соглашения № 2 к Соглашению № 075-03-2024-214).

1. Введение

Текущие реалии в области машинного обучения характеризуются экспоненциальным ростом данных и необходимостью извлекать сложные зависимости за разумное время [1,2]. Это приводит к росту популярности распределённых вычислений в сообществе. В настоящее время трудно представить обучение модели без использования нескольких вычислительных устройств. В распределённой парадигме обычно предполагается, что данные разделены между устройствами/клиентами/узлами/машинами/пользователями, соединенными через сервер, который выступает в роли главного вычислительного хаба. Данная область оптимизации уже хорошо изучена [3-5]. Однако современные приложения часто требуют рассмотрения более специфических сценариев. Например, отдельные клиенты могут собирать данные локально, что приводит к значительной неоднородности, то есть различию в распределениях. При этом, обмен объектами между устройствами невозможен из-за соображений конфиденциальности. Такая постановка известна как федеративное обучение [6-10]. Его цель – обучить общую модель, используя знания нескольких устройств. Формально, решается следующая задача:

найти $x^{*}\in {\mathrm{R}}^d,$ т.ч. $f\left(x^{*}\right)\approx \underset{x\in {\mathrm{R}}^d}{\mathrm{argmin}}\{f\left(x\right)=\frac{1}{M}\sum _{m=1}^M{E}_{{\xi }_m\sim D_m}{f}_m\left(x,{\xi }_m\right)\},$ (1)

где $E_{{\xi }_m\sim D_m}{f}_m(x,{\xi }_m)$ обычно оценивается через эмпирический риск ${\tilde{f}}_m\left(x\right)=\frac{1}{n_m}\sum _{i=1}^{n_m}{\mathrm{l}}_m\left(g_m\right(x,a_i^m),b_i^m)$; $l_m$ – это $m$-я локальная функция потерь [11], $g_m(x,a_i^m)$ – это выход модели на стороне пользователя $m$ с параметрами $x$, $(a_i^m,b_i^m)$ – это $i$-й объект $m$-го клиента, $M$ – число узлов, $n_m$ – размер $m$-го локального набора данных с распределением $D_m$. Однако во многих современных приложениях каждое устройство стремится обучить модель, которая решает его персональную задачу. Эта парадигма называется персонализированным федеративным обучением (personalized federated learning) [12-15]. Формально постановка подразумевает:

для каждого $m\in \left\{1,\dots ,M\right\}$найти $x_m^{*}\in {\mathrm{R}}^d,$

т.ч. $f_{m\left(x_m^{*}\right)}\approx \underset{\mathrm{x}\in {\mathrm{R}}^d}{\mathrm{argmin}}{E}_{{\xi }_m\sim D_m}\left[f_m\right(x,{\xi }_m\left)\right].$ (2)

Задача (2) возникает в ряде приложений, включая медицинскую диагностику [16], Интернет вещей [17], обработку естественного языка [18]. Тем не менее, эта постановка привносит свои проблемы. Поскольку наборы данных клиентов малы, ${\tilde{f}}_m$ плохо аппроксимирует $f_m$. В результате локальное обучение обычно приводит к переобучению [19]. Более того, ограниченная вычислительная мощность и память снижают возможность достижения высокого качества. В то же время использование глобальной модели из (1) также неэффективно из-за неоднородности данных на устройствах (см. рис. 1 в [20]). Следовательно, необходимо рассматривать более комплексный подход. Среди наиболее распространенных методов выделяются целевые функции со штрафами [21-25], кластеризация [26-29], мета-функции [14,30] и различные эвристики [31,32]. Методы, основанные на целевых функциях со штрафами, вводят дополнительные регуляризационные слагаемые, чтобы направлять локальные обновления к более общему решению, допуская при этом персонализацию. Кластеризация, в свою очередь, организует пользователей в группы на основе общих характеристик для целей обучения. Мета-функции обучают инициализацию, которая может быстро подстраиваться под индивидуальные данные. Эвристические подходы используют как новые, так и устоявшиеся идеи, такие как дистилляция знаний или перенос обучения, для решения этой проблемы. Однако эти подходы сталкиваются с рядом проблем, такие как трудность поиска правильного компромисса между персонализацией, обобщающей способностью и вычислительными издержками (см. табл. 1 в работе [12]). В этой работе рассматривается подход, отличный от перечисленных выше.

1.1 Мотивация

В вышеупомянутых подходах сервер служит лишь для более эффективной коммуникации. На практике же он представляет собой центр обработки, хранящий большой открытый набор данных [33]. Вследствие этого предполагается, что текущие подходы используют лишь малую долю его возможностей. Более того, локальные объекты могут иметь общие закономерности с открытыми данными, хранящимися на центральном узле (см. табл. 3 в [34]). В данной работе сервер рассматривается как независимое вычислительное устройство, способное оказывать специализированную помощь каждому клиенту индивидуально на протяжении всего процесса обучения, повышая общую эффективность и качество работы.

2. Обзор литературы

2.1 Персонализированное федеративное обучение

Ранее были упомянуты различные подходы к персонализированному федеративному обучению. В данном разделе они обсуждаются более подробно.

2.1.1 Смесь моделей

В работе [35] авторы предложили сглаживание предварительно обученных локальных моделей по сети. Однако сообщество нуждалось в более гибком подходе, при котором локальные и глобальные модели обучаются параллельно. Следуя этой идее, в [36] сформулировали персонализированное федеративное обучение как регуляризованную задачу. Авторы моделировали отношения между узлами с помощью матрицы весов, которая обновляется редко. Тем не менее, их фреймворк MOCHA влек за собой высокие вычислительные затраты и плохо масштабировался в больших сетях. Позднее авторы [37] предложили использовать выпуклую комбинацию локальных и глобальной моделей. Теоретический анализ этого подхода был впоследствии проведен в [13]. В качестве ортогональной идеи в [21] ввели регуляризацию локальной функции потерь через отклонение от среднего. В частности, авторы предложили следующую постановку задачи:

найти $\left(x_1^{*},\dots ,x_M^{*}\right)\approx \underset{x_1,\dots ,x_M\in {\mathrm{R}}^d}{\mathrm{argmin}}\left[\frac{1}{M}{\sum _{m=1}^{M}f}_m\left(x_m\right)+\frac{\lambda }{2M}\sum _{m=1}^M\parallel x_m-\overline{x}{\parallel }^{\mathit{2}}\right],$ (3)

где $\overline{x}$ – среднее значение параметров $x_1,\dots ,x_M$, $\lambda$ – коэффициент регуляризации. Позднее в [22] вывели нижние оценки для этой формулировки. Для получения лучших локальных решений авторы [23] развили концепцию частичной персонализации. Их фреймворк pFedMe основан на оболочках Моро и решает следующую задачу:

найти ${\omega }^{*}\approx \underset{\mathrm{\omega }\in {\mathrm{R}}^d}{\mathrm{a}\mathrm{rg}\min }\left[\frac{1}{M}\sum _{m=1}^M\underset{{\mathrm{x}}_m\in {\mathrm{R}}^d}{\min }\{f_m\left(x_m\right)+\frac{\lambda }{2}\sum _{m=1}^M\parallel x_m-\omega {\parallel }^{\mathit{2}}\}\right].$ (4)

Частично персонализированное обучение сопряжено с рядом проблем, включая необходимость дополнительного хранения вектора глобальных параметров на каждом узле. Этот аспект особенно критичен с учетом ограниченных возможностей локальных устройств в задачах персонализированного федеративного обучения. Эта проблема была решена в [25]. Авторы интегрировали персонализацию и глобальные знания в единую модель. Однако этот подход требует тщательной координации для баланса между адаптацией и обменом взаимной информацией, что часто приводит к более медленной сходимости и большему потреблению ресурсов. Тем не менее, смесь моделей является наиболее широко используемым на практике методом [38-40], хотя существуют и другие ортогональные подходы.

2.1.2 Кластеризация

Работа [41] была одной из первых, которая развивала это направление. Авторы предложили кластеризовать клиентов на основе сходства данных. Однако их метод требовал выпуклых целевых функций и использовал $l_2$-расстояние между градиентами в качестве меры сходства, что эффективно только при хорошей разделимости минимумов кластеров. Большинство известных подходов выполняют «жесткую» кластеризацию [42-45], назначая пользователей в единственные кластеры, которые считаются однородными. В [46] решили эту проблему с помощью «мягкой» кластеризации, моделируя данные каждого клиента как смесь распределений и обучая по одной модели на кластер. Однако их метод требует обновления всех моделей кластеров на каждой эпохе и предполагает ограниченность градиента и дисперсии. Авторы [47] снизили коммуникационные издержки за счет обучения только одной модели в эпоху. Однако их метод накладывает дополнительные сильные предположения. Множество других работ также сосредоточено на кластеризации в персонализированном обучении [26,48-52].

2.1.3 Мета-обучение

Первый шаг в этом направлении был сделан с созданием Per-FedAvg в [14]. Вдохновляясь подходом MAML (model-agnostic-meta-learning) [53], было предложено минимизировать

Эта формулировка позволила уловить различия между устройствами, принимая во внимание каждое локальное обновление. Однако метод требует вычисления ${\nabla }^2{f}_m\left(x\right)$ для выполнения шага, что вычислительно дорого. Это мотивировало исследования подходов первого порядка [30,54].

2.1.4 Эвристики

Существует множество различных эвристических подходов. Наиболее часто используемой техникой является дистилляция знаний (Knowledge Distillation, KD) [55], которая сокращает количество коммуникаций и помогает персонализировать модели без обмена чувствительными к приватности данными. Исследователи усовершенствовали KD с помощью таких инноваций, как двунаправленная обратная связь для динамической настройки [56], легковесные генераторы на стороне сервера, создающие сбалансированные наборы признаков для клиентов, чтобы дополнить локальные миноритарные классы глобальной информацией [57], а также специализированная взвешенная комбинированная функция потерь [58].

Другая важная группа алгоритмов использует обучение с подкреплением (Reinforcement Learning) [59-61]. Например, [62] применяет двойное глубокое Q-обучение (double deep Q-Learning) для выбора клиентов для обучения глобальной модели на каждой эпохе. Работа [63] приоритизирует приватность, оптимизируя политики возмущений (perturbation policies) с помощью многоагентного RL, достигая баланса между конфиденциальностью данных и точностью локальной модели.

Помимо этих категорий, значительный вклад вносят методы параметризованного переноса знаний [15] и алгоритмы, использующие персонализированные подсети для клиентов, уточняемые с помощью гибридных и неструктурированных алгоритмов выключения весов [64]. Существует множество других работ [65-70].

2.2 Косинусное сходство

Одним из узких мест персонализированного федеративного обучения является неоднородность наборов данных. Действительно, природа локальных и общих объектов часто различается [7,71]. Однако определенные методы позволяют выявлять устройства со схожими закономерностями. Среди них выделяется косинусное сходство [72,73]. В последнее время эта идея стала применяться в персонализированном федеративном обучении. Одной из основополагающих работ в этой области является [74], в которой было предложено кластеризовать клиентов на основе косинусного сходства обновлений их моделей. В частности, авторы представили идею объединения устройств с похожими направлениями градиентов, что позволяет группировать узлы в соответствии со сходством распределений их данных. Многие другие работы переняли этот метод [75,76]. В [77], исследователи предложили выводить динамический граф связей устройств на основе косинусного сходства обновлений локальных моделей, который затем используется для персонализированной агрегации. Однако эту идею можно расширить, используя косинусное сходство для выявления подмножеств данных на устройстве, которые согласуются с распределениями другого клиента. Это ключевая идея, лежащая в основе данной работы.

3. Вклад

С учетом обзора литературы, можно сформулировать основные вклады данной работы.

• В работе представляется алгоритм Personalized Adaptive Networked Data Augmentation (PANDA) – персонализированной адаптивной сетевой аугментации данных. В этом подходе для каждой пары «устройство–сервер» сервер выбирает подмножество из своего большого, равномерно распределенного хранилища данных, чтобы максимизировать косинусное сходство с набором данных соответствующего клиента. Эти объекты используются для повышения точности локального обучения.
• Проводится теоретический анализ для невыпуклой постановки. Результаты конкурентоспособны по сравнению с другими подходами и демонстрируют, что внедрение дополнительных данных уменьшает дисперсию пропорционально квадратному корню из количества серверных объектов.
• Для проверки теории предложенный алгоритм используется для обучения ResNet-18 на наборе данных CIFAR-10 и LSTM в задаче предсказания следующего слова. Эксперименты показывают улучшение метрик по сравнению с существующими методами.

4. Постановка задачи

В данной работе рассматривается задача классификации. Обозначим множество доступных классов как $C$, а его мощность – как $\left|C\right|$. Сервер выступает в роли контейнера данных, обладающего значительной вычислительной мощностью и хранящего множество объектов каждого класса.

В то время как другие работы опираются на неестественные предположения, такие как выпуклость целевой функции [21,25,41], ограниченная дисперсия [13,23,46,52,78] и ограниченные градиенты [46-47], предложенный в данной статье анализ их избегает. Из практики известно, что использование даже многослойного перцептрона [79] с одним промежуточным слоем влечет за собой невыпуклость целевой функции [80]. Более сложные сети имеют еще более сложный ландшафт целевой функции, что дополнительно затрудняет оптимизацию [81]. Поэтому, в работе рассматривается невыпуклый случай.

Предположение 4.1. Каждая локальная функция $f_m$ является невыпуклой и ограниченной, то есть

Предполагается, что каждая локальная функция $f_m$ является гладкой. Это предположение является стандартным. Оно возникает в теоретическом анализе многих успешно применяемых методов [23,42,46,82].

Предположение 4.2. Каждая локальная функция $f_m$ является $L_m$-гладкой, то есть

5. Алгоритм и анализ

Раздел содержит описание алгоритма персонализации PANDA, за которым следуют гарантии сходимости данного подхода и введение нескольких его расширений.

5.1 Персонализация с помощью PANDA

Предполагается, что сервер хранит обширный набор данных с равномерным распределением всех доступных классов. В отличие от этого, каждый клиент владеет лишь небольшим несбалансированным набором объектов. Для улучшения обучения пользователи используют данные, предоставляемые сервером. В Алгоритме 1 сервер поддерживает копии всех локальных моделей $\{g_m{\}}_{m=1}^M$. Эта особенность позволяет серверу вычислять эмпирический риск $g_m$ на подмножестве данных сервера. Из-за неоднородности клиентов использование всех данных сервера не является репрезентативным. Поэтому вводятся веса ${\omega }_m=({\omega }_{m,1},\cdots ,{\omega }_{m,C})$, с помощью которых можно семплировать записи класса $c$ с вероятностью ${\omega }_{m,c}$, гарантируя, что распределение классов, заданное ${\omega }_m$, близко аппроксимирует распределение клиента. Полученное подмножество используется для вычисления эмпирического риска, обозначаемого как $f_0^m(x_m,{\omega }_m)$. Например, ${\omega }_m=(\mathrm{1,0}\dots ,0)$ означает, что для построения риска используются только объекты первого класса. Для достижения лучшей аппроксимации семплирование происходит $N$ раз, а затем берется среднее. Более подробно см. в разделе 5.2. Из соображений конфиденциальности, цель – разработать процедуру, которая определяет ${\omega }_m$, не раскрывая данные клиента. Кроме того, алгоритм должен быть устойчив к шуму в ${\omega }_m$.

Веса оптимизируются в строке 7 для минимизации угла между градиентом клиента $\nabla f_m\left(x_m^k\right)$ и градиентом сервера $\nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\omega }_{m,i}^k\right)$, вычисленным на его семплированном подмножестве данных и модели $g_m$ (см. Подраздел 5.2 для деталей). Сервер возвращает узлу полученный градиент в строке 8. Клиент обновляет свою модель, используя взвешенную сумму обоих градиентов в строке 11. Это сглаживание компенсирует возможные различия в длине этих векторов. Поскольку устройства содержат ограниченное количество объектов, вычисленный на них эмпирический риск не отражает точно истинный эмпирический риск пользователя. Объединение локальных данных с похожим подмножеством из большего набора данных дает лучшую аппроксимацию Монте-Карло распределения данных пользователя, что приводит к улучшенной сходимости.

Теорема 5.1. Рассмотрим Алгоритм 1 для минимизации $f_m$ из задачи (2) при выполнении условий 4.1 и 4.2 с настройкой

гарантирующей, что неравенство ниже выполняется на каждой итерации:

Тогда имеет место следующая оценка скорости сходимости:

где $\phi \left(N\right)=\tilde{\mathcal{O}}\left(\frac{1}{N}\right)$, и $R_m=f_m\left(x_m^0\right)-f_m\left(x_m^{*}\right)$.

Полное доказательство приведено в разделе 8.2. Параметр $\beta$ количественно определяет точность решения сервером подзадачи в строке 7. $\beta =1$ указывает на точное решение, $\beta <1$ – на приближенное. Более подробная информация представлена в разделе 5.2.

5.1.2 Сравнение с конкурентами

Сравнивается предложенный алгоритм с несколькими другими алгоритмами, для которых существует теоретический анализ для невыпуклого случая. Сводная информация представлена в табл. 1. Все рассматриваемые алгоритмы опираются на ограничительные предположения, такие как требование ограниченности дисперсии стохастического градиента. Анализ из этой работы позволяет избежать наложения столь сильных ограничений. Более того, оценка скорости сходимости не содержит неустранимого слагаемого дисперсии.

Сначала сравним слагаемые, отвечающие за дисперсию. Все рассматриваемые методы зависят от дисперсии стохастического градиента $\sigma$. Однако на практике $\sigma$ не существует. В отличие от этого, аналогичное слагаемое в PANDA не зависит от $\sigma$, масштабируется как $\frac{1}{N}$, где N – количество объектов, и, следовательно, может быть сделано достаточно малым.

Основное слагаемое сходимости метода составляет $\mathcal{O}\left(\frac{L}{K}\right)$. Методы pFedMe и APFL имеют $\sqrt{K}$ вместо $K$, что приводит к худшим показателям эффективности. Остальные методы, включая PANDA, достигают асимптотически оптимальной скорости.

5.2 Процедура семплирования

Ранее отмечалось, что сервер может построить аппроксимацию $\nabla f_m\left(x_m^k\right)$. Этот подраздел посвящен детальному обсуждению данной процедуры. В работе предполагается, что сервер содержит все возможные классы распределения данных. Сервер знает о модели $g_m$ на $m$-м устройстве и может инициализировать ее локально. В наивном подходе он использует все доступные данные для вычисления градиента. Однако можно пойти другим путем. Предлагается использовать только подмножество объектов для построения $f_0^m(\cdot )$, семплируя их из мод распределения пользователя с неравномерными вероятностями. Если устройство содержит $N$ объектов, и $N_c$ объектов класса $c$, то вклад этого класса в функцию потерь составляет $\frac{N_c}{N}$. Поскольку раскрывать какие-либо характеристики данных клиента не допускается, эти веса оцениваются, формулируя подзадачу в строке 7 Алгоритма 1 как максимизацию

$g\left({\omega }_{m,1},\dots ,{\omega }_{m,N}\right)=⟨\nabla f_0^m\left(x_m^k,\frac{1}{N}\sum _{i=1}^N{\omega }_{m,i}\right),\nabla f_m\left(x_m^k\right)⟩$ (5)

на вероятностном симплексе ${△}_1^{\left|C\right|}$ и обозначаем $({\widehat{\omega }}_{m,0},\cdots ,{\widehat{\omega }}_{m,N})$ как решение. Идея состоит в поиске таких весов, при которых $\nabla f_m\left(x_m^k\right)$ и $\nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\widehat{\omega }}_{m,i}\right)$ образуют как можно меньший угол.

Табл. 1. Сравнение PANDA и других алгоритмов. Скорость указана для невыпуклого случая и измеряется как точность решения после K эпох.
Здесь σ – дисперсия, L – константа гладкости, δ – константа ограниченности градиентов,
$\tilde{\Delta }$ – параметр разделения межкластерного расстояния, учитывающий L-гладкость.

Подзадача (5) имеет элегантное решение. Эмпирические потери из (5) можно представить как выпуклую комбинацию градиентов функций потерь на отдельных классах $\nabla f_{0,c}^m(\cdot )$:

Таким образом, исходная задача сводится к максимизации суммы независимых линейных функций. Это простая задача, которую можно решить за время $\mathcal{O}\left(C\right)$ с использованием различных методов [83-85].

5.2.1 Вопросы конфиденциальности

Как упоминалось ранее, метод не раскрывает распределение данных на устройствах. Однако передача градиентов несет в себе определенные риски. Для решения этой проблемы можно применить схемы дифференциальной приватности [86-88]. Это означает, что нельзя решить задачу (5) с такой же точностью, как в теории. Формально решается (5) приближенно, с ошибкой, выраженной через параметр $\beta$. Сервер максимизирует (5) до тех пор, пока не будет выполнено следующее неравенство:

$⟨\nabla f_0^m\left(x_m^k,\frac{1}{N}\sum _{i=1}^N{\omega }_{m,i}^k\right),\nabla f_m\left(x_m^k\right)⟩\ge \beta \parallel \nabla f_0^m\left(x_m^k,\frac{1}{N}\sum _{i=1}^N{\omega }_{m,i}^{k-1}\right){\parallel }^2.$ (6)

Как указано в основной части, случай $\beta =1$ является идеальным, однако можно ослабить требование к $\beta$ для поиска менее точного решения. PANDA устойчив к любому выбору $\beta$ (см. Раздел 7.3 для эмпирических результатов).

6. Численные эксперименты

Для подтверждения теоретических выводов была обучена ResNet-18 [89] для решения задачи классификации на CIFAR-10 [90] и LSTM [91] для задачи предсказания следующего слова. Как функция потерь была взята отрицательная кросс энтропия:

$f\left(x\right)=-\frac{1}{M}\sum _{m=1}^M\frac{1}{n_m}{\sum _{i=1}^{n_m}\sum _{c∊C}^{}y}_{i,c}^m\log {\hat{y}}_{i,c}^m(a_i^m,x),$ (7)

где $C$ – множество классов, $y_{i,c}^m$ и ${\widehat{y}}_{i,c}^m(a_i^m,x)$ – $c$-е компоненты one-hot закодированной и предсказанной метки для объекта $a_i^m$ соответственно. Для симуляции персонализированной стратегии предполагается, что устройства содержат небольшие неоднородные наборы данных, в то время как сервер имеет доступ к большой части общего набора данных. Для измерения неоднородности введена метрика $H\left(m\right)=\frac{1}{M}\sum _{i=1}^{M}KL\left({\kappa }_m\parallel {\kappa }_i\right)$, где ${\kappa }_m$ определена как доля классов среди всех обучающих объектов на $m$-м узле, а $\mathrm{KL}(\cdot \parallel \cdot )$ – дивергенция Кульбака-Лейблера.

Алгоритм 1 сравнивается с подходами на основе смеси моделей, а именно FFGG [25] и L2GD [21], а также методом на основе кластеризации FedAC [75]. Кроме того, тестируется базовый метод (baseline), который назначает равномерные веса ${\widehat{\omega }}_m$ и наивно отражает идею данного подхода с $\theta =0$, а также локальное обучение, эквивалентное Алгоритму 1 с
$\theta =1$.

Классификация изображений. Эксперименты по классификации изображений были проведены на наборе данных CIFAR-10 [89], содержащем 50000 обучающих и 10000 тестовых объектов. Каждое устройство хранит 1000 объектов, в то время как сервер содержит остальное. Более подробно см. в Разделе 7. Результаты представлены на рис. 1.

Предсказание следующего слова. Для оценки того же набора методов была рассмотрена задача предсказания следующего слова. Эксперимент задействует набор данных [93] с 74000 английских и 6000 итальянских предложений, хранящихся на сервере. Устройство хранит подмножество, содержащее 4000 итальянских примеров. Подробности см. в разделе 7. Результаты представлены на рис. 2.

6.1 Обсуждение

Численные эксперименты показывают, что PANDA превосходит другие подходы. Более того, практические наблюдения демонстрируют высокую устойчивость к изменяющейся неоднородности данных, поскольку она нивелируется выбором подходящих весов. FFGG и L2GD показывают худшее качество, чем заявлено в оригинальных статьях. Это связано с тем, что в статье рассматриваются настройки с высокой неоднородностью, в то время как глобальная модель требует определенного уровня однородности среди клиентов (см. табл. 1 в [14]). Стоит уточнить, что сценарии, в которых используются только локальные градиенты или равномерное семплирование сервером, работают хуже по сравнению с комбинацией этих двух подходов (Алгоритм 1). Это подтверждает теорию и демонстрирует ее практическую реализацию.

Рис. 1. Сравнение персонализированных методов на (7) и наборе данных CIFAR-10 с ResNet-18. Эксперимент был проведен с разным значением H(m),
чтобы показать устойчивость предложенного подхода.

Рис. 2. Сравнение персонализированных методов на (7) и наборе данных для предсказания следующего слова с LSTM. Рассматривается сильно неоднородная постановка.

7. Детали экспериментов

7.1 Классификация изображений

7.1.1 Настройка. Первая часть численных экспериментов проводится на наборе данных CIFAR-10 [89], который широко используется в сообществе оптимизации в качестве бенчмарка и состоит из 50000 обучающих и 10000 тестовых объектов. Каждый объект представляет собой RGB-изображение размером $32\times 32$, ассоциированное с одной из десяти меток классов. Эксперименты реализованы на языке Python с использованием библиотеки PyTorch [92], задействуя как один CPU (Intel Xeon 2.20 GHz), так и один GPU (NVIDIA RTX 2080 Ti) для вычислений. Для эмуляции персонализированной среды пакеты данных распределены между несколькими узлами в соответствии с диспропорцией ${\kappa }_m$ (см. Раздел 6). Каждое устройство получает по 1000 объектов, в то время как сервер – всё остальное. Общее время выполнения всех экспериментов составляет приблизительно 40 часов.

В качестве базовой модели для задачи классификации изображений выбрана архитектура ResNet18 [90]. Эта модель является общепринятым эталоном в исследованиях, что обеспечивает сопоставимость результатов.

7.1.2 Гиперпараметры

• количество узлов ($M$): 10;
• скорость обучения ($\gamma$): 0.001 для всех оптимизаторов;
• точность решения подзадачи ($\beta$): 0.9;
• параметр сглаживания ($\theta$): 0.5.

7.2 Предсказание следующего слова

7.2.1 Вторая часть экспериментов проводится на наборе данных [93], состоящем из предложений на разных языках. В каждом предложении скрывается произвольное слово для сбора обучающих данных. Выбираются только предложения на английском и итальянском языках. Эксперименты реализованы на языке Python с использованием библиотеки PyTorch [92], задействуя для вычислений как один процессор типа Intel Xeon 2.20 GHz, так и один процессор типа NVIDIA RTX 2080 Ti. Для эмуляции персонализированной среды каждому устройству выделяются 4000 итальянских примеров, в то время как сервер хранит 74000 английских и 6000 итальянских примеров. Общее время выполнения всех экспериментов составляет приблизительно 20 часов.

Решается задача предсказания следующего слова с помощью архитектуры LSTM [91] – стандартной эталонной модели для оценки алгоритмов оптимизации благодаря её балансу сложности и производительности.

7.2.2 Гиперпараметры

• количество узлов ($M$): 6;
• скорость обучения ($\gamma$): 0.005 для всех оптимизаторов;
• точность решения подзадачи ($\beta$): 0.9;
• параметр сглаживания ($\theta$): 0.5.

7.3 Устойчивость к точности решения подзадачи

В этом разделе приводятся доказательства того, что решение подзадачи (5) обеспечивает конфиденциальность. Это важно, так как точное решение позволяет серверу восстановить распределение классов устройства, что вызывает опасения по поводу конфиденциальности. Для количественной оценки вводится метрика

${\chi }^k=\mathrm{KL}\left(\nabla f_m\left(x^k\right)\parallel \nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\omega }_{m,i}^k\right)\right),\chi =\frac{1}{K}{\sum _{k=0}^{K-1}\chi }^k$.

Например, $\chi =0$ относится к точному решению. В экспериментах $\chi =\{\mathrm{0.56},\mathrm{0.63},\mathrm{0.6}9\}$ для уровней неоднородности $H\left(m\right)=\{\mathrm{0.42},\mathrm{0.58},\mathrm{0.86}\}$ соответственно при решении задачи классификации изображений, и $\chi =0.85$ при тестировании на задаче предсказания следующего слова. Таблица демонстрирует, что предложенный метод может достигать высокой эффективности, не зная точных меток устройства, что делает его устойчивым.

8. Доказательство теоремы

8.1 Вспомогательная лемма

При доказательстве сходимости предложенных методов ключевую роль играет следующий факт, выведенный с использованием теории статистического обучения.

Лемма 8.1. Пусть $f_j^m\left(x,\omega \right)$ – аппроксимация $f_m\left(x\right)$, построенная на данных $j$-го устройства (см. основной текст для пояснения обозначений). Выполняется следующее неравенство:

Доказательство. $\nabla f_j^m\left(x,\frac{1}{N}{\sum _{i=1}^N\omega }_i\right)$ не зависит от случайной величины $\omega$. Это позволяет нам записать

Следовательно,

Далее, используя следствие из определения интеграла и неравенство Йенсена, получаем

$\parallel \nabla f_j^m\left(x,\frac{1}{N}{\sum _{i=1}^N\omega }_i\right)-E_{\omega }\nabla f_j^m\left(x,\omega \right){\parallel }^2\le \underset{\Omega }{\overset{}{\int }}\parallel \nabla f_j^m\left(x,\frac{1}{N}{\sum _{i=1}^N\omega }_i\right)-\nabla f_j^m\left(x,\omega \right){\parallel }^2\mathrm{d\omega }.$ (8)

$f(\cdot ,\omega )$ определена на вероятностном симплексе. Это ограниченное множество, и, следовательно, $f(\cdot ,\omega )$ имеет $L_{\omega }$-липшицев градиент. В сочетании с (8) это влечет

Используя неравенство Юнга, получим

$\le 2L_{\omega }^2\left[\parallel \frac{1}{N}{\sum _{i=1}^N\omega }_i-{\mathrm{E}}_{\mathrm{\omega }}\omega {\parallel }^2\underset{\Omega }{\overset{}{\int }}\mathrm{d\omega }+\underset{\Omega }{\overset{}{\int }}\parallel \frac{1}{N}\sum _{i=1}^N\omega -{\mathrm{E}}_{\mathrm{\omega }}\mathrm{\omega }{\parallel }^2\mathrm{d\omega }\right].$ (9)

По определению

Поскольку новые данные не добавляются, распределение $\Omega$ не меняется в процессе обучения модели. Следовательно, оба слагаемых в правой части неравенства (9) можно ограничить супремумом по всем возможным реализациям $\omega$. Получаем

$\parallel \nabla f_j^m\left(x,\frac{1}{N}{\sum _{i=1}^N\omega }_i\right)-E_{\omega }\nabla f_j^m(x,\omega ){\parallel }^2\le 4L_{\omega }^2\underset{\widehat{w_i}}{\sup }\parallel \frac{1}{N}{\sum _{i=1}^N\widehat{\omega }}_i-E_{\omega }\omega {\parallel }^2.$ (10)

Неравенство (10) влечет за собой следующее неравенство:

$\le \mathrm{P}\left\{\underset{\widehat{{\mathrm{w}}_{\mathrm{i}}}}{\sup }\left[\parallel \frac{\mathrm{1}}{\mathrm{N}}\sum _{\mathrm{i}=\mathrm{1}}^{\mathrm{N}}\widehat{{\mathrm{\omega }}_{\mathrm{i}}}-{\mathrm{E}}_{\mathrm{\omega }}\mathrm{\omega }{\parallel }^{\mathrm{2}}\right]\ge \frac{\mathrm{\epsilon }}{\mathrm{4}{\mathrm{L}}_{\mathrm{\omega }}^{\mathrm{2}}}\right\}.$ (11)

Чтобы ограничить слагаемое в правой части, используем теорию концентрации меры [94]. Это позволяет получить

где $N\left(\frac{\epsilon }{4L_{\omega }^2},{△}_1^{\left|C\right|},d_2\right)$ – число покрытия радиуса $\frac{\epsilon }{4L_{\omega }^2}$ на единичном симплексе относительно евклидовой метрики. Из-за ограниченности единичного симплекса можно установить

Объединяя написанное с (11), получаем

◻

8.2 Доказательство теоремы 5.1

Теорема 8.2. (Теорема 5.1) Рассмотрим Алгоритм 1 для минимизации $f_m$ из задачи 2 при выполнении Условий 4.1 и 4.2 с настройкой

$\gamma =\min \left\{\frac{\beta }{L_m},\sqrt{\frac{f_m\left(x_m^0\right)-f_m\left(x_m^{*}\right)}{\mathrm{K}{\mathrm{L}}_m\mathrm{\beta \phi }\left(N\right)}}\right\},\theta =1-\frac{\gamma L_m}{2},$ (12)

гарантирующей, что на каждой итерации выполняется следующее неравенство:

$⟨\nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\widehat{\omega }}_{m,i}^k\right),\widehat{\nabla }{f}_m\left(x_m^k\right)⟩\ge \beta \parallel \nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\omega }_{m,i}^{k-1}\right){\parallel }^2.$ (13)

Тогда требуется $O\left(\frac{R_m{L}_m}{\mathrm{\beta \epsilon }}+\frac{R_m{L}_m\mathrm{\beta \phi }\left(N\right)}{{\epsilon }^2}\right)\text{эпох}$ для достижения произвольного $\epsilon$-решения, где

$\epsilon =\frac{1}{K}\sum _{k=0}^{K-1}\parallel \nabla f_m\left(x_m^k\right){\parallel }^2$, $\phi \left(N\right)=\tilde{\mathcal{O}}\left(\frac{1}{N}\right)$, и $R_m=f_m\left(x_m^0\right)-f_m\left(x_m^{*}\right)$.

Доказательство. Доказательство сходимости при заданных предположениях следует начать с записи свойства гладкости функции. Для $f_m$ имеем

Подставляем выражение из строки 11 Алгоритма 1 и получаем

В силу выпуклости нормы можно применить неравенство Йенсена к последнему слагаемому и получить

Для продолжения необходимо оценить скалярное произведение. Можно заметить, что оно похоже на скалярное произведение из (6).

$+\frac{L_m{\mathrm{\gamma }}^2\left(1-\mathrm{\theta }\right)}{2}\parallel \nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\widehat{\omega }}_{m,i}^k\right){\parallel }^2.$ (14)

Известно, что

Таким образом,

Подставляя это в (14), получаем

$+\frac{L_m{\mathrm{\gamma }}^2\left(1-\mathrm{\theta }\right)}{2}\parallel \nabla f_0^m\left(x_m^k,\frac{1}{N}{\sum _{i=1}^N\widehat{\omega }}_{m,i}^k\right){\parallel }^2.$ (15)

Сгруппируем слагаемые. Заметим, что

$-\frac{\gamma (1-\theta )\beta }{2}+\frac{L_m{\gamma }^2(1-\theta )}{2}=\frac{\gamma (1-\theta )}{2}\left(L_m\gamma -\beta \right).$ (16)

При выборе параметров из (12), слагаемое в (16) меньше нуля. Более того,

Возвращаясь к (15), имеем

Беря математическое ожидание, получаем

Используя независимость ${\widehat{\omega }}_m^k$ и ${\widehat{\omega }}_m^{k-1}$, запишем

Далее используется Лемма 4, чтобы получить

Поскольку $\theta =1-\frac{\gamma L_m}{2}$ (см. (12)), имеем

Согласно выбору параметров в (12), $\theta =1-\frac{\gamma L_m}{2}\ge 1-\frac{\beta }{2}\ge \frac{1}{2}$, поэтому выполняется следующее неравенство

После перегруппировки слагаемых получаем

Учитывая (12), получаем, что правая часть равна

Это завершает доказательство. ◻

Список литературы

1. J. Hestness et al., “Deep learning scaling is predictable, empirically”, arXiv preprint arXiv:1712.00409, 2017. ↩
2. N. Kiryati and Y. Landau, “Dataset growth in medical image analysis research”, Journal of imaging, vol. 7, no. 8, p. 155, 2021. ↩
3. L. Mangasarian, “Parallel gradient distribution in unconstrained optimization”, SIAM Journal on Control and Optimization, vol. 33, no. 6, pp. 1916–1925, 1995. ↩
4. F. Seide, H. Fu, J. Droppo, G. Li, and D. Yu, “1-bit stochastic gradient descent and its application to data-parallel distributed training of speech DNNs”, in Interspeech, Singapore, 2014, pp. 1058–1062.
5. D. Alistarh, D. Grubic, J. Li, R. Tomioka, and M. Vojnovic, “QSGD: Communication-efficient SGD via gradient quantization and encoding”, Advances in neural information processing systems, vol. 30, 2017. ↩
6. J. Konečný, H. B. McMahan, D. Ramage, and P. Richtárik, “Federated optimization: Distributed machine learning for on-device intelligence”, arXiv preprint arXiv:1610.02527, 2016. ↩
7. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-efficient learning of deep networks from decentralized data”, in Artificial intelligence and statistics, PMLR, 2017, pp. 1273‑1282. ↩
8. T. Li, A. K. Sahu, A. Talwalkar, and V. Smith, “Federated learning: Challenges, methods, and future directions”, IEEE signal processing magazine, vol. 37, no. 3, pp. 50–60, 2020.
9. P. Kairouz et al., “Advances and open problems in federated learning”, Foundations and trends® in machine learning, vol. 14, no. 1–2, pp. 1–210, 2021.
10. C. Zhang, Y. Xie, H. Bai, B. Yu, W. Li, and Y. Gao, “A survey on federated learning”, Knowledge-Based Systems, vol. 216, p. 106775, 2021. ↩
11. S. Shalev-Shwartz, O. Shamir, N. Srebro, and K. Sridharan, “Learnability, stability and uniform convergence”, The Journal of Machine Learning Research, vol. 11, pp. 2635–2670, 2010. ↩
12. A. Z. Tan, H. Yu, L. Cui, and Q. Yang, “Towards personalized federated learning”, IEEE transactions on neural networks and learning systems, vol. 34, no. 12, pp. 9587–9603, 2022. ↩1 ↩2
13. Y. Deng, M. M. Kamani, and M. Mahdavi, “Adaptive personalized federated learning”, arXiv preprint arXiv:2003.13461, 2020. ↩1 ↩2 ↩3
14. A. Fallah, A. Mokhtari, and A. Ozdaglar, “Personalized federated learning: A meta-learning approach”, arXiv preprint arXiv:2002.07948, 2020. ↩1 ↩2 ↩3 ↩4
15. J. Zhang, S. Guo, X. Ma, H. Wang, W. Xu, and F. Wu, “Parameterized knowledge transfer for personalized federated learning”, Advances in Neural Information Processing Systems, vol. 34, pp. 10092–10104, 2021. ↩1 ↩2
16. D. C. Nguyen et al., “Federated learning for smart healthcare: A survey”, ACM Computing Surveys (Csur), vol. 55, no. 3, pp. 1–37, 2022. ↩
17. Q. Wu, K. He, and X. Chen, “Personalized federated learning for intelligent IoT applications: A cloud-edge based framework”, IEEE Open Journal of the Computer Society, vol. 1, pp. 35–44, 2020. ↩
18. H. Li et al., “Fedtp: Federated learning by transformer personalization”, IEEE transactions on neural networks and learning systems, 2023. ↩
19. X. Ying, “An overview of overfitting and its solutions”, Journal of Physics: Conference Series, vol. 1168, p. 022022, Feb. 2019. ↩
20. Y. Zhao, M. Li, L. Lai, N. Suda, D. Civin, and V. Chandra, “Federated learning with non-iid data”, arXiv preprint arXiv:1806.00582, 2018. ↩
21. F. Hanzely and P. Richtárik, “Federated learning of a mixture of global and local models”, arXiv preprint arXiv:2002.05516, 2020. ↩1 ↩2 ↩3 ↩4
22. F. Hanzely, S. Hanzely, S. Horváth, and P. Richtárik, “Lower bounds and optimal algorithms for personalized federated learning”, Advances in Neural Information Processing Systems, vol. 33, pp. 2304–2315, 2020. ↩
23. C. T Dinh, N. Tran, and J. Nguyen, “Personalized federated learning with moreau envelopes”, Advances in neural information processing systems, vol. 33, pp. 21394–21405, 2020. ↩1 ↩2 ↩3 ↩4
24. K. Pillutla, K. Malik, A.-R. Mohamed, M. Rabbat, M. Sanjabi, and L. Xiao, “Federated learning with partial model personalization”, in International conference on machine learning, PMLR, 2022, pp.17716‑17758.
25. K. Mishchenko, R. Islamov, E. Gorbunov, and S. Horváth, “Partially personalized federated learning: Breaking the curse of data heterogeneity”, arXiv preprint arXiv:2305.18285, 2023. ↩1 ↩2 ↩3 ↩4
26. X. Tang, S. Guo, and J. Guo “Personalized federated learning with contextualized generalization”, in Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI-22, 2022 pp. 2241–2247. ↩1 ↩2
27. J. Zhang and Y. Shi, “A personalized federated learning method based on clustering and knowledge distillation”, Electronics, vol. 13, p. 857, Feb. 2024.
28. Z. Ni and M. Hashemi, “Efficient cluster selection for personalized federated learning: A multi-armed bandit approach”, in 2023 IEEE virtual conference on communications (VCC), IEEE, 2023, pp. 115–120.
29. J. Wang, Y. Chen, Y. Wu, M. Das, H. Yang, and F. Ma, “Rethinking personalized federated learning with clustering-based dynamic graph propagation”, in Pacific-Asia conference on knowledge discovery and data mining, Springer, 2024, pp. 155–167. ↩
30. M. Khodak, M.-F. F. Balcan, and A. S. Talwalkar, “Adaptive gradient-based meta-learning methods”, Advances in Neural Information Processing Systems, vol. 32, 2019. ↩1 ↩2
31. D. Li and J. Wang, “Fedmd: Heterogenous federated learning via model distillation”, arXiv preprint arXiv:1910.03581, 2019. ↩
32. Z. Tang, S. Xu, H. Jin, S. Liu, R. Zhai, and K. Lu, “Personalized federated learning via decoupling self-knowledge distillation and global adaptive aggregation”, Multimedia Systems, vol. 31, Feb. 2025. ↩
33. A. Hard et al., “Federated learning for mobile keyboard prediction”, arXiv preprint arXiv:1811.03604, 2018. ↩
34. S. P. Karimireddy, S. Kale, M. Mohri, S. Reddi, S. Stich, and A. T. Suresh, “Scaffold: Stochastic controlled averaging for federated learning”, in International conference on machine learning, PMLR, 2020, pp. 5132–5143. ↩
35. P. Vanhaesebrouck, A. Bellet, and M. Tommasi, “Decentralized collaborative learning of personalized models over networks”, in Artificial intelligence and statistics, PMLR, 2017, pp. 509–517. ↩
36. V. Smith, C.-K. Chiang, M. Sanjabi, and A. S. Talwalkar, “Federated multi-task learning”, Advances in neural information processing systems, vol. 30, 2017. ↩
37. D. Peterson, P. Kanani, and V. J. Marathe, “Private federated learning with domain adaptation”, arXiv preprint arXiv:1912.06733, 2019. ↩
38. J. Wang, Y. Jin, and L. Wang, “Personalizing federated medical image segmentation via local calibration”, in European conference on computer vision, Springer, 2022, pp. 456–472. ↩
39. Y. Zhao, Q. Liu, X. Liu, and K. He, “Medical federated model with mixture of personalized and sharing components”, arXiv preprint arXiv:2306.14483, 2023.
40. T. H. Kim et al., “PPFL: A personalized progressive federated learning method for leveraging different healthcare institution-specific features”, iScience, vol. 27, no. 10, 2024. ↩
41. A. Ghosh, J. Hong, D. Yin, and K. Ramchandran, “Robust federated learning in a heterogeneous environment”, in ICML 2019 workshop on Privacy and Security, 2019. ↩1 ↩2
42. A. Ghosh, J. Chung, D. Yin, and K. Ramchandran, “An efficient framework for clustered federated learning”, Advances in Neural Information Processing Systems, vol. 33, pp. 19586–19597, 2020. ↩1 ↩2
43. C. Briggs, Z. Fan, and P. Andras, “Federated learning with hierarchical clustering of local updates to improve training on non-IID data”, in 2020 international joint conference on neural networks (IJCNN), IEEE, 2020, pp. 1–9.
44. Y. Mansour, M. Mohri, J. Ro, and A. T. Suresh, “Three approaches for personalization with applications to federated learning”, arXiv preprint arXiv:2002.10619, 2020.
45. G. Long, M. Xie, T. Shen, T. Zhou, X. Wang, and J. Jiang, “Multi-center federated learning: Clients clustering for better personalization”, World Wide Web, vol. 26, no. 1, pp. 481–500, 2023. ↩
46. O. Marfoq, G. Neglia, A. Bellet, L. Kameni, and R. Vidal, “Federated multi-task learning under a mixture of distributions”, Advances in Neural Information Processing Systems, vol. 34, pp. 15434–15447, 2021. ↩1 ↩2 ↩3 ↩4 ↩5
47. I. Lin, O. Yagan, C. Joe-Wong, “FedSPD: A soft-clustering approach for personalized decentralized federated learning”, in Forty-first Conference on Uncertainty in Artificial Intelligence, PMLR 2025, pp. 2618–2641. ↩1 ↩2
48. T. Liang, C. Yuan, C. Lu, Y. Li, J. Yuan, and Y. Yin, “Efficient one-off clustering for personalized federated learning”, Knowledge-Based Systems, vol. 277, p. 110813, 2023. ↩
49. Y. J. Cho, J. Wang, T. Chirvolu, and G. Joshi, “Communication-efficient and model-heterogeneous personalized federated learning via clustered knowledge transfer”, IEEE Journal of Selected Topics in Signal Processing, vol. 17, no. 1, pp. 234–247, 2023.
50. L. Yang, J. Huang, W. Lin, and J. Cao, “Personalized federated learning on non-IID data via group-based meta-learning”, ACM Transactions on Knowledge Discovery from Data, vol. 17, no. 4, pp. 1–20, 2023.
51. Z. Yang, Y. Liu, S. Zhang, and K. Zhou, “Personalized federated learning with model interpolation among client clusters and its application in smart home”, World Wide Web, vol. 26, no. 4, pp. 2175–2200, 2023.
52. M. Werner, L. He, M. Jordan, M. Jaggi, and S. P. Karimireddy, “Provably personalized and robust federated learning”, Transactions on Machine Learning Research, 2023. ↩1 ↩2 ↩3
53. C. Finn, P. Abbeel, and S. Levine, “Model-agnostic meta-learning for fast adaptation of deep networks”, in International conference on machine learning, PMLR, 2017, pp. 1126–1135. ↩
54. A. Fallah, A. Mokhtari, and A. Ozdaglar, “On the convergence theory of gradient-based model-agnostic meta-learning algorithms”, in International conference on artificial intelligence and statistics, PMLR, 2020, pp. 1082–1092. ↩
55. G. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in a neural network”, arXiv preprint arXiv:1503.02531, 2015. ↩
56. Y. Jiang, X. Zhao, H. Li, and Y. Xue, “A personalized federated learning method based on knowledge distillation and differential privacy”, Electronics, vol. 13, p. 3538, Sept. 2024, DOI: 10.3390/electronics13173538. ↩
57. F. Lv, P. Qian, Y. Lu, and H. Wang, “Personalized federated learning on long-tailed data via knowledge distillation and generated features”, Pattern Recognition Letters, vol. 186, pp. 178–183, 2024. ↩
58. H. Hu, A. N. Kothari, and A. Banerjee, “A novel algorithm for personalized federated learning: Knowledge distillation with weighted combination loss”, Algorithms, vol. 18, no. 5, p. 274, 2025. ↩
59. F. Gauthier, V. C. Gogineni, and S. Werner, “Networked personalized federated learning using reinforcement learning”, in ICC 2023-IEEE international conference on communications, IEEE, 2023, pp. 4397–4402. ↩
60. W. Xiong, Q. Liu, F. Li, B. Wang, and F. Zhu, “Personalized federated reinforcement learning: Balancing personalization and experience sharing via distance constraint”, Expert Systems with Applications, vol. 238, p. 122290, 2024.
61. T. Wu, X. Li, P. Gao, W. Yu, L. Xin, and M. Guo, “Resource-aware personalized federated learning based on reinforcement learning”, IEEE Communications Letters, vol. 29, no. 1, pp. 175–179, 2025, DOI: 10.1109/LCOMM.2024.3506015. ↩
62. H. Yang, J. Li, M. Hao, W. Zhang, H. He, and A. K. Sangaiah, “An efficient personalized federated learning approach in heterogeneous environments: A reinforcement learning perspective”, Scientific Reports, vol. 14, no. 1, p. 28877, 2024. ↩
63. X. Lu, Z. Liu, L. Xiao, and H. Dai, “Reinforcement learning-based personalized differentially private federated learning”, IEEE Transactions on Information Forensics and Security, 2024. ↩
64. S. Vahidian, M. Morafah, and B. Lin, “Personalized federated learning by structured and unstructured pruning under data heterogeneity”, in 2021 IEEE 41st international conference on distributed computing systems workshops (ICDCSW), IEEE, 2021, pp. 27–34. ↩
65. W. Jeong and S. J. Hwang, “Factorized-fl: Personalized federated learning with parameter factorization & similarity matching”, Advances in Neural Information Processing Systems, vol. 35, pp. 35684–35695, 2022. ↩
66. X. Zhang, Y. Li, W. Li, K. Guo, and Y. Shao, “Personalized federated learning via variational bayesian inference”, in International conference on machine learning, PMLR, 2022, pp. 26293–26310.
67. J. Zhang et al., “Fedala: Adaptive local aggregation for personalized federated learning”, in Proceedings of the AAAI conference on artificial intelligence, 2023, pp. 11237–11244.
68. J. Zhang et al., “Gpfl: Simultaneously learning global and personalized feature information for personalized federated learning”, in Proceedings of the IEEE/CVF international conference on computer vision, 2023, pp. 5041–5051.
69. J. Wu, W. Bao, E. Ainsworth, and J. He, “Personalized federated learning with parameter propagation”, in Proceedings of the 29th ACM SIGKDD conference on knowledge discovery and data mining, 2023, pp. 2594–2605.
70. R. Zhang, Y. Chen, C. Wu, and F. Wang, “Multi-level personalized federated learning on heterogeneous and long-tailed data”, IEEE Transactions on Mobile Computing, 2024. ↩
71. F. Sattler, S. Wiedemann, K.-R. Müller, and W. Samek, “Robust and communication-efficient federated learning from non-iid data”, IEEE transactions on neural networks and learning systems, vol. 31, no. 9, pp. 3400–3413, 2019. ↩
72. K. A. Sankararaman, S. De, Z. Xu, W. R. Huang, and T. Goldstein, “The impact of neural network overparameterization on gradient confusion and stochastic gradient descent”, in International conference on machine learning, PMLR, 2020, pp. 8469–8479. ↩
73. A. Khaled and P. Richtárik, “Better theory for SGD in the nonconvex world”, arXiv preprint arXiv:2002.03329, 2020. ↩
74. F. Sattler, K.-R. Müller, and W. Samek, “Clustered federated learning: Model-agnostic distributed multitask optimization under privacy constraints”, IEEE transactions on neural networks and learning systems, vol. 32, no. 8, pp. 3710–3722, 2020. ↩
75. H.-Y. Hsu, K. H. Keoy, J.-R. Chen, H.-C. Chao, and C.-F. Lai, “Personalized federated learning algorithm with adaptive clustering for non-IID IoT data incorporating multi-task learning and neural network model characteristics”, Sensors, vol. 23, no. 22, p. 9016, 2023. ↩1 ↩2
76. P. Ren, K. Qi, J. Li, T. Yan, and Q. Dai, “CosPer: An adaptive personalized approach for enhancing fairness and robustness of federated learning”, Information Sciences, vol. 675, p. 120760, 2024. ↩
77. R. Ye, Z. Ni, F. Wu, S. Chen, and Y. Wang, “Personalized federated learning with inferred collaboration graphs”, in International conference on machine learning, PMLR, 2023, pp. 39801–39817. ↩
78. Z. Ma, Y. Lu, W. Li, J. Yi, and S. Cui, “PFedAtt: Attention-based personalized federated learning on heterogeneous clients”, in Asian conference on machine learning, PMLR, 2021, pp. 1253–1268. ↩
79. F. Rosenblatt, “The perceptron: A probabilistic model for information storage and organization in the brain”. Psychological review, vol. 65, no. 6, p. 386, 1958. ↩
80. G. Cybenko, “Approximation by superpositions of a sigmoidal function”, Mathematics of control, signals and systems, vol. 2, no. 4, pp. 303–314, 1989. ↩
81. Q. Nguyen and M. Hein, “Optimization landscape and expressivity of deep CNNs”, in International conference on machine learning, PMLR, 2018, pp. 3730–3739. ↩
82. X. Li, K. Huang, W. Yang, S. Wang, and Z. Zhang, “On the convergence of fedavg on non-iid data”, in International Conference on Learning Representations, 2020. ↩
83. J. A. Nelder and R. Mead, “A simplex method for function minimization”, The Computer journal, vol. 7, no. 4, pp. 308–313, 1965. ↩
84. A. Beck and M. Teboulle, “Mirror descent and nonlinear projected subgradient methods for convex optimization”, Operations Research Letters, vol. 31, no. 3, pp. 167–175, 2003.
85. M. B. Cohen, Y. T. Lee, and Z. Song, “Solving linear programs in the current matrix multiplication time”, Journal of the ACM (JACM), vol. 68, no. 1, pp. 1–39, 2021. ↩
86. C. Dwork, “Differential privacy”, in International colloquium on automata, languages, and programming, Springer, 2006, pp. 1–12. ↩
87. S. Khirirat, E. Gorbunov, S. Horváth, R. Islamov, F. Karray, and P. Richtárik, “Clip21: Error feedback for gradient clipping”, arXiv preprint arXiv:2305.18929, 2023.
88. R. Islamov, S. Horvath, A. Lucchi, P. Richtarik, and E. Gorbunov, “Double momentum and error feedback for clipping with fast rates and differential privacy”, arXiv preprint arXiv:2502.11682, 2025. ↩
89. K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition”, in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778. ↩1 ↩2 ↩3
90. A. Krizhevsky, G. Hinton, et al., “Learning multiple layers of features from tiny images”, 2009. ↩1 ↩2
91. S. Hochreiter and J. Schmidhuber, “Long short-term memory”, Neural computation, vol. 9, no. 8, pp. 1735–1780, 1997. ↩1 ↩2
92. A. Paszke et al., “Automatic differentiation in PyTorch”, 2017. ↩1 ↩2
93. M. Priya, “English-Italian Sentence Translation”, [Dataset], Kaggle, 2020. [Online]. Available: https://www.kaggle.com/datasets/ncsaayali/english-italian-sentence-translation/data. ↩1 ↩2
94. D. Pollard, Convergence of stochastic processes. Springer Science & Business Media, 2012. ↩

Информация об авторах

Михаил Сергеевич АЛЕКСАНДРОВ – студент магистратуры кафедры Математических методов прогнозирования Московского государственного университета имени М.В. Ломоносова. Сфера научных интересов: методы оптимизации, физически-информированные нейронные сети, федеративное обучение.

Роман Евгеньевич ВОРОНОВ – специалист лаборатории фундаментальных исследований искусственного интеллекта Московского независимого исследовательского института искусственного интеллекта. Научные интересы включают в себя компьютерное зрение, распределенное и федеративное обучение, машинное обучение на облаках точек, графовые нейронные сети и низкоуровневую оптимизацию вычислений для машинного обучения.

Ксения Олеговна ШЕСТАКОВА – аспирантка по компьютерным и коммуникационным наукам в Швейцарском федеральном технологическом институте в Лозанне (EPFL). Интересуется теорией и практикой обработки и хранения данных. Ранее работала в лаборатории фундаментальных исследований искусственного интеллекта Московского независимого исследовательского института искусственного интеллекта, где принимала участие в написании данной работы.

Дмитрий Андреевич БЫЛИНКИН – специалист лаборатории фундаментальных исследований искусственного интеллекта Московского независимого исследовательского института искусственного интеллекта и лаборатории проблем федеративного обучения Института системного программирования РАН. Научные интересы включают в себя распределенную и федеративную оптимизацию, физически-информированные нейронные сети и представление знаний.

Даниил Олегович МЕДЯКОВ – специалист лаборатории фундаментальных исследований искусственного интеллекта Московского независимого исследовательского института искусственного интеллекта и лаборатории проблем федеративного обучения Института системного программирования РАН. Научные интересы включают в себя стохастическую оптимизацию, распределенное и федеративное обучение.

Александр Николаевич БЕЗНОСИКОВ – доктор физико-математических наук, заведующий лабораторией фундаментальных исследований искусственного интеллекта Московского независимого исследовательского института искусственного интеллекта и лабораторией проблем федеративного обучения Института системного программирования РАН. Сфера научных интересов включает в себя численные методы оптимизации, математику в машинном обучении и ИИ, федеративное и распределенное обучение.