人工智能 - 联邦学习(安全性) - 自用(ProjectDoing) - 开题报告-针对视觉大模型联邦学习训练过程中的攻击防御安全及效率问题研究

针对视觉大模型联邦学习训练过程中的攻击防御安全及效率问题研究

一、包括研究目的、意义、国内外研究现状和发展趋势，需结合科学研究发展趋势来论述科学意义；或结合国民经济和社会发展中迫切需要解决的关键科技问题来论述其应用前景。附主要参考文献目录(字数不少于：800)

1.1 研究目的及意义

随着视觉大模型的不断发展，模型训练时需要越来越大的数据量。边缘设备的激增导致了爆炸性的数据增长，使得数据隐私变得越来越重要[1]。现实生活中，很多用户（客户端）中可能会有很多的数据，但这些数据有可能是不能被公开的。联邦学习框架能够保证数据不离开客户端本地的前提下[2]，在分散的数据源上实现协作模型训练，从而保证了用户的数据隐私[3]。

然而，在实际的训练过程中，可能会存在一些恶意客户端，通过精心篡改本地数据或者上传到中央服务器的梯度，试图危害全局模型，影响总体模型准确率甚至植入后门。针对联邦学习中存在的恶意客户端的攻击问题，已经提出了各种防御机制，包括Krum算法[4]，PCA算法[5]，以及Sniper scheme算法[6]等。但是，针对特定场景或特定的训练任务，视觉大模型中可能存在一些不活跃的神经元[7]，这些防御算法在联邦视觉大模型中会表现出较低的效率和健壮性[8]。同时，针对潜在的多轮次的攻击，现有防御机制往往很难有效识别和检测恶意客户端[9]。因此，研究一种针对视觉大模型这种具有较大参数量的模型仍然高效，且针对潜在的多轮次攻击同样有效的防御检测手段，可以有效提示恶意客户端的识别效率以及识别准确率。

1.2 国内外研究现状和发展趋势

在联邦学习中，持续的中毒攻击通常包括梯度上升攻击[10]、虚假标签攻击[11]、以及后门攻击[12]。其中，梯度上升或梯度扰动攻击和虚假标签攻击被归类为拜占庭攻击。1) 梯度上升攻击中，恶意客户端通过上传相反的梯度，试图导致全局模型的梯度下降[10]。为了应对这种攻击，G. Lu等人提出了DEFEAT框架[13]，它依赖于点对点网络在客户端之间传输模型参数，从而避免集中式服务器管理。然而，其主要目的是防止梯度泄漏进行隐私保护。A. Grammenos等人采用主成分分析来增强联邦学习的安全[5]，但是实际上这种算法是一个差分隐私算法。2) 虚假标签攻击可以进一步分为脏标签攻击[14]和干净标签攻击[15]，其中脏标签攻击主要篡改数据标签例如通过标签反转实现攻击[16]，而干净标签攻击通过处理训练数据在不改变标签的情况下生成新的样本。为了应对这种攻击，Lewis等人提出了Viceroy算法，利用多方安全计算和差分隐私来检测和抵抗拜占庭攻击[17]。他们的研究还表明，现有联邦学习防御系统在面对复杂和持续的梯度上升攻击时通常缺乏鲁棒性。此外，Viceroy在处理ViT（Vision Transformer）[18]或者CLIP视觉大语言模型[19]等高复杂度的模型时表现出显著的通信开销和检测复杂度的增加。3) 后门攻击，也被称为木马攻击，攻击者试图在模型目标任务上能够表现出特定的行为，同时在主要任务上保持良好的性能[20]。与旨在减少主要任务性能的拜占庭攻击不同，后门攻击的目标通常是位置的，只使得他们更难被检测。X. Gong等人对现有后门攻击和防御机制进行了系统的分析，详细介绍了联邦学习框架中后门攻击和防御的各种潜在未来方向[21]。C. Xie等人提出了专门针对后门攻击的CRFL模型，利用模型参数的裁剪和平滑来控制全局模型的平滑性，从而为有限规模的后门攻击样本提供鲁棒性的认证[22]。虽然这种方法取得了一定的成功，但是他会产生显著的计算开销。S. Andreina等人介绍了一种基于反馈的联邦学习后门检测模型，将反馈集成到联邦学习训练过程中。该模型不仅使用来自多个客户端的数据进行训练，还会检测模型是否中毒[23]。虽然检测的精度很高，但是检测的实际成本仍然很大[24]。在防御这些攻击时，安全性和效率之间存在明显的冲突，尤其是处理具有大量参数的ViT或CLIP模型时，过渡关注准确性的防御机制往往具有很高的复杂度，并且他们的复杂性不会随着模型参数的增加而线性增加；另一方面，虽然在处理ViT和CLIP等大模型时复杂度低的防御机制可能是有效的，但是大量的变化不敏感的参数对检测效果仍然有一定的影响。

不持续的攻击也有很多，攻击者通过调整模型训练过程或优化后门植入等方式，使后门在恶意攻击者结束攻击后仍能长期存在，不被后续良性更新所覆盖，从而持续影响模型行为。 NEUR[25]提出了一种针对联邦学习的更持久的后门攻击方法，通过攻击在训练过程中变化较小的模型参数来增加后门的耐久性，避免与良性用户梯度的冲突，使其不易在后续的模型更新中被清除。ImgTrojan[26]通过在视觉语言模型的训练数据中注入少量恶意样本，使得这些后门即使在模型后续的良性训练中仍能保持有效，从而持续影响模型的行为。[27]提出了一种新的更新控制方法，通过跨层更新幅度归一化和层内更新方向投影，解决了参数高效调优（PET）过程中后门攻击的遗忘问题，从而维持攻击的持久性和隐蔽性。A3FL[28]通过对抗性适应损失函数来优化触发器的方式，使得后门能够在全局训练动态中持久存在，从而在联邦学习模型中实现高效且持久的攻击效果。总的来看，现有的后门攻击方法已展现出显著的隐蔽性和持久性，能够有效规避当前的检测机制。这些攻击不仅在特征空间中巧妙隐藏恶意意图，还能在长期训练过程中保持攻击效果，对模型行为产生持续而深远的影响，也对模型安全构成了严峻挑战。这对现有的防御机制提出了更高的挑战，强调了未来在开发更加鲁棒的防御方法方面的迫切需求。

参考文献

[1] Grzesik P, Mrozek D. Combining Machine Learning and Edge Computing: Opportunities, Challenges, Platforms, Frameworks, and Use Cases[J]. Electronics, 2024, 13(3): 640.

[2] Kairouz P, McMahan H B, Avent B, et al. Advances and open problems in federated learning[J]. Foundations and trends® in machine learning, 2021, 14(1–2): 1-210.

[3] B. McMahan, E. Moore, D. Ramage et al., “Communication-efficient learning of deep networks from decentralized data,” in Artificial intelligence and statistics. PMLR, 2017, pp. 1273–1282.

[4] Blanchard P, El Mhamdi E M, Guerraoui R, et al. Machine learning with adversaries: Byzantine tolerant gradient descent[J]. Advances in neural information processing systems, 2017, 30.

[5] Grammenos A, Mendoza Smith R, Crowcroft J, et al. Federated principal component analysis[J]. Advances in neural information processing systems, 2020, 33: 6453-6464.

[6] Cao D, Chang S, Lin Z, et al. Understanding distributed poisoning attack in federated learning[C]//2019 IEEE 25th international conference on parallel and distributed systems (ICPADS). IEEE, 2019: 233-239.

[7] Zhou Z, Xu C, Wang M, et al. Augmented dual-shuffle-based moving target defense to ensure CIA-triad in federated learning[C]//2021 IEEE Global Communications Conference (GLOBECOM). IEEE, 2021: 01-06.

[8] 吴建汉, 司世景, 王健宗, 等. 联邦学习攻击与防御综述[J]. 大数据, 2022, 8(5): 12-32.

[9] 王冬, 秦倩倩, 郭开天, 等. 联邦学习中的模型逆向攻防研究综述[J]. 通信学报, 2023, 44(11): 94-109.

[10] Zhang J, Zhu H, Wang F, et al. Security and privacy threats to federated learning: Issues, methods, and challenges[J]. Security and Communication Networks, 2022, 2022(1): 2886795.

[11] Zhang X, Zhou X, Chen K. Data Leakage with Label Reconstruction in Distributed Learning Environments[C]//International Conference on Machine Learning for Cyber Security. Cham: Springer Nature Switzerland, 2022: 185-197.

[12] Bagdasaryan E, Veit A, Hua Y, et al. How to backdoor federated learning[C]//International conference on artificial intelligence and statistics. PMLR, 2020: 2938-2948.

[13] Lu G, Xiong Z, Li R, et al. Defeat: A decentralized federated learning against gradient attacks[J]. High-Confidence Computing, 2023, 3(3): 100128.

[14] Yao Y, Li H, Zheng H, et al. Latent backdoor attacks on deep neural networks[C]//Proceedings of the 2019 ACM SIGSAC conference on computer and communications security. 2019: 2041-2055.

[15] Shafahi A, Huang W R, Najibi M, et al. Poison frogs! targeted clean-label poisoning attacks on neural networks[J]. Advances in neural information processing systems, 2018, 31.

[16] Wang H, Sreenivasan K, Rajput S, et al. Attack of the tails: Yes, you really can backdoor federated learning[J]. Advances in Neural Information Processing Systems, 2020, 33: 16070-16084.

[17] Lewis C, Varadharajan V, Noman N. Attacks against federated learning defense systems and their mitigation[J]. Journal of Machine Learning Research, 2023, 24(30): 1-50.

[18] Zhou Z, Zhuang Y, Li H, et al. MR-FFL: A Stratified Community-Based Mutual Reliability Framework for Fairness-Aware Federated Learning in Heterogeneous UAV Networks[J]. IEEE Internet of Things Journal, 2024.

[19] OpenAI. (2024) Clip (contrastive language–image pretraining) - vitb/32. Accessed: 2024-09-13. [Online]. Available: https://huggingface. co/openai/clip-vit-base-patch32.

[20] Sun Z, Kairouz P, Suresh A T, et al. Can you really backdoor federated learning?[J]. arXiv preprint arXiv:1911.07963, 2019.

[21] Gong X, Chen Y, Wang Q, et al. Backdoor attacks and defenses in federated learning: State-of-the-art, taxonomy, and future directions[J]. IEEE Wireless Communications, 2022, 30(2): 114-121.

[22] Xie C, Chen M, Chen P Y, et al. Crfl: Certifiably robust federated learning against backdoor attacks[C]//International Conference on Machine Learning. PMLR, 2021: 11372-11382.

[23] Andreina S, Marson G A, Möllering H, et al. Baffle: Backdoor detection via feedback-based federated learning[C]//2021 IEEE 41st International Conference on Distributed Computing Systems (ICDCS). IEEE, 2021: 852-863.

[24] Z. Zhou, C. Xu, M. Wang, X. Kuang, Y. Zhuang et al., “A multi-shuffler framework to establish mutual confidence for secure federated learning,”IEEE Transactions on Dependable and Secure Computing, 2022.

[25] Zhang Z, Panda A, Song L, et al. Neurotoxin: Durable backdoors in federated learning[C]//International Conference on Machine Learning. PMLR, 2022: 26429-26446.

[26] Tao X, Zhong S, Li L, et al. ImgTrojan: Jailbreaking Vision-Language Models with ONE Image[J]. arXiv preprint arXiv:2403.02910, 2024.

[27] Gu N, Fu P, Liu X, et al. A gradient control method for backdoor attacks on parameter-efficient tuning[C]//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2023: 3508-3520.

[28] Zhang H, Jia J, Chen J, et al. A3fl: Adversarially adaptive backdoor attacks to federated learning[J]. Advances in Neural Information Processing Systems, 2024, 36.

二、说明课题的具体研究内容，研究目标和效果，以及拟解决的关键科学问题。此部分为重点阐述内容(字数不少于：2500)

2.1 研究目的及意义

2.1.1 针对中毒攻击的联邦学习ViT系统的上下文感知轻量级恶意梯度识别

随着视觉大模型的不断发展，训练需要越来越大的数据量。联邦学习的ViT模型可以在数据不离开本地客户端的前提下由多个设备共同训练，同时捕获复杂的全局特征。然而，篡改梯度、标签翻转和后门攻击等各种攻击手段给联邦学习带来了巨大的挑战。由于ViT模型具有大量的参数，且在针对一些特定场景或特定任务时会出现大量的不活跃神经元，所以Krum算法、PCA和Sniper方案等现有防御机制在联邦ViT场景中表现出效率低、鲁棒性差。因此，研究一个能够在存在大量不活跃神经元前提下仍能高效、准确识别恶意攻击者的攻击检测方法十分有必要。

2.1.2 针对隐蔽后门攻击的大规模视觉语言模型的模型保护和联邦学习微调

自联邦学习框架推出以来，针对恶意用户后门攻击的防御手段越来越丰富。同时，针对不同防御手段的攻击也越来越多。为了规避常规的检测手段，攻击者可能使用一些特殊的攻击策略，使用更加隐蔽的手段以达成攻击的目的。例如1) 时间上不连续的攻击，攻击者可能在部分轮次发动攻击而在部分轮次表现为正常用户，从而规避检测。2) 限制攻击力度的攻击，攻击者可能在上传自己的梯度之前限制自己的攻击力度，即限制自己梯度变化量的大小，从而使得攻击更加难以被检测。3) 限制角度的攻击，类似于限制大小的攻击，攻击者可能会限制自己所上传梯度与正常客户端所上传梯度之间的角度，使得自己梯度和正常用户之间的角度不会太大，从而有效规避大量基于余弦相似度算法进行检测的攻击。4) 变换角度的攻击，攻击者为了掩饰自己想要把全局模型引导到的真实目标，可能会在上传梯度时进行精心处理，使得每次上传的梯度都不直指攻击者目标，但是多轮训练叠加后的梯度会将全局模型引导到攻击者所期望的目标。

一般的模型训练可能不太适合特定的任务场景，对于训练成本较大的大规模视觉语言模型，联邦学习微调（Federated Fine-Tunning, FFT）是一种较为有效的技术。FFT利用分布在不同客户端节点之间的数据和计算能力来提高基于视觉的感知模型的性能，通过微调使得模型能够更好地适应特定的任务场景。同时，微调也是一种能够有效减少数据量的方法。不同于研究点一中的特征层提取，微调技术可以锁定部分参数而只更改一部分参数，减少每个客户端的训练开销，减少客户端和中央服务器之间的通信开销，同时也能一定程度上减少恶意用户识别所需考虑的总参数量。因此，研究一个能够针对隐蔽后门攻击的大规模视觉语言模型的模型保护和联邦学习微调方法十分重要。

2.2 研究目标和效果

针对以上两部分研究内容：在进行视觉大模型或大规模视觉语言模型的联邦学习训练过程中，需要有效的方法来在较大参数量的前提下高效准确地识别出恶意攻击者。同时，针对较为隐蔽的恶意攻击者，需要一种更加有效的检测手段来实现对隐蔽攻击的检测。

2.2.1 针对中毒攻击的联邦学习ViT系统的上下文感知轻量级恶意梯度识别

该研究内容旨在设计一套针对ViT等视觉大模型时仍然具有较高效率和较好鲁棒性的联邦学习恶意用户检测框架，以在消耗有限的中央服务器的资源的前提下，面对大量参数的视觉大模型，仍然能够有效地识别和检测恶意攻击者，避免中央服务器由于恶意用户的检测消耗过多资源的同时，保证恶意用户检测的准确性。主要有两个具体目标，1) 我们设计的恶意用户检测框架在面对ViT等参数量很大的视觉大模型时，仍然能够表现出较高的效率，恶意用户检测开销最多随着模型参数量的增大呈现线性增长，而不能呈现出更高复杂度的增长。2) 设计的框架在满足第一个目标——高检测效率的同时，能够表现出较高的检测准确性和鲁棒性。框架不能因为检测耗时的减少而导致检测准确率的减少。在控制变量情况下，实现目标一所导致的检测准确率的变化应该大于等于0。

2.2.2 针对隐蔽后门攻击的大规模视觉语言模型的模型保护和联邦学习微调

该研究内容旨在设计一套针对大规模视觉语言模型的恶意攻击防御中，能够针对手段隐蔽的恶意攻击者进行有效识别和防御的恶意用户检测框架。由于隐蔽的后门攻击手段包括时间上不连续的攻击、限制大小的攻击、限制角度的攻击、变换角度的攻击等多种，所以具体目标有两个。1) 寻找这些隐蔽攻击手段的共性，无论攻击手段有多么隐蔽，想要攻击有效，那么其最终想要将全局模型引导到的目标位置一定是和良性客户端有所不同的。通过找到一些隐蔽攻击手段所共有的特征，以便更加有效地识别恶意攻击者。2) 利用第一个目标找到的隐蔽攻击手段所共有的特征，对所有客户端进行鉴别，有效识别出不同手段的隐蔽攻击者，防止这些不良梯度汇聚到总的训练模型中。

2.3 拟解决的关键问题

2.3.1 针对中毒攻击的联邦学习ViT系统的上下文感知轻量级恶意梯度识别

一般来说，对于检测恶意客户端的算法，针对检测速率的优化往往会在降低算法时间复杂度的同时降低算法的检测准确率。因为一些在时间上高效的算法往往计算策略较为简单，从而导致检测准确率受到或多或少的影响。而对于检测准确率较高的算法，其检测策略往往又会过于复杂，使其在面对参数量较大的训练模型时，检测所消耗的时间复杂度无法随着模型参数量的增长而线性增长。还有一些检测算法对于空间的消耗不是随着模型参数量线性增长的，参数量过大的训练模型会导致检测算法无法在合理的内存空间消耗的前提下完成检测任务。

因此，本框架主要拟解决在针对以ViT为代表的一些视觉大模型在联邦学习训练的恶意客户端检测过程中的检测效率和检测准确率不匹配的问题，拟找到一种能够同时具有较高检测效率和较高准确率的恶意客户端检测方案。具体来说，主要拟解决以下子问题。1) 以ViT为代表，研究视觉大模型在联邦学习训练过程中，针对特定的训练任务，有哪些参数的变化较为敏感，有哪些参数的变化比较不敏感。2) 研究针对特定任务，如何将模型中较为敏感的参数提取出来，在保留对恶意用户检测影响较大的参数的同时，舍弃变化不敏感的参数，降低数据量从而提高检测效率的同时，舍弃恶意和良性客户端之间较为相似的不敏感参数从而提高检测准确率。3) 针对提取特征层的思路，确立并设计整个框架的框架结构，构成一个有效且完整的视觉大模型联邦学习恶意用户检测框架。

2.3.2 针对隐蔽后门攻击的大规模视觉语言模型的模型保护和联邦学习微调

一般来说，后门攻击者想要攻击成功，就一定要能够将全局模型诱导到攻击者所期望的位置，从而在特定条件下触发攻击者所设置的后门。后门攻击者想要攻击成功，就一定需要在多个轮次的攻击中，逐渐地将全局模型诱导至攻击者的目标位置。因此，本框架拟采用通过识别攻击者最终攻击意图点的方式，来有效鉴别现有的以及潜在的隐蔽后门攻击。具体来说，主要拟解决以下子问题。1) 以OPENAI提出的大规模视觉语言模型CLIP为代表，以LORA的微调方式为示例，研究如何依据大规模视觉语言模型训练过程中不同客户端所上传到中央服务器的梯度来判断或识别每个客户端的目的意图点，以便后续依据每个客户端的意图点来鉴别客户端的恶意性。2) 研究如何在获得每个客户端意图点的前提下，使用一种有效的算法，鉴别客户端是恶意客户端还是良性客户端，同时得到每个客户端的置信度，以便全局模型的聚合。

2.4 预期成果

提出一种针对视觉大模型或大规模视觉语言模型的联邦学习过程中有效的恶意客户端识别框架，构建一个可用的针对视觉大模型的联邦学习训练系统，能够高效准确识别恶意客户端的攻击以及一些可能的潜在隐蔽攻击手段，保证模型的安全。

发表相关CCF-C论文和中科院一区论文各一篇。

三、包括：研究方法，技术路线，理论分析、计算、实验方法和步骤及其可行性(字数不少于：800)

3.1 研究方法

本课题遵循问题发现、理论调研、模型建立、实验分析的研究方法。在进行视觉相关大模型的联邦学习训练中，发现对于恶意客户端的识别，存在上述提及的两方面的问题。针对上述提及的两方面的现实问题，首先分别对其进行相关的理论调研。在恶意客户端的识别问题方面，首先将对现有的联邦学习安全防护机制进行全面分析，重点考察Krum算法、PCA算法和Sniper scheme等防御方法的原理、优缺点及其适用范围。通过调研当前文献中已有的防御机制，发现这些方法在特定视觉大模型应用中的不足之处，特别是在面对多轮次攻击和特定神经元不活跃等场景时的低效性和脆弱性。在针对隐蔽性后门攻击的检测算法中，研究不同类型的隐蔽后门攻击手段，发现它们的类似之处。通过提取敏感的神经元在减少运算量的同时提高识别准确率，通过计算攻击者意图点来区分良性和恶意客户端，建立视觉相关大模型恶意攻击防御模型框架并在此基础上进行实验分析，对比已有防御算法对本课题算法的有效性进行验证。

3.2 技术路线

对于视觉大模型参数量过多的问题以及在特定任务场景下存在大量不敏感参数的问题而言，主要思路是通过实验获取待训练大模型在目标场景下的敏感层，以便在恶意用户检测过程中主要提取这些重要的层，从而在减少后续运算量的同时剔除相似性较高的不敏感层。

关于如何获取特定场景下的敏感层，可以由以下方法进行。以ViT为例，首先将ViT分割成200个层，对于一种攻击，对所有层分别使用恶意客户端检测算法并记录识别准确率，只保留识别准确率最高的层。使用多种攻击进行多次实验，将每次的实验结果取交集，就得到了我们想要的敏感层。

关于如何在已知敏感层的前提下有效检测恶意客户端并防御，主要方法流程如下图所示。对于每个客户端上传上来的梯度，首先提取出我们确定的敏感的特征层，接着使用主成分分析算法对梯度进行进一步的提取和降维，然后使用隔离森林算法对客户端进行恶意和良性的分类，从而获得良性客户端。

图1

对于隐蔽的后门攻击手段，主要思路是通过计算每个客户端的意图点，并依据意图点进行客户端良性和恶意的分类以及客户端置信度的确定。如下图所示，对于一个客户端，可以存储这个客户端每一轮此上传的梯度展平后的结果。同时，对于最近的训练轮次，可以存储中央服务器的全局模型。我们把全局模型视为高维空间中的一个点（射线起点），将客户端在这个轮次上传的梯度变化展平后的结果视为射线方向，并构建射线。这样，对于一个客户端，每个轮次会构建一条射线。我们使用最小覆盖超球算法找到一个能够覆盖一定比例射线的最小超球，则可以将球心视为这个客户端的意图点，即为这个客户端在多轮次的训练中，试图将全局模型引导至的位置。最小覆盖超球的半径越小说明客户端的目的越明确，即置信度越高。获得了每个客户端的意图点后，便可以根据意图点的坐标使用局部异常因子算法鉴别恶意和良性客户端。

图2

3.3 实验方法

对于本课题所设计的提取特征层从而提高恶意检测效率和准确率的思路，可以设计如下实验方法。首先对于搭建的视觉大模型联邦学习框架，移除框架中的恶意检测部分，加入一部分的恶意客户端，使用不同的攻击方法对全局模型进行攻击，观察中央服务器全局模型的表现，从而验证框架搭建的正确性以及攻击的有效性。在确认了攻击的有效性之后，加入本课题所设计的防御思路，在攻击者数量和攻击者攻击方法都不变的情况下，验证对于各种攻击防御的有效性。完成了上述两个实验，已经可以验证本课题所提出方法的防御有效性，但未能验证本课题所做贡献对于识别效率和准确率提升的程度。因此对于相同的攻击者和攻击方法，恶意客户端的检测方式分别使用主成分分析、隔离森林、主成分分析加隔离森林三种，数据的提取方法分别使用我们的特征层提取算法、池化算法、特征层提取加池化算法三种。对于每种攻击类型，做上述三乘三共九组实验；对于不同的攻击类型，重复进行上述九组实验，从而验证我们的方法对于恶意客户端识别过程中识别效率的提升以及识别准确率的提升。

对于本课题所设计的识别隐蔽后门攻击者的方法，可以设计如下实验方法。在上一部分的实验中，我们已经具有了联邦学习攻击防御框架并验证了其有效性。在此部分实验中，首先选取数个攻击类型不同的隐蔽的后门攻击的方法，再选用数个不同的先进的或经典的防御方法。针对每种攻击方法，对其分别进行攻击强度大小的限制和攻击方向大小的限制，绘制两两客户端之间的识别评分热力图，从而判断本课题所提出算法针对不同类型的隐蔽后门攻击的识别效果。此外，通过计算不同攻击类型和不同防御类型一些经典的阳性率、准确率等衡量指标，进一步验证本课题方法的有效性。

3.4 可行性分析

指定本课题之前拥有大量的关于联邦学习过程中视觉相关大模型攻击防御实验的实验经验以及实验数据，本课题所提出的问题是在进行相关实验时遇到的真实问题，这些问题真实存在。对于每种问题，本课题对症下药并制定了针对相关问题的可行解决方案，理论完备且已进行部分实验验证。除此之外，实验室具备相关项目经验基础及显卡等硬件设施。由此可见，我们已经建立了夯实的基础，为本课题提供了强有力的支撑，本课题无论从理论上还是技术上都可行。

四、本研究课题的特色与新颖(创新)之处(字数不少于：500)

4.1 针对中毒攻击的联邦学习ViT系统的上下文感知轻量级恶意梯度识别

传统的联邦学习防御算法在检测恶意客户端时往往存在检测准确率和检测效率相冲突的问题：高检测效率的检测算法往往较为简单，从而导致检测准确率可能存在一些问题；检测准确率较高的算法往往复杂度较高，时间或空间开销无法随着模型参数量的增长呈现线性增长趋势。在面对具有大量参数的ViT模型时，这种冲突十分明显。同时，ViT模型在特定的场景中或进行特定的任务时，存在大量的不敏感的参数。这些参数不仅会增加恶意攻击检测的计算量，还会由于此部分对于良性客户端和恶意客户端较为类似导致识别准确率的降低。

本课题首次针对ViT模型提出了特征层提取的思路和算法，该算法能够在较高效率的同时保持较高的准确率。

4.2 针对隐蔽后门攻击的大规模视觉语言模型的模型保护和联邦学习微调

在联邦学习的攻击和防御的演化和相互促进的过程中，防御算法不断被提出的同时攻击算法也在不断地被提出。某种新的防御算法已经提出往往很快就会有针对其的攻击算法随之出现。攻击手段也在变地越来越隐蔽。因此需要找到一种普适的方法，对于已有的或未来可能被提出的潜在攻击，有效地对其进行识别和检测。我们提出了一种计算每个客户端意图点的思路，通过计算每个客户端试图将全局模型引导至的位置（状态），区分和识别良性和恶意客户端。由于恶意客户端如果想要攻击成功，就一定需要将全局模型引导至目标位置，因此若意图点能够成功被计算，则此方法将能防御多种现有或未来可能被提出的潜在攻击。

五、1.与本项目相关的研究工作积累基础 2.包括已具备的实验条件，尚缺少的实验条件和拟解决途径(字数不少于：500)

5.1 研究基础

本课题隶属于国防科技173计划，有充足的经费支撑。在前期调研了有关联邦学习过程中攻击防御相关的各种问题并进行了较多的相关代码编写和实操。本人在研一研二期间阅读了联邦学习攻击防御相关论文60余篇，参与发表联邦学习攻击防御相关论文2篇。在此过程中，对于联邦学习过程中的攻击防御相关问题有了一定的了解，同时对于视觉大模型和大规模视觉语言模型也有着较多的学习和训练经验。除此之外，通过复现和修改开源项目搭建了联邦学习训练和攻击防御平台，并在该平台上进行了相关实验并开源，为后续的研究工作大号了基础，有助于本课题最终的系统实现和实验验证。同时，本人长期参与实验室联邦学习攻击防御相关领域的论文研读交流复现等工作，对于联邦学习攻击与防御的理论框架、最新研究进展以及实际应用中的挑战有了较为清晰的理解，并积累了较为丰富的实验经验。

5.2 工作条件

该课题依托于北京邮电大学网络与交换技术国家重点实验室，该实验室以网络安全、软硬件安全、信息传输安全等作为研究方向，并且先后承担国家“863”项目、“973”项目、“173”项目、国家自然科学基金等各类科研项目500余项，科研经费充足，科研力量雄厚。该实验室具有良好的科研环境和科研条件，为该课题研究的开展提供了完备的理论和硬件支持。实验室内配备了先进的实验设备和高效能的计算资源，能够满足大规模数据处理、模型训练以及复杂实验的需求。此外，实验室的多学科交叉合作环境为课题的研究提供了丰富的学术支持和技术指导，研究团队成员在网络安全、人工智能、深度学习等领域积累了深厚的研究经验，为课题的顺利推进奠定了坚实基础。

工作计划

时间	研究内容	预期效果
2024.09-2024.11	联邦学习攻防相关调研工作	调研现有解决方案和不足，初步确定实验内容
2024.11-2024.12	论文开题	撰写开题报告，完成开题答辩
2024.12-2025.05	视觉大模型攻击检测效率准确率冲突问题	设计并实现视觉大模型攻击检测效率和准确率不冲突算法
2025.05-2025.10	LVLM隐蔽后门攻击防御问题	通过意图点的构建有效识别和检测LVLM的联邦学习训练过程中隐蔽后门攻击防御问题
2025.10-2026.02	部署系统及实验对比	系统稳定运行、实验效果符合预期
2026.02-2026.05	大论文撰写	完成论文撰写和答辩

导师意见

该研究聚焦于视觉大模型在联邦学习中攻击防御的效率准确率问题，具有较高的学术价值和实际意义。随着数据隐私问题日益严峻，联邦学习成为解决这一问题的有效框架，但在面对恶意客户端攻击时，现有防御机制仍存在效率和健壮性不足的问题。因此，研究如何提升这些防御机制，特别是在视觉大模型中的应用，能够推动联邦学习安全相关技术的发展，并未实际应用提供有效的安全保障。该课题切合当前技术发展趋势，具有广泛的应用前景，值得深入研究。

综上，同意开题。

End

原创不易，自用硕士开题报告原文链接哦~
https://blog.letmefly.xyz/2024/12/07/Other-AI-FL-FederatedLearning-KaiTiBaoGao/