https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf오늘 리뷰할 논문은, AlexNet으로 유명한 딥러닝 아키텍처 논문이다. 2012년 ImageNet 데이터셋을 분류하는 경진대회에서 1등을 차지했다.   Introduction 최근 머신러닝 방법론의 발전으로 학습을 위한 더 큰 데이터셋을 수집하고, 더 강력한 모델을 학습하며, 과적합을 방지하기 위한 개선된 기술을 사용할 수 있게 되었다. 이전에는 레이블이 있는 이미지 데이터셋이 수만 개의 이미지로 제한되었고, 이는 간단한 인식 작업에는 적합했으나 복잡한 물체 인식을 위해선 더 큰 데이터셋이 필요하다는 점이 언급된다. 더 많은 물체를 인식하기 위해..

오늘 리뷰할 논문은 2023년 NIPS에 publish 되었던 LLM-Pruner이다.  https://openreview.net/forum?id=J8Ajf9WfXP LLM-Pruner: On the Structural Pruning of Large Language ModelsLarge language models (LLMs) have shown remarkable capabilities in language understanding and generation. However, such impressive capability typically comes with a substantial model size, which...openreview.net  멀티모달, LLM 등으로 대표되는 large model..

https://arxiv.org/abs/2409.05976 FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank AdaptationsThe rapid development of Large Language Models (LLMs) has been pivotal in advancing AI, with pre-trained LLMs being adaptable to diverse downstream tasks through fine-tuning. Federated learning (FL) further enhances fine-tuning in a privacy-aware manner byarxiv.orgarXiv 2024..

https://arxiv.org/abs/2206.05507 Federated Learning with GAN-based Data Synthesis for Non-IID ClientsFederated learning (FL) has recently emerged as a popular privacy-preserving collaborative learning paradigm. However, it suffers from the non-independent and identically distributed (non-IID) data among clients. In this paper, we propose a novel frameworkarxiv.org  2022 IJCAI accepted 연합학습 상황에서 ..

Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight GenerationWhile federated learning leverages distributed client resources, it faces challenges due to heterogeneous client capabilities. This necessitates allocating models suited to clients' resources and careful parameter aggregation to accommodate this heterogenearxiv.orgEffective Heterogeneous Federated Learni..

https://arxiv.org/abs/2410.01256 ParallelSFL: A Novel Split Federated Learning Framework Tackling Heterogeneity IssuesMobile devices contribute more than half of the world's web traffic, providing massive and diverse data for powering various federated learning (FL) applications. In order to avoid the communication bottleneck on the parameter server (PS) and accelerate tharxiv.org 오늘 리뷰할 논문은 Mob..

오늘 리뷰할 논문은 SemiFL이다. (NeurIPS 2022)  로컬 서버가 모델의 훈련을 전담하는 보통의 중앙집중식 학습방식과 다르게, 서버와 클라이언트가 연합하여 모델을 훈련하는 학습환경인 연합학습(Federated Learning)에 관한 이야기이다. 또한 supervised learning(지도학습)과 unsupervised learning(비지도학습)의 중간인 semi-supervised learning(준지도학습) 상황에서의 문제를 다루고 있다. 즉 라벨링이 되어있는 데이터와 그렇지 않은 데이터가 공존하는 상황이다.   https://arxiv.org/abs/2106.01432 SemiFL: Semi-Supervised Federated Learning for Unlabeled Clients..