paper-stream2024-09-20
Adapting Large Language Models to Domains via Reading Comprehension
この論文では、ドメイン特化の生データを読解テキストに変換する新しい手法を提案し、生物医学、経済、法律などの分野での能力向上と汎用的なプロンプト対応能力の獲得を確認しました。実験結果は、提案手法（AdaptLLM）が他の手法よりも優れた性能を示し、特に生物医学と法律の分野で顕著な向上が見られました。
paper-stream2024-09-20
Improving Domain Adaptation through Extended-Text Reading Comprehension
この研究は、長文読解を通じてドメイン適応の性能を向上させる方法を提案し、LLMによる質問応答生成と文書の長さに基づくクラスタリングを組み合わせることで、バイオメディカル分野で6.8%、金融分野で5.6%の性能向上を達成しました。LoRAを用いた微調整により、全パラメータ調整と同等の性能が得られ、クラスタリングの有効性も確認されました。