Improving Domain Adaptation through Extended-Text Reading Comprehension

この研究は、長文読解を通じてドメイン適応の性能を向上させる方法を提案し、LLMによる質問応答生成と文書の長さに基づくクラスタリングを組み合わせることで、バイオメディカル分野で6.8%、金融分野で5.6%の性能向上を達成しました。LoRAを用いた微調整により、全パラメータ調整と同等の性能が得られ、クラスタリングの有効性も確認されました。