陛下所虑，臣知之矣……”他跟裴该商讨外族问题，也不是一回两回了，裴该对于那些外族是何种态度，游遐自然一清二楚——总结起来不外乎两句话：一，妄造杀虐有干天和，种族屠杀要不得；二，戎而不能化为中国，终将为中国之患，必须先拆分之然后再转化之。
但他随即又问：“于刘恒、刘曜又如何处置啊？”不等裴该反问，便即解释道：“在臣以为，晋阳既复，胡汉等于殄灭，若再显戮刘曜等，未足为功，反画蛇足，不如由臣就地处置了吧。”
游子远的想法跟裴嶷不同，他不觉得由华朝来伐灭屠各，有啥可光彩的。胡汉政权终终曾经显赫一时，既称皇帝，复几倾晋祚，全靠着裴该的奋战，才把他们彻底打垮。裴该于晋时灭胡，乃是他得受晋禅的重要政治资本，有必要使天下人知道，其实胡还尚未灭尽吗？不如只当是无足轻重的孑遗残党，直接悄无声息地捏灭了算。
裴该颔首道：“可如卿言。”
但游遐接下去又问了：“羊氏兄妹，又如何处置？”
裴该略一沉吟，便回答道：“羊氏实为晋后，虽被胡掳，耻在于晋，而不在其身，若其尚欲活，可归之于泰山羊氏，使平安终老。至于羊容叔……彼前曾与续孝宗联络，云不得已而从胡，此番若能策应建功，可使来洛阳朝觐，朕观其志，或者可用。”