不能长久，虽然拒绝不得，但也总和宇文护保持距离，生怕有一天连累到他，为了避免出仕甚至跑到深山里去……虽然后来也没成功，但终归表明了态度。
后来果然和他预料的一样，宇文邕上台后，大肆清洗宇文护党羽，居然让苏威成了漏网之鱼。只是将官职、爵位一贬再贬，贬为稍伯下大夫而已，苏威仍是不肯接受……
这就很值得揣摩了，如果苏威只是苟活保命，宇文邕扔一个骨头过来，他就该扑过来咬住，可他拒不接受，这说明这个人还是有几分傲气的。
最重要的一点，苏威和高颎一样，是典型的改革派（严格来说，是改革派中的保守派，但大抵是倾向改革的没错），力主减赋，修订法典。
隋朝前期政治清明、社会平稳，和这两个宰相的努力脱不开干系。可巧，高纬这厢正头疼无人可用，这边苏威就自己送上门来了，苏威显然也只是一个假隐士，不是真隐士，他既然为了求出身可以拉下脸求上高颎门上来，高纬要直接征辟他想必他也不会拒绝。
这样一想，高纬立即心情大好，笑道：“如此说来，这苏威的才能竟是能与爱卿比肩了？这样的贤才，如果不能为朝廷所用，那实在是太可惜了，爱卿你有这样的良师益友，何不早早引荐给朕？你看，朕如果现在要征辟他，让他做官，他会愿意吗？”
陛下大概是真的感到高兴，举止、语气间顿时亲昵了不少，高颎暗暗松了一口气，恭敬道：“臣从前也是写过信让他过来的，可苏威是宇文护之婿，身份太敏感，家小又都在周国手里攥着，多有顾虑。周国一败，他便只身来投，显见也是仰慕国朝，愿为陛下驱策，效犬马之劳的。”
“这就不必了，朕要的是国之干才，不是犬马，只要能当大用就行，至于他是谁的女婿，一点都不重要。”高纬眼含笑意，指了指高颎，“就譬如你，朕何曾因为你们的出身敏感就对你们弃之不用？天下偌大，莫不从王，又何必区分什么关中、河北呢？”
高颎想起入仕数年，陛下有意的照拂、磨勘，也是感激莫名，心中顿时升起‘士为知己者死’的想法来，他眼眶一红，伸手揩去滑下的热泪，一脸慷慨激昂道：“臣自知才干平庸，然陛下不嫌臣卑鄙，提举简拔于微末之间，臣感激涕零，所能报者，唯有一颗赤胆忠心而已！”
“爱卿要是才干平庸，满朝上下又有何人可用？”高纬也好生安抚了一番，正在君臣融洽的档口，高纬心底忽然萌生一个想法，突兀问道：
“祖相致仕前，曾上表要朕安
…。。