便封他的侄子石衍为太子。冉闵虽为辅国大将军，然而却无实权。石遵因忌惮冉闵的军功，处处为难冉闵，架空他的权利。
碣族人孙伏都、刘铢等人集结了三千羯族士兵暗中埋伏在城内，想伺机杀掉冉闵。石遵知道了以后，非但没有制止他们。反而对他们说：“你们是功臣，好好为国家效力吧！”
冉闵得知后，他对赵石王朝的最后一点恩情消失殆尽！
他知道如今胡人要对他赶尽杀绝，皆因自己格格不入的汉人身份！汉人在赵国地位猪狗不如，就算他为赵国立下汗马功劳，仍然难逃被胡人歧视仇恨的命运！
恰逢石遵即位不久，赵国内狂风拔起树木，雷声大作，天降冰雹，大如碗盆。有僧人凭此天象，断言赵石气数已尽，不久将灭亡。李农趁机劝谏冉闵取而代之，若不先发制人，恐迟早被胡人杀害。
孙伏都等在石遵的默许下，从凤阳门进入邺城，直奔冉闵府邸。冉闵下定决心，利用此次机会，将政权从羯族人手里夺取过来。冉闵派出谯纵，李农等迎战孙伏都，孙伏都自然不是对手，全数被灭，从凤阳门至琨华殿，横尸遍地，血流成河。
为了怕胡人报仇，冉闵发布命令告知宫廷内外，胡人凡敢动用兵器者一律斩杀。百里之内的汉人都赶来，而城里的胡人吓得往城外跑去。
冉闵一不做二不休，颁布了杀胡令，他颁布命令告知内外，斩一个胡人首级送到凤阳门的，凡文官进位三等，武职都任牙门。一天之内，数万胡人被杀！
为确保万一，冉闵亲自率领汉人诛杀胡羯，死者达二十余万，尸体在城外漫山遍野。集居在四方的胡人，当地的军队依照冉闵的命令杀了他们！
此时石遵早就吓得屁滚尿流，冉闵废黜石遵的帝位并杀了他，又将石虎孙三十八人悉数杀尽,斩草除根！
随后，冉闵顺应民意于南郊僭登帝位，大赦天下囚犯，开粮仓，赈济灾民。改年号为永兴，国号大魏，史称冉魏。追尊父亲冉良为烈祖高皇帝，追尊母亲王氏为皇太后。
冉闵生于赵国，从小耳濡目染碣族人对汉人的欺凌侮辱，又看到石氏家族对汉族百姓的暴虐剥夺，因而对胡人统治阶级产生了强烈的憎恨，再加上父亲的牺牲，母亲的惨死，更是加深了他的仇恨。导致他颁布了杀胡令，几乎杀尽了碣族人！