屈突通投降后，应李渊安排到河东郡蒲坂劝降尧君素，屈突通到了蒲坂城下，尧君素在城上看到老领导还活着，此情此景，激动得流泪不已，屈突通也在城下泪水涟涟。屈突通对尧君素说：“我军已败，义军到哪里，哪里就有响应的，时势到如此地步，你还是早点投降的好。”尧君素回答：“您是国家大臣，主上把关中交给你，代王把社稷托付给你，你怎么能背负国家，活生生的投降，甚至还给人家做说客？您所骑的马就是代王赐给您的，您还有什么脸面骑它呢？”屈突通一声长叹：“唉！君素，我是力尽才来的。”尧君素说：“我现在还有力量，还不能投降。您就不要多讲了。”屈突通惭愧而归。
尧君素为什么如此尽忠于隋朝呢？尧君素和隋炀帝杨广的关系可不一般。尧君素在杨广还是晋王时，就是杨广的贴身侍从，他混起来可都是杨广一手拉起来的，他能不忠心吗？
从617年10月，尧君素被任命为河东郡通守孤守蒲坂城以来，尧君素多次挫败李渊军队攻势，逼的李渊不停的更换将领。屈突通走后，李渊先是派吕绍宗趁机攻击蒲坂城，不行，换成虞州刺史韦义节，还不行，618年10月4日，李渊把韦义节给撤了，派工部尚书独孤怀恩继续围攻尧君素。
尧君素是明知不可为而为之，坚决死守河东郡。尧君素做了一个木鹅，把一封评论时事的信挂在鹅颈上，放在黄河里，随水漂下，信后来送到守洛阳的越王杨侗处，杨侗满心伤感，加封尧君素金紫光禄大夫，派人悄悄的去劳军。杨侗能做的也就这些了。
12月4日，孤独怀恩再次对守蒲坂城的尧君素发动攻击，结果李渊女儿桂阳公主丈夫赵慈景被尧君素俘虏后悬头城外。原洛阳的将领去劝降，尧君素不听，李渊不计前仇，赐给免死铁券，尧君素还是不降，尧君素的妻子到城下劝降，尧君素直接用箭把妻子射倒。
618年12月27日，死守了一年多的时间，河东郡蒲坂城里饿得开始吃人，大家也都知道隋炀帝死了的消息，不管你尧君素带兵带的再好，手下人薛宗、李楚客只好把坚持不降的尧君素杀掉，把尧君素的首级送到长安。但尧君素手下的朝散大夫王行本拥兵700人，又杀掉薛宗等数百人，复守蒲坂城。孤独怀恩再次包围之。一直到620年2月22日，走投无路的王行本才开门投降。