伯琮入宫这年只有岁，生活不能自理，遂交给张婕妤负责养育。高宗虽然用心选了一个侄子，但他并未将其视为皇子。说来宋高宗有自己的理由：一、这一年他只有岁，倘若医治有效，说不定以后还会生出儿子。二、赵瑗年纪幼小，发展难以预料，万一不如人意，随时可以废掉。三、“伯”字辈侄子众多，说不定有更优秀者出现，到时择优汰劣，于江山社稷更为有利。

宋高宗的这些想法确有道理。可是，朝野医方用尽，他还是生不出儿子。绍兴四年，吴才人觉得寂寞无聊，也想抚育一个孩子。高宗把秉义郎赵子彦的男孩找来，时年岁，名为伯玖，长相可爱；聪慧颖异，吴才人一看就很喜欢，留在身边精心养育。宋高宗将其改名为赵璩，这样，事实上有了两个储君侯选人。他们自身尚不明白悄然开始的竞争，但大臣们在密切注意着立储大事。比如，大将张浚专门上表，请求高宗尽快确定皇太子。然而高宗心中有数，对于这种请求，一概置之不理。

绍兴五年五月，大臣赵鼎建议应在宫中建立书院，对这两名男孩加强培养。宋高宗为此修建了“资善堂”，聘请徽猷阁待制范冲和起居郎朱震为宫廷教师。两个孩子的学习都很认真，接受了系统正规的良好教育。绍兴十年（），岳飞奉诏班师后，提出“正国本以安人心”的建议，赵鼎也提出议立皇子一事，均遭宋高宗训斥。两年后，岁的赵瑗加检校少保，封普安郡王，按照惯例，他出宫住进王府。而这时的赵璩，独居禁中，封吴国公。三年后，赵璩晋封为思平郡王，同样搬进自己的府第，时人称为东、西二府。

宋高宗对于选立皇子之事不是没有考虑，然而他还必须考虑这样两个重要因素：一是抚育赵璩的吴才人已被册立为皇后，秦桧因与赵瑗关系不好，遂借机一打一拉，制造吴皇后欲立赵璩为太子的谣言。许多大臣看秦桧脸色行事，弄得“中外议颇籍籍”。高宗左顾右盼，难下立储决心。二是高宗母亲韦太后从金国回来后，因与赵璩接触较多，对其很有好感，日常言行不免偏向赵璩。高宗是个孝子，不能不考虑母亲的这种态度。此事就这样不痛不痒地拖了下来。

绍兴二十五年（）十月，奸相秦桧病死；二十九年（）九月，韦太后崩于慈宁宫。立储的所谓两大障碍已不复存在，大臣们又一次提出确定皇子的问题。高宗觉得再往下拖延实在难塞众口，遂把这事提上了朝廷议事日程。然而，赵瑗和赵璩两个究竟立谁，宋高宗再一次犹豫起来。这天，他独处宫中，看到一个个如花似玉的宫女，一个妙计涌上心头。遂悄悄召来内府总管，要其挑选未被临幸的名宫女，东府、西府各赐人，他要看看赵瑗、赵璩在女色面前的态度，据此决定取舍。过一段时间，宋高宗传命将这些宫女召回，让女官逐个对其检验。结果，赐给赵瑗的宫女完璧如初，而赐给赵璩的宫女全被奸过。宋高宗对此秘而不宣，但他明白了孰优孰劣，女色可以乱性，女色可以致祸，高宗利用这一传统办法，识别出哪个是正人君子，谁又是好色之徒。争论了近年的立储君问题，靠了名处女，就这样一锤定音了。绍兴三十年二月二十二日，朝廷举行了隆重的皇子册封仪式，宋高宗亲笔御书：“瑗可立为皇子，改名玮。”赵璩仍为皇侄，一个月后，他被封为开府仪同三司，判大宗正事，垂头丧气地离开临安，住进绍兴王府。皇子与他擦肩而过，他至死也不会明白自己失算在哪里。据史书记载，立皇子的制书颁布后，大臣们“动色相庆”，“中外欢悦”，说明宋高宗的这个决定英明正确，很得人心。赵瑗向皇太子之位迈出了关键的一步，成了惟一的皇位继承人。

如此重大而又严肃的立储问题，居然用名处女去检验测定，可谓独出心裁，历代罕见。这件事引起了后人的争议，宋高宗果真是用这种难以启齿的方法选定皇子的吗？《玄玄堂闲话》、《前桥小语》等史料中提出了不同看法，概而言之，有以下几点：

其一，选定赵瑗为皇位继承人，本是宋高宗的初衷。据《宋史·孝宗本纪》：孝宗（即当初的伯琮，后改赵瑗）一开始就受高宗喜欢，“绍兴二年五月，选帝育于禁中”，宫中修建“资善堂”书院，主要是为了教育好赵瑗。后来赵璩（即伯玖）被召进宫后，只有“寻诏赴资善堂听读”的资格。虽说他也按时受到诏封，其养母也位居皇后，但赵璩的资历、地位仍然无法与赵瑗相比。因为赵瑗比赵璩年龄稍大，受封几乎总要领先赵璩一步，这也是他被立为皇子的有利条件。更主要的是，赵瑗性喜俭约，厌恶骄奢，在这点上很对宋高宗的心思。这位经历了北宋亡国、父兄被掳过程的皇帝，多少记住了一些惨痛教训，他曾严厉批评过喜玩珊瑚的楚王之子赵仲氵是。赵瑗听到这件事情，引以为戒，旰食宵衣，踵武前贤，很想有所作为。对此高宗皇帝看得十分清楚，这正是一国之君最可贵的品质。确立赵瑗为皇子，这是最主要的原因。

其二，后官方面的大力支持，对确立赵瑗的皇子地位起了重要推动作用。所谓韦太后和吴皇后偏向赵璩，并因而干扰了高宗立储君的决心，于史无据，完全是秦桧一党制造出的谣言。关于立皇子之事，韦太后从来没有加以干涉，从另一件事可以看出她对这类事情的态度。当时，皇后未立，高宗请母亲写道手书，韦太后说：“我但知家事，外庭非所当预。”由此推断，这个老太太怎会干预立皇子的事呢？吴皇后在这件事上表现得更是明智。虽然赵璩是她抚育成人的，但她并没有想要立其为皇子，且看《宋史·吴皇后传》中的这段话：“伯琮（赵瑗）性恭俭，喜读书，帝与后皆爱之，封普安郡王。后尝语帝曰：‘普安，其天日之表也。’帝意决，立为皇子，封建王。出（赵）璩居绍兴。”很明显，在确立赵瑗为皇子的问题上，吴皇后投了关键的赞成票，她以公正无私的行动，平息了秦桧一党的谣言，也打消了高宗的种种顾虑。

在确立皇子问题上，宋高宗确实有种种顾虑，后宫的态度非常重要，秦桧等人的意见也要考虑。吴皇后与秦桧的关系较好，因为“秦桧等累表请立中宫”，她能进位为皇后，这个奸相是出了力的，所以她常常附和秦桧的意见。不妙的是，赵瑗与秦桧的关系却很紧张。对此，吴皇后心中自然有数。宋高宗正是担心她同秦桧一伙搅在一起坚持立赵璩为皇子，幸好在这件事上她没有为秦桧所左右。恰在这时，赵瑗又立了一功。绍兴二十五年（）十月，秦桧病重，其家人和死党欲以秦桧之子代父职，妄图继续操纵朝政。赵瑗得到这个消息立即报告了高宗，高宗也认为秦氏父子太过分了，连夜驾临秦家，挫败了这一乱政阴谋。这件事使高宗和吴皇后感到，在大是大非面前赵瑗有胆有识，处事果敢，为君者理应具备这种素质。吴皇后不以一己之私与赵瑗结怨，仍然积极推荐他进位皇子，说明秦桧一党的挑拨未起任何作用。高宗原来以韦太后和吴皇后做“挡箭牌”，是想应付那些关心国本的大臣，也是为了敷衍秦桧一党。说不定宋高宗正是看到赵瑗善断大事的能力，再加上吴皇后的大力支持，才下决心确立他为皇子。