裴耀卿出身于官宦之家，父亲裴守真曾任户都尚书。裴耀卿小时候很聪明，七、八岁就会做文章。唐睿宗李旦在武则天称帝后被降为后嗣，封为相王。裴耀卿青年时代在相王府中任典签。受到李旦的赏识和重用。相王命他和丘悦（与掾）、韦得器（文学）三人轮流在府中值班，“以备顾问”。李旦重新当皇帝后，任命他为国子主簿。