您好！欢迎关注中国法网。根据您所表达的需求，我们为您提供如下信息： 根据《老年人权益保障法》第十四条规定，“ 赡养人应当履行对老年人经济上供养、生活上照料和精神上慰藉的义务，照顾老年人的特殊需要。赡养人是指老年人的子女以及其他依法负有赡养义务的人。”如果你们之前和老人就赡养一事签订过协议，那你们就存在赡养义务。至于5万元的退留问题，这需要看协议内容的具体约定，还要看被赡养人的意思表示。 法网平台为您提供以上信息，仅供您参考。如有疑问，欢迎进一步咨询。感谢您对12348中国法网的关注和支持！