必须是对被遗弃者负有法律上的扶养义务而且具有抚养能力的人才能构成遗弃罪。
根据我国婚姻法的规定，法律上的扶养义务是：
夫妻有互相扶养的义务；
父母对未成年子女有抚养教育的义务；
成年子女对父母有赡养扶助的义务：
父母子女之间的关系，不因父母离婚而消除，离婚后父母对子女仍有抚养相教育的义务；
养父母与养子女、继父母与继子女之间的权利义务均与生父母与其子女之间的抚养、赡养义务相同，但是养子女和生父母间的权利和义务，因收养关系的成立而消除；非婚生子女享有与婚生子女同等的权利，其生父母应负担子女必要的生活费和教育费的一部或者全部，直到子女能独立生活为止；
祖父母、外祖父母，对于父母已经死亡的未成年的孙子女、外孙子女，有抚养的义务；
孙子女、外孙子女对于子女已经死亡的祖父母、外祖父母，有赡养的义务；
兄姐对于父母已经死亡或者无力扶养的未成年弟、妹，有扶养的义务。
遗弃罪在客观方面表现为对年老、年幼、患病或者其他没有独立生活能力的家庭成员，应当扶养而拒不扶养，情节恶劣的行为。
情节是否恶劣是区分遗弃罪与非罪的一个重要界限。
根据司法实践经验，遗弃行为情节恶劣是指：由于遗弃而致被害人重伤、死亡的；被害人因被遗弃而生活无着，流离失所，被迫沿街乞讨的；因遗弃而使被害人走投无路被迫自杀的；行为人屡经教育，拒绝改正而使被害人的生活陷一危难境地的；遗弃手段十分恶劣的（如在遗弃中又有打骂、虐待行为的）等等。
