为了尽快将这部分日本侨俘送回国，1945年10月25日，中美双方在上海召开专门会议，并制定了《中国战区日本官兵与侨民遣送归国计划》。1946年1月7日，在由中国国民党代表张群、共产党代表周恩来，美国代表马歇尔组成的三人小组会议上，三方决定从1946年4月起，开始全面遣返滞留在中国东北的日本侨俘。1946年1月15日，中美双方在东京举行会谈，明确了在遣送东北日本侨俘问题上，中国政府和美国政府应该分担的责任。中国政府负责将日本侨俘集中到港湾地区，直到登上在辽宁省葫芦岛停靠的回国船只为止。美国政府负责调集日本船舶和美国海军部分船舶，以及具体航行路线。

国共双方以及美、苏两国代表就遣返日本侨俘达成相关协议后，国民政府东北行辕成立了“东北行辕日侨俘管理处”，后又更名为“东北保安司令长官部日侨俘管理处”，委任国民党207师少将师长李修业为处长；在解放区，中共成立了以军调部东北三人小组成员李敏然(李立三)为处长的“东北民主联军遣送日人管理处”，分别领导遣返日侨工作。

1946年4月23日，所有滞留中国东北的日本侨俘，陆续接到中国国民政府及“东北保安司令长官部日侨俘管理处”发出的“向葫芦岛港集中，统一遣返回国”的命令。1946年5月7日上午，两艘装载着2489名日本侨俘的美国轮船驶离葫芦岛港，拉开了大遣返的序幕。

尽管战后经济困难，中国人民还是调集极大的人力、物力和财力，完成日侨俘遣返工作。据统计，1946年5月至8月的遣侨经费开支约1.47亿元，其中，仅日侨俘伙食费开支一项就达1.25亿余元；为解决日侨俘集中待遣期间的吃饭问题，东北人民不顾自己饥荒，筹集粮食上亿斤；为供遣返运输之需，政府调配火车车皮1.3万余辆，飞机70余架次，以及大量汽车、马车及江河渡船；沿途各火车站由地方政府提供生活用品，确保日本侨俘不受饥饿之苦。为了保证日本侨俘身体健康，在锦西设有临时医院，并且专设妇产科，以便发现病人和临产孕妇能够及时予以救护。为减少日本侨俘行程中的困难，中方规定以保持全家人同行为准则，单身日本侨俘自行结队；由几家人组成一个小队，几个小队组成中队，2500人编成一个大队，每个大队设置指挥班、通讯班，还配备医生、护士等协勤人员。遣返者除必备的身份证和离境证明外，还要佩戴臂章和胸章，标明遣返者的姓名，所在的遣返单位，以及原来居留中国时的住址、职业等等，而且还要接受霍乱和伤寒等传染性疾病的预防注射。

1946年8月20日，解放区的日侨俘也正式开始遣返。到9月下旬，解放区日本侨俘全部遣返工作结束，共遣返日本侨俘182222人。

葫芦岛大遣返历时半年，遣返日本侨俘计达1051047人（包括16607名日军战俘）。1946年11月27日，最后一艘载运日本侨俘的轮船“第一大海丸”即将离开葫芦岛港。日侨俘管理处处长李修业来到船上进行礼节性的送行。李修业告诉日侨：“我们中国人胸怀大度以德报怨，把你们妥善地遣返回国，这是我们中华民族的崇高美德和人道主义。日本军阀发动侵华战争，不仅使中国人民深受其害，希望你们以后只带友谊来，不要再带刺刀来，再见吧！”李修业演讲结束后，日本侨俘们弯腰低头表示认罪，很多人痛哭失声表示忏悔，并向中方赠送“感谢中国”的锦旗。