İlk filmin ardından Siyah Giyen Adamlar 2, Kay ve Jay'in dört yıl sonra yeniden bir araya geldiği bir hikaye sunuyor. Jay, ideal ortağını bulamadan Siyah Giyen Adamlar örgütünde çalışmaya devam ederken, sıradan bir cinayet soruşturması sırasında Serleena adında, güzel bir kadın kılığına girmiş bir varlığın dünyaya yerleştirmeye çalıştığı bir cihaz aracılığıyla birçok gezegene hükmetme peşinde olduğunu keşfediyor. Bu tehlikeli planı durdurabilecek bilginin Kay'in silinmiş hafızasında gizli olduğunu öğrenen Jay, eski ortağını yeniden örgüte kazandırmak ve ona kaybolan hafızasını geri yüklemek zorunda kalıyor. Böylece, ikili, Serleena'nın planlarını boşa çıkarmak için birlikte hareket etme fırsatı buluyor.