Walau Kelompok Topi Jerami dapat dengan mudah mendapatkan anggota. Akan tetapi ada beberapa karakter yang menolak gabung kelompok topi jerami.
Tentunya beberapa karakter tersebut memiliki alasan karena tidak bisa bergabung dengan kelompok tersebut. Siapa saja karakter yang menolak bergabung?
Gaimon merupakan bajak laut yang hidup di pulau Island of Rare Animals. Didalam versi manganya, Gaimon sendiri muncul diantara dua arc yaitu arc Orange, dan arc Syrupp Village. Karakter yang satu ini pertama kali bertemu Luffy dan Nami di pulau tersebut.
Di cerita animenya, Gaimon merupakan seorang yang memiliki kepribadian serakah dan jahat. Akan tetapi seiring berjalanya cerita,Gaimon mulai berubah. Karena kebaikannya Gaimon sendiri tawari Luffy agar bergabung ke kelompok bajak lautnya. Gaimon pun menolak hal tersebut karena ingin melindungi para binatang yang tinggal dipual tersebut.
Dr Kureha
Karakter itu ingin menolak tawaran tersebut, dan menawarkan Chopper untuk bergabung ke kelompok Topi Jerami. Sayangnya, karakter yang satu ini harus tewas dan membuat Chopper memutuskan untuk mengikuti Luffy.
Ketika bertemu Luffy, Crocus menyadari bahwa Luffy memiliki kesamaan dengan Roger. Walau begitu Crocus pun tetap menolak ketika diajak bergabung ke kelompok topi jerami. Hal tersebut dikarena dia ingin merawat pausnya yaitu Laboon.
Setelah hancurnya kapal Going Merry, para anggota topi jerami menyadari bahwa mereka kekurangan anggota yang bisa memperbaiki kapal. Di arc Water Seven, Luffy mencari seseorang agar mampu memperbaiki kapat tersebut.
Akhirnya kelompok topi jerami bertemu dengan karakter yang mampu memperbaiki kapal bernama Iceburg. Walau mendapatkan Luffy untuk bergabung, Karakter ini menolak untuk bergabung karena dia Walikota dan harus bertanggung jawab menjadi walikota Water 7.