Z tym pendrive, to jest od dawna problem niestety. Możesz spróbować ze współdzielonym katalogiem. Przed uruchomieniem ustawiasz w Opcjach Maszyny Wirtualnej danej dystrybucji takowe pliki. Możesz też zrobić to, nagrywając na płytę coś, a potem w Opcjach dać, aby używał napędu gospodarza.
Współdzielony katalog to odpowiedz idealna i właściwie jedyna słuszna.
Poczytaj o tym w Instrukcji Obsługi VirtualBox
W skrócie: trzeba na wirtualnej maszynie zainstalować Addtitons (Dodatki) i można od razu wciągnąć foldery z hosta w ustawieniach maszyny; na wirtualnej maszynie montujesz system plików vboxsf: sudo mount -t vboxsf sharename ~/host.