Nie wiem czy dokładnie Cię rozumiem, ale ja bym zrobił to tak. te x-warstw zpisał jako osobny plik (spłaszczony), czyli bez warstw (JPG, TIFF, co tam chcesz i narzędziem zaokrąglonego prostokąta na tym obrazku narysował kształt (opcje zaokrąglania - wielkość) są dostępne na pasku w pix). przekształcam to w scieżkę roboczą, robie nową warstwę, wyłączam warstwę narzędzia, i przełączam się na właściwy obrazek, potem tylko warstwa przez wycinanie lub kopiowanie.
Zaznaczam że nie wiem dokładnie czy o to ci chodzi - po tej operacji masz fotkę z dowolnie zaokrąglonymi rogami
pozdrawiam
