Jak stworzyć własny format pliku który tylko dany program odczyta?
Bierzesz dowolny inny format pliku, dodajesz swój nagłówek i gotowe. 
A na prawdę?
Jakie pytanie, taka odpowiedź.
Tak jak na pytanie - jak ugotować zupę?
Określ po co chcesz to robić, co chcesz uzyskać, co przechowywać w takim pliku.
Obmyślasz sobie jakie dane i w jakiej kolejności ma zawierać plik, jakie struktury danych będą występowały wiele razy, jakie będą opcjonalne, jak jedne elementy bedą się odwoływały do innych to po inkedsie czy offsecie, czy przewidujesz możliwość poźniejszego rozszerzenia formatu o dodatkowe struktury danych, itp, itd…
A czy istnieje o tym jakaś strona (najlepiej po polsku)?
Hmmm… mogę polecić http://asawicki.info/productions/artykuly/strukturyd_formatyp.php5, co prawda ten artykuł oparty jest na C++ i WinAPI, ale ogólne podstawowe zasady powinieneś zrozumieć 
