Ketika dibentuk Panitia Persiapan Kemerdekaan Indonesia (PPKI), dari 30 anggota, nama Mr Johannes Latuharhary menempati urutan ke 14, dan dianggap mewakili Maluku. Di Panitia ini Latuharhary duduk bersama antara lain Soekarno, M. Hatta, Otto Iskandardinata, Mr Soepomo, Ki Hadjar Dewantara, Kasman Singodimejo, dan Mr. Iwa Kusuma Soemantri.
Latuharhary adalah anggota BPUPKI yang menolak masuknya anasir religiositas ke dalam UUD 1945. Pada rapat BPUPKI pada 11 Juli 1945, Latuharhary menolak penggunaan kata Ketuhanan dimasukkan ke dalam Pembukaan UUD 1945. Saya tidak setuju dengan semuanya, yaitu dengan perkataan tentang ke-Tuhanan, kata Latuharhary sebagaimana diungkap dalam buku Risalah Sidang BPUPKI dan PPKI terbitan Sekretariat Negara (1995).
Anggota BPUPKI, Sartono mencoba menengahi dengan mengatakan bahwa soal detil kalimat akan dibicarakan kemudian. Soekarno mempertanyakan apakah Latuharhary sudah memikirkan kemungkinan penolakan dari anggota BPUPKI yang lain terhadap pandangan Latuharhary. Latuharhary menegaskan bahwa dalam menyusun hukum dasar tidak boleh ada benih-benih yang dapat diartikan bermacam-macam, dan menimbulkan perasaan tidak senang pada kelompok lain.
Ketika dibentuk Komite Nasional Indonesia Pusat (KNIP) periode Agustus-Oktober 1945, Latuharhary terpilih sebagai Wakil Ketua III. Ketua Komite ini adalah Mr Kasman Singodimedjo. Belakangan, posisi Latuharhary di Badan Pekerja KNIP mewakili Maluku digantikan oleh P de Quelju.
Sejarah mencatat bahwa selama duduk di BPUPKI dan PPKI, Latuharhary telah mengajukan sejumlah usul penting. Pada rapat PPKI pada 19 Agustus 1945, Latuharhary menolak istilah mangkubumen yang diusulkan Soekarno sebagai sebutan pemerintahan daerah. Selain istilah itu dianggap berbau Jawa, istilah yang lazim dipakai adalah gubernemen atau provinsi. Istilah yang dipakai kemudian adalah provinsi.
Pada sesi lain rapat PPKI, Latuharhary juga menyatakan penolakannya terhadap pembentukan Kementerian yang khusus mengurusi agama, yakni Departemen Agama. Persoalan ini dinilai Latuharhary sensitif dan bisa menciderai semangat kebangsaan yang tengah dibangun. Saya yakin bahwa jika mengadakan suatu Kementerian Agama, nanti bisa ada perasaan-perasaan yang tersinggung atau yang tidak senang, kata Latuharhary pada rapat PPKI Minggu siang di Gedung Tyuuoo Sangi-in (sekarang Departemen Luar Negeri).
Ketika Hatta mengusulkan pembentuka 15 Departemen, Latuharhary mendukung pemisahan Departemen Makanan Rakyat dan Departemen Perekonomian Umum. Bagi Latuharhary, urusan Makanan Rakyat tidak bisa dianggap sepele.