Чем можно подкрасить гипс чтобы он выглядел более натурально?

Самый простой способ придать гипсу более-менее природный цвет - использовать крепкую заварку вместо воды при изготовлении плиты.
Гипс конечно будет гораздо светлее используемой заварки, но выглядит при этом очень натурально.
Второй, хорошо зарекомендовавший себя способ - купить в строительном магазине колер - специальную пасту (или жидкость) для придания краске нужного цвета.
Спрашивайте тот, который из природных компонентов и не растворяется в воде.
Делайте упор на то, что вам нужен АБСОЛЮТНО НЕ ЯДОВИТЫЙ колер.
Гуашь и акварель - отпадают ввиду растворимости в воде. Эти краски будут окрашивать воду которая будет присутствовать в гипсе и со временем не только вымоется из гипса, но и окрасит стекла... да и самих мурашей.