Биллард повлиял на несколько престарелых прихожан, склонив написать завещание в его пользу как частной личности, а не как епископу. Кроме того, Ватикан отстранил его от должности на три месяца за неправильное распоряжение фондами. Ничего преступного найдено не было, но его финансовые дела многими были сочтены неэтичными менее чем через месяц после его смерти; его собственные священники писали, что «епархия может считать его смерть благословенным освобождением» (см. Jarnac, Les archives du tresor de Rennes-le-Château, vol. 2., p. 457—470).
