ישראל כהן, עורך דין, יועץ לשר