物理因素职业病的预防措施应遵循以下优先级顺序：
1. 消除或减少物理因素的源头排放，例如通过技术改进减少噪音、粉尘和高温等有害因素的产生。
2. 对工作环境进行改造，增强隔音、隔热或通风设施，以降低工人接触有害物理因素的风险。
3. 为工人提供必要的个人防护装备，如耳塞、防尘口罩、防护服等，以减少有害因素对个人的直接影响。
4. 实施定期的职业健康检查，监控工人的健康状况，及时诊断和处理职业病病例。