自筆証書遺言、秘密証書遺言の場合には、遺言書を破棄することで取り消したことになります。また、「以前の遺言書を撤回する」という趣旨の遺言書を新たに作成することによっても遺言書を取り消すことができます。
公正証書遺言の場合には、公証役場に原本が残っていますから、手元にある公正証書遺言の正本や謄本を破棄しただけでは遺言を取り消したことにはなりません。「以前の遺言書を撤回する」という趣旨の遺言書（遺言書の種類は問いません）を新たに作成することによって、取り消すことになります。