ググってもすぐ見つからなくて難儀したのでここに残します。

remove_attribute.py

import boto3

dynamodb = boto3.resource('dynamodb')

my_table =  dynamodb.Table('MyTable')

partition_key = 'hoge'
sort_key = 123

# 項目の取得
result = my_table.get_item(
    Key= {
        'pk': partition_key,
        'sk': sort_key
    }
)
print(result['Item'])

# 項目から属性の削除
my_table.update_item(
    Key= {
        'pk': partition_key,
        'sk': sort_key
    },
    UpdateExpression='remove foo'
)

# 項目の再取得
result = my_table.get_item(
    Key= {
        'pk': partition_key,
        'sk': sort_key
    }
)
print(result['Item'])

$ python remove_attribute.py
{'pk': 'hoge', 'sk': Decimal('123'), 'foo': 'bar'}
{'pk': 'hoge', 'sk': Decimal('123')}