Как удалить повторяющиеся заметки из XML-документа в Perl?

У меня есть видеофайл карты сайта xml с дублированными узлами:

<?xml version="1.0"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"> 
<url>
<loc>http://www.tubtun.com/video/Samsung_42Channel_Wireless_SoundStand</loc>
<video:video>
    <video:title>Samsung 42Channel Wireless SoundStand</video:title>
    <video:description>Samsung 4.2Channel Wireless SoundStand</video:description>
    <video:thumbnail_loc>http://www.tubtun.com/media/files_thumbnail/user91/pl_5364844b0dc.jpg</video:thumbnail_loc>
    <video:player_loc>http://www.tubtun.com/modules/vPlayer/vPlayer.swf?f=http://www.tubtun.com/modules/vPlayer/vPlayercfg.php?fid=844b0dc2c7258f4de11</video:player_loc>
    <video:publication_date>2015-01-27</video:publication_date>
</video:video>
</url>
<url>
<loc>http://www.tubtun.com/video/Samsung_42Channel_Wireless_SoundStand</loc>
<video:video>
    <video:title>Samsung 42Channel Wireless SoundStand</video:title>
    <video:description>Samsung 4.2Channel Wireless SoundStand</video:description>
    <video:thumbnail_loc>http://www.tubtun.com/media/files_thumbnail/user91/pl_5364844b0dc.jpg</video:thumbnail_loc>
    <video:player_loc>http://www.tubtun.com/modules/vPlayer/vPlayer.swf?f=http://www.tubtun.com/modules/vPlayer/vPlayercfg.php?fid=844b0dc2c7258f4de11</video:player_loc>
    <video:publication_date>2015-01-27</video:publication_date>
</video:video>
</url>
.....

Я написал perl-скрипт для удаления дубликатов данных:

use strict;
use warnings;
use XML::LibXML;

my $file = 'sitemap.xml';
my $doc = XML::LibXML->load_xml( location => $file );

my %seen;
foreach my $uni ( $doc->findnodes('//url') ) {  # 'university' nodes only

    my $name = $uni->find('video:title');

    print "'$name' duplicated\n",
      $uni->unbindNode() if $seen{$name}++;  # Remove if seen before
}

$doc->toFile('clarified.xml'); # Print to file

К сожалению, файл "уточненный.xml" совпадает с файлом sitemap.xml.

Я не знаю, что не так с моим сценарием.


xml xml-sitemap perl
person akram1rekik    schedule 08.10.2015    source источник
comment
Вы проверили, что внутри $name? Ваш скрипт говорит, что нужно распечатать вывод foo duplicated?   -  person simbabque    schedule 08.10.2015
comment
Ну тогда ты нашел проблему. $uni->find('video:title') не работает должным образом. Вы можете проверить, как работать с префиксами пространств имен в XML::LibXML и как получить текстовый узел из элемента.   -  person simbabque    schedule 08.10.2015

Ответы (3)


arrow_upward
0
arrow_downward

У меня это работает, вот код, и я попробовал решение, представленное в https://stackoverflow.com/a/4817929/235961

use strict;
use warnings;
use XML::LibXML;

my $file = 'sitemap.xml';
my $doc = XML::LibXML->load_xml( location => $file );

my %seen;
foreach my $uni ( $doc->findnodes("//*[name() ='url']") ) {  # 'university' nodes only

    my $name = $uni->find('//video:title');
    print "'$name' duplicated\n",
      $uni->unbindNode() if $seen{$name}++;  # Remove if seen before
}

$doc->toFile('clarified.xml'); # Print to file
person Pradeep    schedule 08.10.2015
comment
Я изо всех сил пытаюсь поверить, что ваш код работает иначе, чем оригинал OP. Все, что вы сделали, это изменили XPath //url на //*[name()='url'], что идентично, когда у узла нет пространства имен, как здесь. Вы также пытаетесь использовать пространство имен video, о котором LibXML ничего не знает. Пожалуйста, покажите ваш образец входных данных и полученный результат - person Borodin; 08.10.2015
comment
Находка тоже немного другая. - person Sobrique; 08.10.2015
comment
@Borodin Я не совсем уверен, но думаю, что это связано с пространствами имен XML, я читал аналогичную проблему здесь stackoverflow.com/a/ 4817929/235961 - person Pradeep; 08.10.2015
comment
В видео @Borodin упоминается ns, и я не могу запустить свой код ни в одной онлайн-среде IDE, чтобы вы могли ее увидеть, потому что ни в одной из них не установлен XML::LibXML. - person Pradeep; 08.10.2015

arrow_upward
1
arrow_downward

Я не совсем понимаю, почему ваш XML::LibXML не работает, хотя, как упоминалось в комментариях, если он не работает с find, это будет его корнем.

Я предложу альтернативу, которая работает с использованием XML::Twig.

#!/usr/bin/env perl 
use strict;
use warnings;
use XML::Twig; 

my $file = 'test3.xml';

my %seen;

sub delete_url_if_seen {
   my ( $twig, $url ) = @_; 
   my $name = $url -> get_xpath('./video:video/video:title',0) -> trimmed_text;
   if ( $seen{$name}++ ) { $url -> delete; };
}

my $twig = XML::Twig -> new ( 'pretty_print' => 'indented_a', 
                   'twig_handlers' => { 'url' => \&delete_url_if_seen } );
$twig -> parsefile_inplace ( $file );
person Sobrique    schedule 08.10.2015

arrow_upward
1
arrow_downward

Вам следует использовать XPathContext и зарегистрировать видео и пространство имен по умолчанию. Вы также должны вызвать findvalue, чтобы получить заголовок в виде строки.

my $xpc = XML::LibXML::XPathContext->new();
$xpc->registerNs(sitemap => 'http://www.sitemaps.org/schemas/sitemap/0.9');
$xpc->registerNs(video   => 'http://www.google.com/schemas/sitemap-video/1.1');
for my $node ($xpc->findnodes('//sitemap:url', $doc)) {
    my $name = $xpc->findvalue('video:title', $node);
    ...
}
person nwellnhof    schedule 25.05.2020