Skip to content

Commit 9abac0c

Browse files
MihaiValentinMihaiValentin
authored
Merge pull request #87 from robertIsaac/master
replace `nodejieba` dependency with `@node-rs/jieba`
2 parents 707574c + 8da1b47 commit 9abac0c

File tree

6 files changed

+217
-453
lines changed

6 files changed

+217
-453
lines changed

‎lunr.ta.js

Lines changed: 102 additions & 102 deletions
Original file line numberDiff line numberDiff line change
@@ -19,105 +19,105 @@
1919
* export the module via AMD, CommonJS or as a browser global
2020
* Export code from https://github.com/umdjs/umd/blob/master/returnExports.js
2121
*/
22-
;
23-
(function(root, factory) {
24-
if (typeof define === 'function' && define.amd) {
25-
// AMD. Register as an anonymous module.
26-
define(factory)
27-
} else if (typeof exports === 'object') {
28-
/**
29-
* Node. Does not work with strict CommonJS, but
30-
* only CommonJS-like environments that support module.exports,
31-
* like Node.
32-
*/
33-
module.exports = factory()
34-
} else {
35-
// Browser globals (root is window)
36-
factory()(root.lunr);
37-
}
38-
}(this, function() {
39-
/**
40-
* Just return a value to define the module export.
41-
* This example returns an object, but the module
42-
* can return a function as the exported value.
43-
*/
44-
return function(lunr) {
45-
/* throw error if lunr is not yet included */
46-
if ('undefined' === typeof lunr) {
47-
throw new Error('Lunr is not present. Please include / require Lunr before this script.');
48-
}
49-
50-
/* throw error if lunr stemmer support is not yet included */
51-
if ('undefined' === typeof lunr.stemmerSupport) {
52-
throw new Error('Lunr stemmer support is not present. Please include / require Lunr stemmer support before this script.');
53-
}
54-
55-
/* register specific locale function */
56-
lunr.ta = function() {
57-
this.pipeline.reset();
58-
this.pipeline.add(
59-
lunr.ta.trimmer,
60-
lunr.ta.stopWordFilter,
61-
lunr.ta.stemmer
62-
);
63-
64-
// change the tokenizer for japanese one
65-
// if (isLunr2) { // for lunr version 2.0.0
66-
// this.tokenizer = lunr.ta.tokenizer;
67-
// } else {
68-
// if (lunr.tokenizer) { // for lunr version 0.6.0
69-
// lunr.tokenizer = lunr.ta.tokenizer;
70-
// }
71-
// if (this.tokenizerFn) { // for lunr version 0.7.0 -> 1.0.0
72-
// this.tokenizerFn = lunr.ta.tokenizer;
73-
// }
74-
// }
75-
76-
if (this.searchPipeline) {
77-
this.searchPipeline.reset();
78-
this.searchPipeline.add(lunr.ta.stemmer)
79-
}
80-
};
81-
82-
/* lunr trimmer function */
83-
lunr.ta.wordCharacters = "\u0b80-\u0b89\u0b8a-\u0b8f\u0b90-\u0b99\u0b9a-\u0b9f\u0ba0-\u0ba9\u0baa-\u0baf\u0bb0-\u0bb9\u0bba-\u0bbf\u0bc0-\u0bc9\u0bca-\u0bcf\u0bd0-\u0bd9\u0bda-\u0bdf\u0be0-\u0be9\u0bea-\u0bef\u0bf0-\u0bf9\u0bfa-\u0bffa-zA-Zａ-ｚＡ-Ｚ0-9０-９";
84-
85-
lunr.ta.trimmer = lunr.trimmerSupport.generateTrimmer(lunr.ta.wordCharacters);
86-
87-
lunr.Pipeline.registerFunction(lunr.ta.trimmer, 'trimmer-ta');
88-
/* lunr stop word filter */
89-
lunr.ta.stopWordFilter = lunr.generateStopWordFilter(
90-
'அங்கு அங்கே அது அதை அந்த அவர் அவர்கள் அவள் அவன் அவை ஆக ஆகவே ஆகையால் ஆதலால் ஆதலினால் ஆனாலும் ஆனால் இங்கு இங்கே இது இதை இந்த இப்படி இவர் இவர்கள் இவள் இவன் இவை இவ்வளவு உனக்கு உனது உன் உன்னால் எங்கு எங்கே எது எதை எந்த எப்படி எவர் எவர்கள் எவள் எவன் எவை எவ்வளவு எனக்கு எனது எனவே என் என்ன என்னால் ஏது ஏன் தனது தன்னால் தானே தான் நாங்கள் நாம் நான் நீ நீங்கள்'.split(' '));
91-
/* lunr stemmer function */
92-
lunr.ta.stemmer = (function() {
93-
94-
return function(word) {
95-
// for lunr version 2
96-
if (typeof word.update === "function") {
97-
return word.update(function(word) {
98-
return word;
99-
})
100-
} else { // for lunr version <= 1
101-
return word;
102-
}
103-
104-
}
105-
})();
106-
107-
var segmenter = lunr.wordcut;
108-
segmenter.init();
109-
lunr.ta.tokenizer = function(obj) {
110-
if (!arguments.length || obj == null || obj == undefined) return []
111-
if (Array.isArray(obj)) return obj.map(function(t) {
112-
return isLunr2 ? new lunr.Token(t.toLowerCase()) : t.toLowerCase()
113-
});
114-
115-
var str = obj.toString().toLowerCase().replace(/^\s+/, '');
116-
return segmenter.cut(str).split('|');
117-
}
118-
119-
lunr.Pipeline.registerFunction(lunr.ta.stemmer, 'stemmer-ta');
120-
lunr.Pipeline.registerFunction(lunr.ta.stopWordFilter, 'stopWordFilter-ta');
121-
122-
};
123-
}))
22+
;
23+
(function(root, factory) {
24+
if (typeof define === 'function' && define.amd) {
25+
// AMD. Register as an anonymous module.
26+
define(factory)
27+
} else if (typeof exports === 'object') {
28+
/**
29+
* Node. Does not work with strict CommonJS, but
30+
* only CommonJS-like environments that support module.exports,
31+
* like Node.
32+
*/
33+
module.exports = factory()
34+
} else {
35+
// Browser globals (root is window)
36+
factory()(root.lunr);
37+
}
38+
}(this, function() {
39+
/**
40+
* Just return a value to define the module export.
41+
* This example returns an object, but the module
42+
* can return a function as the exported value.
43+
*/
44+
return function(lunr) {
45+
/* throw error if lunr is not yet included */
46+
if ('undefined' === typeof lunr) {
47+
throw new Error('Lunr is not present. Please include / require Lunr before this script.');
48+
}
49+
50+
/* throw error if lunr stemmer support is not yet included */
51+
if ('undefined' === typeof lunr.stemmerSupport) {
52+
throw new Error('Lunr stemmer support is not present. Please include / require Lunr stemmer support before this script.');
53+
}
54+
55+
/* register specific locale function */
56+
lunr.ta = function() {
57+
this.pipeline.reset();
58+
this.pipeline.add(
59+
lunr.ta.trimmer,
60+
lunr.ta.stopWordFilter,
61+
lunr.ta.stemmer
62+
);
63+
64+
// change the tokenizer for japanese one
65+
// if (isLunr2) { // for lunr version 2.0.0
66+
// this.tokenizer = lunr.ta.tokenizer;
67+
// } else {
68+
// if (lunr.tokenizer) { // for lunr version 0.6.0
69+
// lunr.tokenizer = lunr.ta.tokenizer;
70+
// }
71+
// if (this.tokenizerFn) { // for lunr version 0.7.0 -> 1.0.0
72+
// this.tokenizerFn = lunr.ta.tokenizer;
73+
// }
74+
// }
75+
76+
if (this.searchPipeline) {
77+
this.searchPipeline.reset();
78+
this.searchPipeline.add(lunr.ta.stemmer)
79+
}
80+
};
81+
82+
/* lunr trimmer function */
83+
lunr.ta.wordCharacters = "\u0b80-\u0b89\u0b8a-\u0b8f\u0b90-\u0b99\u0b9a-\u0b9f\u0ba0-\u0ba9\u0baa-\u0baf\u0bb0-\u0bb9\u0bba-\u0bbf\u0bc0-\u0bc9\u0bca-\u0bcf\u0bd0-\u0bd9\u0bda-\u0bdf\u0be0-\u0be9\u0bea-\u0bef\u0bf0-\u0bf9\u0bfa-\u0bffa-zA-Zａ-ｚＡ-Ｚ0-9０-９";
84+
85+
lunr.ta.trimmer = lunr.trimmerSupport.generateTrimmer(lunr.ta.wordCharacters);
86+
87+
lunr.Pipeline.registerFunction(lunr.ta.trimmer, 'trimmer-ta');
88+
/* lunr stop word filter */
89+
lunr.ta.stopWordFilter = lunr.generateStopWordFilter(
90+
'அங்கு அங்கே அது அதை அந்த அவர் அவர்கள் அவள் அவன் அவை ஆக ஆகவே ஆகையால் ஆதலால் ஆதலினால் ஆனாலும் ஆனால் இங்கு இங்கே இது இதை இந்த இப்படி இவர் இவர்கள் இவள் இவன் இவை இவ்வளவு உனக்கு உனது உன் உன்னால் எங்கு எங்கே எது எதை எந்த எப்படி எவர் எவர்கள் எவள் எவன் எவை எவ்வளவு எனக்கு எனது எனவே என் என்ன என்னால் ஏது ஏன் தனது தன்னால் தானே தான் நாங்கள் நாம் நான் நீ நீங்கள்'.split(' '));
91+
/* lunr stemmer function */
92+
lunr.ta.stemmer = (function() {
93+
94+
return function(word) {
95+
// for lunr version 2
96+
if (typeof word.update === "function") {
97+
return word.update(function(word) {
98+
return word;
99+
})
100+
} else { // for lunr version <= 1
101+
return word;
102+
}
103+
104+
}
105+
})();
106+
107+
var segmenter = lunr.wordcut;
108+
segmenter.init();
109+
lunr.ta.tokenizer = function(obj) {
110+
if (!arguments.length || obj == null || obj == undefined) return []
111+
if (Array.isArray(obj)) return obj.map(function(t) {
112+
return isLunr2 ? new lunr.Token(t.toLowerCase()) : t.toLowerCase()
113+
});
114+
115+
var str = obj.toString().toLowerCase().replace(/^\s+/, '');
116+
return segmenter.cut(str).split('|');
117+
}
118+
119+
lunr.Pipeline.registerFunction(lunr.ta.stemmer, 'stemmer-ta');
120+
lunr.Pipeline.registerFunction(lunr.ta.stopWordFilter, 'stopWordFilter-ta');
121+
122+
};
123+
}))

‎lunr.zh.js

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -30,7 +30,7 @@
3030
* only CommonJS-like environments that support module.exports,
3131
* like Node.
3232
*/
33-
module.exports = factory(require('nodejieba'))
33+
module.exports = factory(require('@node-rs/jieba'))
3434
} else {
3535
// Browser globals (root is window)
3636
factory()(root.lunr);

‎min/lunr.ta.min.js

Lines changed: 1 addition & 0 deletions
Some generated files are not rendered by default. Learn more about customizing how changed files appear on GitHub.

‎min/lunr.zh.min.js

Lines changed: 1 addition & 1 deletion
Some generated files are not rendered by default. Learn more about customizing how changed files appear on GitHub.

0 commit comments

Comments
 (0)